Registerdata versus RCT - kvalitetsregistre · 2019-04-26 · We excluded women who had Recent peptic ulcers or ulcers that required hospitalization, dyspepsia requiring daily treatment,

Registerdata versus RCT

Gro Berntsen Professor, Nasjonalt senter for e-helseforskning, Enhet for allmennmedisin, institutt for samfunnsmedisin, UiT

Læringsmål

Studentene skal kunne redegjøre for:•Hvorfor er RCT-en genial?•Hvilke begrensninger har RCT-en?•Hva kommer etter RCT-en?

Hvordan blir noesant i medisinen?

3

Fra erfaringsbasert til systematisk kunnskapsoppbygging

•Avicenna

•Persisk lege

•980 - 1037 e. Kr

•Den medisinske kanon

•Introduserte:•systematiske eksperiment•måling av effekt av behandling

4

Før

Aktiv behandling

Etter

Intervensjon

Ikke behandling

5

5

Før

Aktiv behandling

Etter

5

Før Etter

=

Seruminjeksjoner ved difteri

•1898 – Johannes Fibiger -Sammenliknet to grupper

•Aktiv behandling / ingen behandling (kontroll) på alternerende dager

•3% vs 12% døde i favør av aktiv behandling

BMJ 1998;317:1243-1245 ( 31 October )6

Aktiv behandling

Kontroll-gruppe

Pasienter i kontrollgruppen dør lettere enn de som får aktiv behandling

1. Behandling beskytter?2. Pasientene i kontrollgruppen er

mer utsatt7

Bradford Hill – tilfeldig tilordning 1937

• Gruppetilordning skal skje tilfeldig• Randomisering

• Verken behandler eller pasient skal vite om de får aktiv behandling• Dobbelt blindet

• RCT - det randomiserte kontrollerte eksperiment

Bradford Hill 8

First randomiserte kontrollerte forsøk – RCT 1948

•Streptomycin mot tuberkulose

Bradford Hill 9

RCT

3 P modellen: Pasienter og profesjonelle i partnerskap 10

• Biologiske systemer som er stabile

• En biologisk hypotese

• I system A – Aktiv ingrediens

• I system B – Narre ingrediens

• I system C – Business as usual

• Forventer da å observere at:

• Bakteriene elimineres i A, men ikke i B og C

• Gyldig kunnskap om mekanisme

RCT´n fordeler både kjente og ukjente faktorer likt

Tiltak A

Tiltak BR

andom

isering

Bakgrunnspopulasjon

Utvalg

Biologisk mekanisme (som finnes hos de fleste) + genetisk og miljømessig variasjon => gjennomsnittlig forskjell mellom grupper

EBM – EvidenceBased Medicine

3 P modellen: Pasienter og profesjonelle i partnerskap

12

1980 - Evidence Based Medicine

Evidence based medicine is the conscientious, explicit, and judicious use of currentbest evidence in makingdecisions about the care ofindividual patients.

1. individual clinical expertise

2. systematic research.

3. patients' predicaments, rights, and preferences

13

Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS (1996). "Evidence based medicine: what it is and what it isn't". BMJ 312 (7023): 71–2. PMID 8555924. http://www.bmj.com/cgi/content/full/312/7023/71.

RCT

Meta-

analyse

RCT *

Kontrollerte studier

Observasjonsstudier

Ekspertuttalelser

* Randomised Controlled Trial

http://www.bmj.com/cgi/content/full/312/7023/71

http://www.ncbi.nlm.nih.gov/pubmed/8555924

http://www.bmj.com/cgi/content/full/312/7023/71

RCT

Meta-

analyse

RCT *


Observasjonsstudier

Ekspertuttalelser

A

B

C

D

E

* Randomised Controlled Trial14

RCT

Meta-

analyse

RCT *


Observasjonsstudier

Ekspertuttalelser

A

B

C

D

E


RCT

Meta-

analyse

RCT *


Observasjonsstudier

Ekspertuttalelser

A

B

C

D

E


RCT

Meta-

analyse

RCT *


Observasjonsstudier

Ekspertuttalelser

A

B

C

D

E


RCT

Meta-

analyse

RCT *


Observasjonsstudier

Ekspertuttalelser

A

B

C

D

E


Østrogenbehandling Premarin fra Ayerst i1942

•Annonsekampanje – 1960-tallet:

•“Det er ikke lett for en mannå ta utfordringer og tunge taki arbeidslivet for så kommehjem til kaoset rundt en kvinne i overgangsalderen.

Hvis hun ikke bruker Premarinda.”

19

1840 1940 1970 1983 1998 2002

RCT

Meta-

analyse

RCT *


Observasjonsstudier

Ekspertuttalelser

A

B

C

D

E

* Randomised Controlled Trial

Industrien solgte ”pillen som gir kvinner ungdommen tilbake” uten dokumentasjon

I 60 ÅR !!!

Østrogen behandlingens historie

HERS WHI

20

Register studier

RCT begrensninger

21

We excluded women who had

Recent peptic ulcers or ulcers that required

hospitalization, dyspepsia requiring daily

treatment, significant renal or hepatic

dysfunction, medical problems that precluded 3 years of

participation, severe

malabsorption, blood pressure exceeding

210 mm Hg systolic or 105 mm Hg

diastolic, myocardial infarction within 6

months, unstable angina, hypothyroidism,

hyperthyroidism, or hyperparathyroidism.

We also excluded women who

had taken estrogen or calcitonin within

the preceding 6 months or bisphosphonates

or sodium fluoride (.1 mg/d) at

any time. Althoughwomentaking estrogen

were excluded from entry into the

trial, 246 (11.1%) in the placebo group

and 204 (9.2%) in the alendronate group

took estrogen at some time during the

study.

JAMA. 1998;280:2077-2082

The FIT trial : Effect of Alendronate on Risk of Fracture

The controlled clinical trial

•The main technical limitation of clinical trial methodology is that it assumes the homogeneity ofthe research populations which it studies.

•The assumption of homogeneity is enshrined in theuse of averages and the statistics based on theircomparison....

•For the individuals in the trial a comparison ofmeans may hide much more than it reveals.”

John Heron(1986)

For 100 personer med din tilstand


Fru Hansen – 72 år

+ ?

Inkluderte pasienter ikke representative for de pasientgruppene som faktisk får behandling

Observasjonstid

•Kostbare studier•Ofte for kort oppfølgingstid til å evaluere langtidseffekter av behandling

Kostnadskrevende

•Bare finansiellt sterke aktører har råd til å lage RCT-er

•Ikke-patenterbare produkter blir ofte ikke etterprøvd med RCT

•Eksempel: Østrogen

Komplekse intervensjoner

•Element x virker ikke uten element Y

•Det er umulig å identifisere hva X og Y er og sammenhengen mellom de

•Eksempel: •Barneoppdragelse

Mat

Klær

Skole SøvnFamilie

VennerLek

RCT i komplekse intervensjoner

• Effekt avhengig av en kjede med hendelser

Vi kjører en RCT:

• En «black box» intervensjon

• A får Black-box - B får ikke

• Hvis vi får et negativt resultat• Var det fordi A ikke virket?

• Eller var det fordi vi ikke hadde skapt de forholdene som var nødvendige for at A skulle virke?

• Hvis vi får et positivt resultat: • Kan vi reprodusere Forholdene som

gjør at A virker?

29

Hvordan forstå komplekse fenomen?

Kvalitet ala Donabedian

«As such, the definition of quality

(mål) may be almost anything anyone

wishes it to be, although it is,

ordinarily, a reflection of values and

goals current in the medical care

system and in the larger society of

which it is a part.»

Donabedian A. (1966). "Evaluating the quality of health care." Milbank Memorial Fund Quarterly - Health & Society 44: 166-203.

31

32

Outcomes

Structures/ Context

Theory

Process

Fikk vi de resultatene vi ønsket oss?

Hvilken prosess fører til ønsket endring?

Hvilken stkrutur/

kontekst må være på plass ?

Hva er den teoretiske forståelsen av problemet og

løsningen?Graham F Moore et al. BMJ 2015;350:bmj.h1258

Teori ved komplekse intervensjoner

Fig 1 Key functions of process evaluation and relations among them (blue boxes are the key

components of a process evaluation.

Moore GF, Audrey S, Barker M, Bond L, Bonell C, Hardeman W, et al. Process evaluation of complex

interventions: Medical Research Council guidance. bmj. 2015;350:h1258.

©2015 by British Medical Journal Publishing Group

Evaluering av komplekse intervensjoner.

Graham F Moore et al. BMJ 2015;350:bmj.h1258

©2015 by British Medical Journal Publishing Group

Oppsummering

RCT•En gjennomsnittlig effekt på gruppenivå•Ofte utført på andre pasientgrupper enn de som faktisk får medisinen•Kostbare => ikke gjort på behandling som mangler patent•Utfordrende å tolke når problemstillingen er kompleks

Registerdata ?•Se på grupper av pasienter som likner på meg•Konstruere sammenliknbare grupper: de som fikk – med de som ikke fikk behandlingen•Å hente ut kunnskapen koster lite•Tolkning av funnene kan suppleres med sub-gruppe studier som reflekterer prosess og mekanismer…

35

Registerdata – relevante data på en hel populasjon

Den lærende helsetjenesten


Frankovich J, Longhurst CA, Sutherland SM. Evidence-based medicine in the EMR era. New England Journal of

Medicine. 2011.

13-year-old girl with systemic lupus erythematosus(SLE). Our patient’s

presentation was complicated by nephroticrange proteinuria,

antiphospholipid antibodies, and pancreatitis.

Registerbaserte studier

• Hvilke pasienter som meg?

• Sammenliknbarhet – propensity score, justering – ikke perfekt

• Se på prosessen – hva skjedde? Kvantitativt og kvalitativt

• Store datasett – tillater studie av Sjeldne effekter / bivirkninger

• Dataene er der – krever lite ressurser

Framtida – kunstig intelligens:

• Samle data fra personen

• Skape prediksjoner innen mindre enehter –som person

• Klinisk beslutningsstøtte for pasient og helsearbeider


Outcomes

Structures/ Context

Theory

Process

Case – Evaluering av en kompleks intervensjon i drift

Pasientsentrert helsetjeneste team

Tidlig støttet

utskrivning/

oppfølging

Kontakt/koordinering

Tidlig

vurdering

• Levere riktig behandling til riktig tid og sted

• Multi-profesjonelt team

• På tvers av 1. og 2. linje• Sam-finansiering

• Tilgang til hverandres EPJ

• Felles prosjektledelse

• Mål• Plan• Levere• Evaluere

Struktur Prosess

• Primært endepunkt=> Bedet pasient opplevelse

• Redusert Øyeblikkelig hjelp forbruk

• Bedret Kost/Nytte ratio

• Sekundært => Risiko for død

Resultat

KontrollerN=779

Materiale – PSHT 2015-2016

41

Potensielle kontroller:Ø-hjelpsinnleggelse på UNN,

> 60 år, bor i Tromsø og Harstad

PSHTN=439 Matching 20

variable

Propensity andMalhabonis matching+/- 0,SD caliperad modum Rosenbaum

ROSENBAUM, P. R. and D. B. RUBIN (1983). "The central role of the propensity score in observational studies for causal effects." Biometrika 70(1): 41-55.

42

Controls Intervention p

Unit NPoint

estimateDispersion N

Point

estimateDispersion

Sex (%) male 779 41% NA 439 41% NA 0,51

Year at inclusion (%) in 2015 779 51% NA 439 51% NA 0,98

Age (mean/SD) years 779 78,81 8,68 439 80,02 8,72 0,02

m-PARR30, 2Y (mean/SD) Score 779 2,19 0,57 439 2,16 0,61 0,49

DRG points, 1Y Sum 779 2,20 0,03 - 12,65 439 2,70 0,32 - 14,79 0,10

# Main diagnoses, 1Y Count 779 3 1 - 8 439 3 0 - 8 0,30

# Bi-diagnoses 1Y Count 779 3 0 - 13 439 3 0 - 12 0,05

# Long-Term Diagnoses, Count 779 11 2 - 29 439 11 3 - 28 0,41

m-PARR30, 2Y Score 779 2,15 1,30 - 3,16 439 2,09 1,33 - 3,20 0,10

Elixhauser , 2Y Score 779 5 0 - 20 439 5 0- 20 0,28

Emergency Inpt Adm, 1Y Count 779 2 0 - 8 439 1 0 - 7 0,05

Emergency Inpt Adm, 30d Count 779 1 0 - 4 439 1 0 - 2 0,96

Emergency Bed days, 30d Sum 779 2 0 - 15 439 3 0 - 16 0,03

Emergency Bed days, 1Y Sum 779 6 0 - 52 439 6 0 - 55 0,86

Emergency Outpt visit, 30d Count 779 0 0 - 1 439 0 0 - 1 0,43

Emergency Outpt visit, 1Y Count 779 0 0 - 3 439 0 0 - 3 0,95

30d Readmissions, 1Y Count 779 0 0 - 1 439 0 0 - 2 0,26

Planned Inpt Adm, 1Y Count 779 0 0 - 4 439 0 0 - 2 0,04

Planned Inpt Adm 30d Count 779 0 0 - 1 439 0 0 - 1 0,74

Planned Outpt visit, 1Y Count 779 2 0 - 21 439 2 0 - 18 0,22

Planned Outpt visit, 30D Count 779 0 0 - 3 439 0 0 - 3 0,06

Lead Days Count 779 0 0 - 9 439 4 0 - 30 0,00

Quantile Lead Days (%) Q 1+2 779 78% NA 439 20% NA 0,00

Sammenliknbarhet mellom gruppene

Propensity score balance: Standardized difference=0,05, Variance ratio=1,01

Endring iHelsetjenesteforbruk

45

Berntsen GR, Hurley JS, Dalbakk M, Bergmo T, Bellika JG, Solbakken B, et al. Personcentered,

cross organizational and multiprofessional team halves mortality risk. The PAtient Centered Care

Team (PACT) Study – Preliminary results from a comparative effectiveness study. International

Journal of Integrated Care 17(5) ; 2017.

Helsetjeneste forbruk

N- max=1218/ N Min =838

0 0.5 1 1.5 2 2.5 3

All, adjustedOnly controls surviving Lead days (1)

Only PACT patients with index emergency hospitalizations (2)Combination of 1 and 2

All hospitalized, adjusted (3)All hospitalized + controls surviving Lead days (4)






All, adjustedOnly controls surviving Lead days(1)


Emer

gen

cyad

mis

sio

ns

(RR

)

Sum

Emer

gen

cyB

edd

ays

(RR

)R

ead

mis

sio

ns

(RR

)

Elec

tive

Ou

tpat

ien

tvi

sits

(R

R)

Emer

gen

cy

Ou

tpat

ien

t vi

sits

(RR

)

Rate Ratio

Rate Ratios for health care utilization outcomes, by sub-group analysis,

Ø-hjelps innleggelser

Sum ø-hjelpsdøgn

Reinnleggelser

Planlagt poliklinikk

Ø-hjelp poliklinikk

Risiko for død

47

48

0,0

00,2

50,5

00,7

51,0

0

0 50 100 150 200analysis time

PSHT_PATIENT = Control PSHT_PATIENT = Treatment

Kaplan-Meier survival estimates

Risiko for død, justert, pooled analyse

N- max=1218/ N Min =838

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0

All, adjusted

Only controls surviving Lead days(1)

Only PACT patients with index emergency hospitalizations…

Combination of 1 and 2

All, adjusted

Only controls surviving Lead days(1)

Only PACT patients with index emergency hospitalizations…

Combination of 1 and 2

Mo

rtal

ity

0-3

mo

nth

s (R

R)

Mo

rtal

ity

0-6

mo

nth

s (R

R)

Rate Ratio

Rate Ratio for mortality at 3 and 6 months follow-up, by sub-group analysis

Har RCT-en mistet sin verdi?

Outcomes

Structures/ Context

Theory

Process

JA TAKK – BEGGE DELE !

Oppsummering

RCT-en – eksperiementell test av tydelige hypoteser i stabile kontekster hvor teorien er godt forstått

Der hvor det er høy kompleksitet og synergier mellom faktorer:

• Vanskelig å designe en valid RCT

• Bygge på teori, struktur og prosessmål

• Studere systemet – as is: modellere, pilotere, observere => Registerdata

• Kombinerte utfallsanalyser med prosess og struktur mål

Documents

Registerdata versus RCT - kvalitetsregistre · 2019-04-26 · We excluded women who had Recent peptic ulcers or ulcers that required hospitalization, dyspepsia requiring daily treatment,