Måling af effekt:Randomiserede forsøg

RANDOMISEREDE

FORSØG

MAIKEN PONTOPPIDAN

RCT

Chaplin 1931: ”Experimental method in sociology does not mean interference with individual movement or freedom. It does not endager life or limb or moral character.”

Oakley 1998: ”On the conctrary, what randomised controlled

trials offer in the social domain is exactly what they promise to medicine: protection of the public from potentially damaging uncontrolled experimentation and a more rational knowledge about the benefits to be derived from a professional intervention”

11-10-2013 DET RANDOMISEREDE KONTROLLEREDE FORSØG 2

EFFEKTSTIGEN


DET RANDOMISEREDE KONTROLLEREDE FORSØG - RCT

Kaldes også et eksperiment Definition af eksperiment: Man manipulerer/varierer en given indsats (fx en behandling) på

en systematisk måde, for derefter at undersøge hvilken effekt denne variation har på et givent udfald (fx niveau af stress, adfærd)


A B

Indsats

Randomisering

Måle udfald

HVORFOR RCT?

• Det bedste design til effektmåling • Pga. den tilfældige tildeling af indsats • Sikrer at grupperne er ens på både målbare og ikke-målbare

faktorer • Kan håndtere kompleksitet • Kræver færrest deltagere


HVORFOR RCT?

Vi kan ikke blot se en sammenhæng eller korrelation mellem indsats og effektmål. Fordi vi ved at den eneste forskel på indsats- og kontrolgruppe er indsatsen kan vi fastslå et kausalitetsforhold Hvis indsatsgruppe klarer sig bedre/dårligere end

kontrolgruppen så kan vi konkludere at det er på grund af indsatsen


RCT

RCT - randomisering QRCT – quasi-randomiseret ikke tilfældig/randomiseret fordeling men næsten…. Naturligt forekommende opdeling fx fødselsår, dag i uge man henvender sig…


DISPOSITION

Hvorfor RCT? RCT historisk set Etiske problemstillinger Design af RCT Utilsigtede effekter af RCT SFI eksempler DUÅ Baby


RCT HISTORISK SET

• 1061 Ben Cao Tu Jing – Ginseng eller ej i forhold til at løbe • 1753 Sir James Lind, læge i den engelske flåde – Skørbug -Citron og appelsin overfor æblevin, fortyndet svovlsyre,

havvand, eddike og urteblanding • 1896-97 Johannes Fibiger Difteri - Første forsøg med randomisering • 1900erne uddannelsesområdet i USA • 1920erne R. A. Fischer inden for landbruget • 1930erne socialområdet i USA – Cambridge Sommerville


RCT HISTORISK SET

• 1944 England - Patulin mod hoste • 1948 England - Streptomycin mod tuberkulose • 1960erne-1985 Mange forsøg i USA på uddannelses- og

socialområdet • 1990erne især sundhedsområdet – Cochrane Collaboration • 2005-2013 uddannelse, kriminologi, socialområdet –

Campbell Collaboration


ETISKE PROBLEMSTILLINGER


Men er det overhovedet etisk forsvarligt at trække lod på det sociale område?

- JA, det mener vi bestemt, at det er

• Etisk forpligtelse • Sikre at der ikke er negativ effekt (fx akut krisehjælp)

UETISKE FORSØG

Men det afhænger selvfølgelig af det konkrete eksempel om der er mulighed for lodtrækning. Man kan nemt finde på uetiske forsøg fx:

• Rygning • Tvangsfjernelse • Overvægt


ETISKE PROBLEMSTILLINGER

Er det uetisk at en lodtrækning afgør om man skal have behandling eller ej? Argumenter FOR randomisering på sociale område: • Store regionale forskelle i behandling/tilbud • Ikke enighed om, hvad der bør tilbydes • Meget sjældent at kontrolgruppen ikke bliver tilbudt nogen

behandling/tilbud overhovedet (oftest standard behandling) • Ofte kan det man tilbyder indsatsgruppen kan betragtes som

noget ekstra oven i standard behandlingen.


ETISKE OVERVEJELSER

Hvad er formålet med undersøgelsen og hvad kan resultaterne bruges til? De skal gerne kunne bidrage med væsentlig ny viden til at forbedre forholdene for borgerne i vores samfund. Målet er at maksimere sandsynligheden for at få et brugbart resultat af undersøgelsen samtidigt med at vi minimerer besværet for undersøgelsesdeltagerne.


ETISKE OVERVEJELSER

Informeret samtykke: Deltagere skal informeres om undersøgelsen - både skriftligt og mundtligt. Skriftligt samtykke – når borgeren/patienten skal give

oplysninger (Persondataloven) Deltagere skal informeres om, at de kan trække sig fra undersøgelsen på ethvert tidspunkt, uden at det får konsekvenser for deres nuværende og fremtidige behandling.



DESIGN AF RCT

Individ: Enkelt personer randomiseres til intervention eller kontrol ALTID individ hvis muligt! Gruppe/Cluster randomisering: Når den naturlige enhed at randomisere på er gruppen (fx skole,

klasse, praktiserende læge, hjemmeplejeenhed, kommune) -kræver en del clustre gerne 40 - minimum 12


DESIGN AF RCT

Venteliste: • Kontrolgruppen står på venteliste • Alle får indsats • Ikke muligt med langtidsopfølgning Stepped wedge: • Bruges ved udrulning af indsats. Individer eller grupper

randomiseres til at begynde indsats på forskellige tidspunkter. • Alle får indsatsen men på forskelligt tidspunkt. • Ikke muligt med langtidsopfølgning


STEPPED WEDGE


DESIGN EKSEMPLER

Individ: DUÅ Baby: Familier randomiseres til DUÅ Baby eller Usual Care Cluster: Skoleklasser (fx klasseledelse) Daginstitutioner (fx sprogstimulering)


DESIGN EKSEMPLER

Stepped wedge: IT hjælpe-redskab i skole Alle 12 skoler i en kommune randomiseres til hvornår de skal

starte (3 grupper med 6 måneders mellemrum) Venteliste: Interessegruppe udbyder forældrekursus Familier randomiseres til indsats nu eller venteliste og indsats

næste år


DELTAGERE

Deltagergruppen har betydning i forhold til generaliserbarheden af studiet. -Om resultaterne kan overføres til andre grupper. Oftest kan man kun sige noget sikkert om effekten på den gruppe man har undersøgt. Men man kan så måske formode at dette også vil gælde for andre grupper.


EKSEMPEL

Duå Baby målgruppe: • Alle førstegangsfødende • Mødre, hvor der er en bekymring om usikkerhed i

forældrerollen


REKRUTTERING

Så mange med som muligt! -overvej tiltag der kan tilskynde deltagelse Hvis lille målgruppe for indsats - svært at rekruttere nok

deltagere Få realistisk billede af, hvor mange der kan rekrutteres inden for

det tidsrum man har valgt


FRAFALD

For det meste er der nogen der falder fra undervejs - Rekrutter lidt flere end der er brug for Ofte er der flere i kontrolgruppen der falder fra end i interventionsgruppen. Det er vigtigt at undersøge om dem, der falder fra er anderledes end dem, der fortsætter. Ellers kan man ende med forskellige grupper, der ikke kan sammenlignes.


ANTAL DELTAGERE

Hvor mange personer vi skal have med i forsøget hænger sammen med den effektstørrelse vi forventer at finde: • Jo større effektstørrelse jo større styrke/power.

• Jo større effektstørrelse jo færre personer behøver vi for

at kunne vise en forskel

• Jo mindre effektstørrelse jo flere personer skal vi bruge


ANTAL DELTAGERE

Tommelfingerregler (ikke absolut!): Stor effekt: 25 personer i hver gruppe (Cohen’s d=0.80) Moderat effekt: 64 personer i hver gruppe (Cohen’s d=0.50) Lille effekt: 400 personer i hver gruppe (Cohen’s d=0.20) Generelt siger vi gerne 100-150 i alt


INDSATS/INTERVENTION

Indsatsen skal være: • Afgrænset • Velbeskrevet • Gerne teoretisk funderet


KONTROLGRUPPE

Hvad får kontrolgruppen? • Anden form for specifik behandling • Anden almindelig behandling – Usual Care • Venteliste til samme behandling


EKSEMPEL – DUÅ BABY

INDSATS: • 3 sundhedsplejerske besøg • DUÅ forældregruppe 8 gange a 2½ time • Åbent hus • Ekstra besøg ved behov KONTROL: • 5 sundhedsplejerske besøg • Mødregruppe • Åbent hus • Ekstra besøg ved behov


RANDOMISERING

Random = tilfældig Individniveau eller gruppeniveau (cluster) Mange metoder til randomisering Brug simpel randomisering hvis muligt Behøver ikke altid være 1:1


RANDOMISERING

• Simpel randomisering – lodtrækning, liste med tilfældige tal

• Blok randomisering – fx blokke af 4 eller 6

• Parvis randomisering – når man har to

• Matching – man matcher et par, fx alder eller køn

• Minimisering – man udvælger nogle karakteristika som har betydning (fx alder, køn, problemniveau).


RANDOMISERING

Randomisering skal være uforudsigelig og uafhængig af dem, der er indblandet i forsøget.

Det har vist sig at der snydes med det, når det er muligt • Åbne konvolutterne • Røntgenfotografere konvolutter • Bytte om på rækkefølgen



RANDOMISERING 2:1 randomisering (DUÅ Baby:Usual Care) Hver kommune har separat liste Blokke – så der kommer familier til begge grupper løbende 1. Genereret liste med angivelse af indsats eller kontrol 2. Sekretær i min afdeling står for randomisering 3. Kommune sender navne 4. Besked tilbage om hvad de skal tilbydes


BLINDING

DELTAGERE: Man holder deltagere uvidende om hvilken behandling de får, for at det ikke skal få indflydelse på deres effektmål. Kan ikke så tit lade sig gøre med sociale interventioner. UNDERSØGERE: Dem der skal foretage vurdering af effektmål holdes uvidende om hvilken gruppe personen tilhører. Skal så vidt muligt gøres. 11-10-2013 DET RANDOMISEREDE KONTROLLEREDE FORSØG 35


BLINDING: Deltagere og udførere – umuligt! Deltagere blindet for formål med studie -forskellige indsatser til at støtte op om god trivsel i familien Interviewere blindet (men måske siger familien noget?) Analyse blindet


STANDARDISERING

Det er en fordel at standardisere så mange procedurer som muligt for at undgå utilsigtet variation. Hvis procedurerne bliver udført så ens som muligt igennem studiet så vi får den bedste mulighed for at kunne sige noget om effekten. Fx behandlingen, hvornår vi måler, hvilke familier der indgår, rekrutteringsprocedure.



STANDARDISERING: Klare inklusions- og eksklusionskriterier Informationsfoldere Video Indsats – manualbaseret (rimelig kontrol) Kontrol – alt muligt (meget lidt kontrol) Data indsamling


EFFEKTMÅL Vælg effektmål, der er vigtige for den indsats vi udfører.

• Sensitivt for vigtige ændringer • Reliabelt – måler det samme hvis vi måler den samme person

flere gange • Validt – måler præcist det vi gerne vil måle • Har ikke loft- eller gulv effekter (fx for svær eller for nem

test) • Målbart (fx kan måle niveau af depression)



EFFEKTMÅL DUÅ BABY Background questions – age, education, employment status, birth weight

Parent confidence - Karitane Parenting Confidence Scale (KPCS)

Child development - Ages and stages - Social-Emotional (ASQ-SE)

Child development, temperament – Infant behavior Quetionnaire (IBQ)

Parental Stress Scale (PSS)

Sense of coherence (SOC13)

Major Depression Inventory (MDI10)

Mental well-being - WHO-Five Well-being Index (WHO5)

Attachment - Emotional Availability Scales (EAS) video observation

Child development - Bayley III

Height and weight

Social support, health, life satisfaction, loneliness, family economy, drugs and alcohol…

UTILSIGTEDE EFFEKTER AF DEN EKSPERIMENTELLE SITUATION

HAWTHORNE EFFEKT: Effekten af at få opmærksomhed, at føle sig særligt udvalgt PLACEBO EFFEKT: At troen på en behandling i sig selv kan have en effekt Dokumentationen for placeboeffekter er tvivlsom og

formentlig overdrevet. Der er nok oftest tale om spontan remission/modning eller

regression mod gennemsnittet.



EKSPERIMENTEL KONTAMINATION/SPILLOVER: Fx hvis undersøgelsesdeltagerne påvirker og kommunikerer med hinanden. Eller hvis behandlere i kontrolgruppen begynder at bruge interventionen pga. at det for eksempel er oppe i tiden at bruge denne metode



Der bliver for lille forskel mellem behandlingen i

indsatsgruppen og kontrolgruppen til at man kan finde en forskel.

Det betyder ikke nødvendigvis at der ikke er en effekt, vi kan bare ikke se den. Det er vigtigt, at der er forskel på indsats og kontrolgruppe.


RCT OPSAMLING

RCT er det design, der egner sig bedst til at måle effekt Man kan udtale sig om kausalitet – at A medfører B Randomiser hvis I overhovedet har mulighed for det Det behøver ikke at være så svært… Men alt skal planlægges FØR i går i gang Start i det små…



Education

Måling af effekt:Randomiserede forsøg