EFFEKTMÅLING: HVAD

OG HVORDAN?

Mette Deding

11-10-2013 2

VI HAR BRUG FOR VIDEN OM EFFEKTER

Fordi vi gerne vil vide, om de indsatser vi sætter i værk, rent faktisk virker Og fordi vi gerne vil sikre os, at indsatserne ikke har en skadelig virkning.

EFFEKTMÅLING: HVAD OG HVORDAN

HVORFOR EFFEKTMÅLING?

Webb 1932: ”There is far more experimentation going on in the world of sociological laboratory in which we all live than in any other kind of laboratory, but most of this social experimentation is wrapped in secrecy and thus yields nothing to science”

Det sociale område som et stort ukontrolleret forsøg Store mængder penge bliver brugt på indsatser som vi ikke kender effekten af. Behov for viden om hvad der virker bedst - for at kunne bruge knappe ressourcer bedst muligt og give den optimale indsats til borgerne

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 3

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 4

HVORFOR ER DET VIGTIGT AT KENDE EFFEKTEN?

HVORFOR ER DET VIGTIGT AT KENDE EFFEKTEN?

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 5

HVORFOR ER DET VIGTIGT AT KENDE EFFEKTEN?

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 6

EVIDENS HANDLER OM EFFEKT:

Effektmåling besvarer spørgsmål om kausalitet:

Hvordan går det (i gennemsnit)

personer, der modtager en specifik indsats, i forhold til hvordan det ville være gået, hvis de ikke havde modtaget indsatsen?

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 7

MEN EVIDENS HANDLER OGSÅ OM MEGET ANDET END EFFEKT • Viden om sociale problemers

karakter og udbredelse • Viden om målgruppens

karakteristika og adfærdsmønstre • Viden om hvilke indsatser der

anvendes • Viden om ressourceforbrug ved

hidtidig indsats • Viden om effekter af forskellige

former for indsatser • …

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 8

EFFEKT STIGEN

EFFEKTMÅLING: HVAD OG HVORDAN 9

11-10-2013

EFFEKT STIGEN

EFFEKTMÅLING: HVAD OG HVORDAN 10

Effektmåling

Ikke effektmåling

11-10-2013

TILFREDSHEDSUNDERSØGELSER OG EFTERMÅLINGER

90% af dem, der modtog behandlingen var tilfredse eller meget tilfredse…

…men det siger ikke noget om effekten 75% af dem, der trænede havde et kondital på 40… … men hvad var deres kondital før træningsprogrammet? Kan ikke bruges til effektmålinger

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 11

FØR-EFTERMÅLINGER

Man måler inden man starter indsatsen (førmåling) og når indsatsen er udført (eftermåling) for hele målgruppen. Nok det mest anvendte undersøgelsesdesign – og noget som vi alle bruger.

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 12

FØR-EFTERMÅLING AF LÆSE INTERVENTION

80

85

90

95

100

105

Før Efter

IndsatsKontrol

Statistisk signifikant forskel p < 0.001

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 13

FØR-EFTERMÅLING AF LÆSE INTERVENTION

80

85

90

95

100

105

110

Før Efter

IndsatsKontrol

Forskel mellem grupper er IKKE signifikant

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 14

KAUSAL EFFEKT

FORMÅL MED EFFEKTMÅLING: At finde den kausale effekt af indsats på udfaldsmål

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 15

EFFEKTMÅLING: HVAD OG HVORDAN 16

11-10-2013

KAUSAL EFFEKT – HVAD KAN GÅ GALT?

Enkelt at undersøge, om der er en sammenhæng eller korrelation mellem indsats og udfaldsmål En sådan sammenhæng kan imidlertid ikke nødvendigvis fortolkes som en kausal effekt – at det er netop A der giver B Eksempler: Antal storke og børnefødsler Alkoholindtagelse og lungecancer

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 17

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 18

INDSATS- OG KONTROLGRUPPE

Indsatsgruppen består af personer, der modtager indsatsen Kontrolgruppen består af personer, der ikke modtager indsatsen For at kunne tale om en effektmåling SKAL der være en form for kontrolgruppe

11-10-2013 HVAD ER EN EFFEKTMÅLING? 18

TO HOVEDTYPER AF METODER TIL EFFEKTMÅLING

RANDOMISEREDE KONTROLLEREDE FORSØG

• Designes før indsatsen sættes i værk

• Data indsamles undervejs • Via randomisering ”styrer” man,

hvem der får en indsats • Indsats- og kontrolgruppe kan

umiddelbart sammenlignes

MIKRO-ØKONOMETRISKE METODER

• Kan bruges både før og efter indsats er gennemført

• Kan anvende eksisterende data • Ikke muligt at styre, hvem der

deltager • Indsats- og kontrolgruppe er

typisk ikke ”ens” - metoderne anvendes til at korrigere for forskelle

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 19

EFFEKT STIGEN

EFFEKTMÅLING: HVAD OG HVORDAN 20

RCT’S

11-10-2013

EFFEKT STIGEN

EFFEKTMÅLING: HVAD OG HVORDAN 21

RCT’S MIKRO-ØKONOMETRI

11-10-2013

EFFEKT STIGEN

EFFEKTMÅLING: HVAD OG HVORDAN 22

RCT’S MIKRO-ØKONOMETRI

11-10-2013

Før og efter

HVORNÅR SKAL MAN LAVE EFFEKTMÅLING

Når det giver mening… Når der kan findes en kontrolgruppe…

Men det giver (næsten) altid mening med en før-eftermåling

11-10-2013 EFFEKTMÅLING: HVAD OG HVORDAN 23

SPØRGSMÅL OG

KOMMENTARER?!

EFFEKTMÅLING: HVAD OG HVORDAN 24

11-10-2013