Kvantitativ dataanalyse:Prinsipper og eksempler

Frode SvartdalUniversitetet i Tromsø/Rogaland høgskole

2010

Tilnærming?

Kvalitativ? Kvantitativ? Diskuteres ikke her Tar for gitt:

Kvantitativ tilnærming er svært mye brukt

Statistikk er et svært nyttig redskap i forskning

Folketall og storkebestand

for hvert år i perioden

1930-1936 i Oldenburg

Statistikk

Typiske anvendelser Beskrive og oppsummere data fra et

utvalg Eksempel: Tabeller, gjennomsnitt, osv.

Teste hypoteser (dvs. trekke slutning fra et utvalg til en populasjon)

Eksempel: Gruppeforskjeller Gjøre analyser i data for å avdekke

mønstre eller strukturer Eksempel: Hvilke personlighetstrekk hører

sammen?

Eksempel 1: Beskrivelse av data 12,4 24,3 23,5 35,7 30,6 16,0 28,4 25,2 31,2

31,6 31,8 32,1 31,3 31,8 20,7 25,4 19,7 31,7 25,3 19,4 31,5 32,0 27,5 31,5 29,4 31,5 31,2 31,4

N = 29 Gjennomsnitt: 27,1 Standardavvik: 5,64 Min: 12,4 Max: 35,7

Eksempel 2: Slutning

Har tiltak X effekt i reduksjon av atferdsproblemer? Gruppe 1: Tiltak X, 267 deltakere

260 OK, 7 problemelever Gruppe 2: Intet tiltak, 316

300 OK, 21 problemelever

Dvs: Vi forsøker å si noe generelt ut fra utvalget Chi-square (df=1) = 4,94, p= 0,026 Ja, tiltak X har effekt --- forutsatt at vi har gjort

undersøkelsen korrekt Kritisk her: ???

Eksempel 3: SlutningEksamensresultater (% av max skåre)på Flervalg og Essay

Er det sammenheng mellom karakterene?

Eksempel 4: Slutning

Er nivåene forskjellige?

Eksempel 5: Meta-analyse

Statistisk prosedyre for å oppsummere funn fra allerede gjennomførte undersøkelser

Viktig redskap for å trekke konklusjoner der enkeltundersøkelser ikke tillater en entydig konklusjon, for eksempel noen studier viser forventet effekt noen studier viser motsatt effekt noen viser 0 effekt

Meta-analyse

Områder der meta-analyser anvendes: Virker en bestemt terapi-metode?

Virker kognitiv atferdsterapi?

Virker en bestemt klinisk behandlingsteknikk? Jfr. evidensbasert medisin

Hva sier egentlig forskning om en bestemt problemstilling som har vært mye studert?

Er effekten av belønning positiv (jfr. undermining)?

Tre aspekter ved et empirisk prosjekt

Før undersøkelsen Problemstilling Hva sier tidligere forskning?

Selve undersøkelsen Metode, design Type data, analyse

Etter undersøkelsen Klare konklusjoner mulig? Relasjon til tidligere funn Implikasjoner (teorietisk, praktisk) Behov for oppfølgende undersøkelser?

Orientere seg i litteratur, utmeisle problemstilinger

Hvordan kan denne problemstillingen undersøkes?

Hva var det vi fant?Presentasjon (artikkel)Hva nå (må vi gå rundenpå nytt?)

Empirisk prosjekt - statistikk Dataanalyser med et statistikkprogram

er et av flere ledd i forskningsprosessen Det er ikke dataanalysene som gjør prosessen til en

forskningsprosess Det å "bruke et statistikkprogram"

krever en forståelse av hva man gjør Det er ikke noe i veien for å prøve seg frem på

eksempler, men man kommer ikke langt uten en froståelse av det statistiske grunnlaget for de analyser man gjennomfører. Statistikkprogrammet er et redskap, og som ellers er må et redskap brukes med vett

Empirisk prosjekt - statistikk

Skill mellom resultater og funn Resultatene fremkommer som en mekanisk (men ofte

kompleks) regneoperasjon på de tallene vi legger inn i statistikkprogrammet; funn er vår tolkning av resultatene. F.eks. kan vi beregne samvariasjonen (korrelasjonen) mellom helse og inntekt ("vi fant en korrelasjon på 0,46 mellom disse variablene"), men hva dette betyr kan ikke statistikkprogrammet fortelle oss

Statistisk signifikans sier noe om et resultat er reliabelt

Ville man fått samme resultat om man hadde gjennomført undersøkelsen på et annet utvalg fra samme populasjon?), ikke hvor interessant det er

Empirisk prosjekt - statistikk

Mange analyser bygger på bestemte forutsetninger

Dette kan angå målenivå, det kan angå krav om normalfordeling, osv.

En grafisk fremstilling av resultatene kan ofte være informativ

Noen viktige begreper i statistikk

utvalg, populasjon n (antall deltakere) i utvalget Effektstørrelse Signifikans …

Noen viktige metodebegreper

Design Typer undersøkelser

Beskrivende Korrelasjonell Eksperimentell

Korrelasjon (samvariasjon) Kausalitet (årsak-virkning)

Effektstørrelse Effekt viser til ”the degree to which a

phenomenon exists” (Cohen, 1977) Hvor stor er en gruppeforskjell? Hvor sterkt samvarierer to variabler? Hvor mange av de som får behandling blir

friske, sammenlignet med en kontrollgruppe som ikke får behandling?

Effektstørrelse Flere måter å beregne effektstørrelse på

Rate differences, odds ratios, relative risks, mean differences, correlations

Flere betegelser på effektstørrelse ES, d, r

Vanlig fortolkning av d Liten = 0,20 Medium = 0,50 Stor = 0,80

Fortolkningen kan variere noe fra område til område

Effektstørrelse: EksempelFor to gruppegjennomsnitt: ART: 10 Kontroll: 16 Standardavviket (variasjon i skårene rundt

gjennomsnittet) = 8 i kontrollgruppen Effektstørrelse (ES): (10 – 16) / 8 = 0,75 Dvs. Målt i forhold til standardavviket, skårer

ART 0,75 høyere enn kontroll Viktig: Jo mer variabilitet i skårene (=høyere

standardavvik), desto mindre effektstørrelse

Signifikans

Signifikans Hvor reliabelt er resultatet (ville vi

fått samme utfall hvis vi hadde testet et nytt utvalg fra samme populasjon)?

Signifikans sier ikke nødvendigvis noe om hvor viktig et funn er

Effektstørrelse Hvor “stor” er effekten

n (antall deltakere) Undersøkelse 1: n = 16

ART: 8 Kontroll: 8

Undersøkelse 2: n = 50 ART: 25 Kontroll: 25

Konklusjon fra undersøkelse 1 er sannsynligvis sikrere enn fra undersøkelse 2; hvorfor?

n Power: Kan undersøkelsen oppdage en

effekt hvis den faktisk er der? n er viktig: Få deltakere reduserer

power, mange deltakere øker power Hvor mange?

Hvis små gruppeforskjeller øk n Hvis stor variasjon innen gruppene øk n

Et par gode kilder Kvaløy: Bruk statistikk riktig!

http://www.ux.his.no/~jtk/statmet/Rettbruk.pdf

Pitfalls of Data Analysis (or How to Avoid Lies and Damned Lies) Be sure your sample is representative of the population in which you're

interested. Be sure you understand the assumptions of your statistical procedures, and be

sure they are satisfied. In particular, beware of hierarchically organized (non-independent) data; use techniques designed to deal with them.

Be sure you have the right amount of power--not too little, not too much. Be sure to use the best measurement tools available. If your measures have error,

take that fact into account. Beware of multiple comparisons. If you must do a lot of tests, try to replicate or

use cross-validation to verify your results. Keep clear in your mind what you're trying to discover--don't be seduced by

stars in your tables; look at magnitudes rather than p-values. Use numerical notation in a rational way--don't confuse precision with accuracy

(and don't let the consumers of your work do so, either). Be sure you understand the conditions for causal inference. If you need to make

causal inference, try to use random assignment. If that's not possible, you'll have to devote a lot of effort to uncovering causal relationships with a variety of approaches to the question.

Be sure your graphs are accurate and reflect the data variation clearly.http://my.execpc.com/

~helberg/pitfalls/