Statistisk signifikans Statistisk signifikans och effektstorlekoch effektstorlek

Ett bildspel avEtt bildspel avHorst LHorst Lööfgrenfgren

20092009

VarfVarföör anvr anväänds nds signifikansbegreppet alltfsignifikansbegreppet alltföör ofta vid r ofta vid rapportering av forskningsresultat rapportering av forskningsresultat och effektstorlek alltfoch effektstorlek alltföör sr säällan?llan?

©© HLHL--0909

•• Det enkla svaret Det enkla svaret äär nog, att man inte r nog, att man inte äär r tillrtillrääckligt kunnig i grunderna fckligt kunnig i grunderna föör r inferensstatistikinferensstatistik..

•• Man har inte fMan har inte föörstrståått signifikansbegreppet, tt signifikansbegreppet, och man koch man käänner inte till, att det finns olika nner inte till, att det finns olika mmåått ptt påå effektstorlek. effektstorlek.

©© HLHL--0909

Begreppet statistisk Begreppet statistisk inferensinferens

•• Begreppet statistisk Begreppet statistisk inferensinferens refererar till en refererar till en situation, dsituation, däär man av olika anledningar vr man av olika anledningar vääljer att ljer att (eller inte kan) studera hela populationen. Man (eller inte kan) studera hela populationen. Man bygger pbygger påå sannolikhetsteori fsannolikhetsteori föör att kunna dra r att kunna dra slutsatser om fslutsatser om föörhrhåållanden i populationen. llanden i populationen.

•• Dock finns alltid en risk (om Dock finns alltid en risk (om ään liten) fn liten) föör att r att man, utifrman, utifråån observation av fn observation av föörhrhåållanden i llanden i stickprovet, drar en felaktig slutsats om stickprovet, drar en felaktig slutsats om motsvarande fmotsvarande föörhrhåållanden i populationen. Risken llanden i populationen. Risken fföör felaktiga slutsatser av s.k. "typ r felaktiga slutsatser av s.k. "typ II--felfel" reglerar " reglerar man exempelvis via val av signifikansnivman exempelvis via val av signifikansnivåå..

©© HLHL--0909

Begreppet statistisk Begreppet statistisk inferensinferens•• Ett krav Ett krav äär att man har tillgr att man har tillgåång till stickprov som baseras png till stickprov som baseras påå

ett slumpmett slumpmäässigt urval frssigt urval fråån en population. Inom n en population. Inom beteendebeteende--vetenskapvetenskap äär detta ett problem, men detta kan attackeras r detta ett problem, men detta kan attackeras via att man i fvia att man i föörvrvääg infg inföörskaffar information om status i rskaffar information om status i "relevanta variabler" (kontrollvariabler), dvs. variabler som "relevanta variabler" (kontrollvariabler), dvs. variabler som enligt teori och tidigare forskning penligt teori och tidigare forskning pååverkar utfalletverkar utfallet i i den/de variabler som man den/de variabler som man äär intresserad av. r intresserad av.

•• LLååt oss anta att t oss anta att åålder och social status lder och social status äär sr såådana variabler. dana variabler. DDåå ggääller att i fller att i föörvrvääg ta stg ta stäällning till om denna information llning till om denna information finns att tillgfinns att tillgåå fföör hela populationen. Vi antar att detta r hela populationen. Vi antar att detta äär r fallet och dfallet och dåå kan man testa, huruvida ett erhkan man testa, huruvida ett erhåållet urval frllet urval fråån n denna population denna population äär representativt fr representativt föör den studerade r den studerade populationen. Om denna information inte finns att tillgpopulationen. Om denna information inte finns att tillgåå, , mmååste man vidta stora anstrste man vidta stora ansträängningar fngningar föör att r att ååstadkomma stadkomma ett ett ””representativtrepresentativt”” urval och furval och föör att undvika bortfall. r att undvika bortfall.

©© HLHL--0909

NNäär kan sr kan sååledes ledes signifikansprsignifikanspröövningar anvvningar anväändas?ndas?

1.1. Signifikanstest ska endast anvSignifikanstest ska endast anväändas, nndas, näär man frr man fråån ett n ett stickprov vill generalisera till en population. Det krstickprov vill generalisera till en population. Det kräävs vs ssååledes att man har en definierad population frledes att man har en definierad population fråån vilket n vilket ett representativt urval har gjorts, fett representativt urval har gjorts, föör att utifrr att utifråån detta n detta urval generalisera erhurval generalisera erhåållna resultat till den llna resultat till den bakomliggande populationen.bakomliggande populationen.

2.2. Om man endast har en undersOm man endast har en undersöökningsgrupp och inget kningsgrupp och inget representativt urval ur en population, finns inget behov representativt urval ur en population, finns inget behov av signifikanstestningar. De av signifikanstestningar. De äär helt enkelt meningslr helt enkelt meningslöösa. sa.

3.3. Om man gOm man göör en totalundersr en totalundersöökning (populationsstudie) kning (populationsstudie) äär sjr sjäälvfallet signifikansanalyser nonsens. Man har ju lvfallet signifikansanalyser nonsens. Man har ju redan all information om populationen.redan all information om populationen.

©© HLHL--0909

ÄÄven om man har en definierad ven om man har en definierad popupopu--lationlation och ett representativt stickprov, och ett representativt stickprov, ssåå kan det tyvkan det tyväärr rr äändndåå bli fel!bli fel!

•• Om man har smOm man har småå stickprov (under ca 30 stickprov (under ca 30 observationer) kan signifikanstestningar observationer) kan signifikanstestningar äändndåå bli bli tvivelaktiga, eftersom dtvivelaktiga, eftersom dåå ””statisticalstatistical powerpower””, som , som äär en funktion av stickprovsstorlek, effektstorlek r en funktion av stickprovsstorlek, effektstorlek och vald signifikansnivoch vald signifikansnivåå (p), (p), äär fr föör lr lååg fg föör att r att upptupptääcka skillnader. cka skillnader.

•• Det s.k. typ Det s.k. typ IIII--feletfelet (att felaktigt beh(att felaktigt behåålla lla nollhypotesen, trots att den nollhypotesen, trots att den äär fel) riskerar att bli r fel) riskerar att bli fföör stort.r stort.

©© HLHL--0909

ÄÄven om styrkan i analysen ven om styrkan i analysen äär hr höög, g, kan signifikansen kan signifikansen äändndåå bli av bli av tveksamt vtveksamt väärde! rde! •• ÄÄven om man har stora stickprov, och typ ven om man har stora stickprov, och typ IIII--

feletfelet äär lr låågt, kan signifikansanalyser gt, kan signifikansanalyser äändndåå bli bli missledande. Vid stora stickprov blir nmissledande. Vid stora stickprov blir näämligen mligen ääven smven småå och triviala skillnader signifikanta. och triviala skillnader signifikanta.

•• Detta Detta äär kanske den str kanske den stöörsta faran i mrsta faran i måånga nga undersundersöökningar. Stickproven kningar. Stickproven äär sr såå stora, att stora, att ääven den minsta skillnad blir signifikant!ven den minsta skillnad blir signifikant!

©© HLHL--0909

Stickprovets storlekStickprovets storlek

•• Stickprovets storlek avgStickprovets storlek avgöör hur stort utrymme r hur stort utrymme slumpfaktorer fslumpfaktorer fåår att operera. Ju str att operera. Ju stöörre stickprov rre stickprov desto mindre risk fdesto mindre risk föör att slumpfaktorer pr att slumpfaktorer pååverkar. verkar. Dock bDock böör man inte misstro ett ganska litet men r man inte misstro ett ganska litet men korrekt draget stickprov. korrekt draget stickprov.

•• Man kan bestMan kan bestäämma lmma läämpligt stickprovsstorlek mpligt stickprovsstorlek utifrutifråån typ n typ IIII--felfel och styrkan i det statistiska och styrkan i det statistiska testet. Dock tar man i de allra flesta fall till i testet. Dock tar man i de allra flesta fall till i ööverkant, nverkant, näär man vr man vääljer stickprovsstorlek.ljer stickprovsstorlek.

©© HLHL--0909

Vanligt Vanligt urvalsfelurvalsfel

•• Om man inte har ett stickprov av individer utan Om man inte har ett stickprov av individer utan man baserar urvalet pman baserar urvalet påå ett antal valda grupper, ett antal valda grupper, t.ex. klasser, skolor eller nt.ex. klasser, skolor eller nåågon annan gon annan gruppering, mgruppering, mååste man ta hste man ta häänsyn till detta.nsyn till detta.

•• De signifikanstest som man anvDe signifikanstest som man anväänder fnder föörutsrutsäätter tter att individerna i stickprovet att individerna i stickprovet äär att betrakta som r att betrakta som oberoende observationer och det kan vara oberoende observationer och det kan vara mycket tveksamt, om man t.ex. gmycket tveksamt, om man t.ex. göör ett r ett klassurval.klassurval.

•• Idag finns det metoder fIdag finns det metoder föör att hantera detta r att hantera detta problem.problem.

©© HLHL--0909

Vad gVad göör man?r man?

•• Man ska alltid anvMan ska alltid anväända mnda måått ptt påå effektstorlek. effektstorlek. Har man stickprov frHar man stickprov fråån nn nåågon definierad gon definierad population, kan man sjpopulation, kan man sjäälvfallet lvfallet ääven anvven anväända nda signifikansanalyser. signifikansanalyser.

•• Om man alltid tOm man alltid täänker pnker påå denna regel, kommer denna regel, kommer effektstorleksmeffektstorleksmåått att bli mer frekvent tt att bli mer frekvent ään n signifikansanalyser. Dsignifikansanalyser. Dåå skulle mycket vara skulle mycket vara vunnet!vunnet!

©© HLHL--0909

Vad visar det om Vad visar det om ……??•• StorleksmStorleksmååttet visar en obetydlig eller liten ttet visar en obetydlig eller liten

skillnad men signifikansprskillnad men signifikanspröövningen att skillnaden vningen att skillnaden äär signifikant? Dr signifikant? Dåå har man haft ett onhar man haft ett onöödigt stort digt stort stickprov!stickprov!

•• StorleksmStorleksmååttet visar en pttet visar en pååtaglig skillnad men taglig skillnad men signifikansprsignifikanspröövningen att skillnaden inte vningen att skillnaden inte äär r signifikant? Dsignifikant? Dåå har man haft ett fhar man haft ett föör litet r litet stickprov!stickprov!

•• StorleksmStorleksmååttet visar en stor skillnad och ttet visar en stor skillnad och signifikansprsignifikanspröövningen en hvningen en höögst signifikant gst signifikant skillnad? Dskillnad? Dåå har man haft ett lagom stort har man haft ett lagom stort stickprov.stickprov.

©© HLHL--0909

I de I de flestaflesta fall fall bböörr man man mermeruppmuppmäärksammarksamma effektstorlekeffektstorlek äännsignifikansanalysersignifikansanalyser,,ggäärnarna med med tilltilläägggg avav konfidenskonfidens--intervallintervall..

©© HLHL--0909

EffektstorlekEffektstorlek

•• Efter att ha pEfter att ha pååvisat en effekt (skillnad) visat en effekt (skillnad) äär r den viktigaste frden viktigaste fråågan:gan:

Hur stor Hur stor äär effekten (skillnaden)?r effekten (skillnaden)?

©© HLHL--0909

Krav pKrav påå storleksmstorleksmååtttt

•• I forskningsmetodiska kurser I forskningsmetodiska kurser och speciellt de som är inriktade påstatistisk dataanalys betonas alltför mycket inferensmetoder, dvs. signifikansprövningar, och alltför lite ägnas åt effektstorleksmått och konfidensintervallskattning.

• I flera decennier har man försökt få forskare att förståmissbruket av signifikansanalyser, när inte förutsättningarna är uppfyllda och att i stället använda mått på effektstorlek.

• Om förutsättningarna är uppfyllda för signifikansprövningar bör ändå dessa alltid följas av mått på effektstorlek. Det är självfallet viktigt att veta hur mycket, än att bara veta att något med säkerhet finns.

• I den femte upplagan av Publication Manual, utgiven av American Psychological Association finns ett tydligt krav vid publicering av forskning att förutom ev. signifikansanalyser också ange lämpligt storleksmått.

EffektstorleksmEffektstorleksmååtttt

•• I statistiska programvaror (t.ex. SPSS) finns en I statistiska programvaror (t.ex. SPSS) finns en del storleksmdel storleksmåått tillgtt tillgäängliga.ngliga.

•• PPåå senare senare åår finns effektstorleksmr finns effektstorleksmåått med i tt med i handbhandbööcker om statistisk dataanalys, t.ex.:cker om statistisk dataanalys, t.ex.:–– Kline, R. B. (2004). Kline, R. B. (2004). BeyondBeyond signifikans testing. signifikans testing.

ReformingReforming data data analysisanalysis methodsmethods in in behavioralbehavioralresearchresearch. Washington, D.C.: APA.. Washington, D.C.: APA.

–– LLööfgren, H. (2006). fgren, H. (2006). GrundlGrundlääggande statistiska ggande statistiska metoder fmetoder föör analys av kvantitativa data r analys av kvantitativa data –– med med öövningar fvningar föör programpaketet SPSSr programpaketet SPSS. Barseb. Barsebääck: ck: PPRPPR--LLääromedelromedel fföör hr höögskolan.gskolan.

©© HLHL--0909

EffektstorlekEffektstorlek

•• Effektstorlek (ES) Effektstorlek (ES) äär en familj av mr en familj av måått som tt som anvanväänds fnds föör att beskriva resultatskillnader r att beskriva resultatskillnader mellan behandlingsgrupper. Till skillnad frmellan behandlingsgrupper. Till skillnad fråån n signifikansanalyser psignifikansanalyser pååverkas inte dessa verkas inte dessa storleksmstorleksmåått av stickprovsstorlek.tt av stickprovsstorlek.

•• Man anvMan anväänder vanligen endera av fnder vanligen endera av fööljande:ljande:1)1) Den standardiserade skillnaden mellan tvDen standardiserade skillnaden mellan tvåå medelvmedelväärden.rden.2) 2) Sambandet mellan den oberoende behandlingsvariabeln och Sambandet mellan den oberoende behandlingsvariabeln och

den beroende utfallsvariabeln.den beroende utfallsvariabeln.FFöör berr berääkningsformler se Lkningsformler se Lööfgren (2006, s. 103fgren (2006, s. 103--105) 105)

©© HLHL--0909

Effektstorlek i metaanalyserEffektstorlek i metaanalyser

•• I metaanalyser berI metaanalyser berääknas effektstorlek (ES) ofta knas effektstorlek (ES) ofta genom den enkla formeln:genom den enkla formeln:

MedelvMedelväärdesdifferensen mellan experimentrdesdifferensen mellan experiment-- och och kontrollgrupp dividerat med standardavvikelsen fkontrollgrupp dividerat med standardavvikelsen föör r kontrollgruppen. Man kan ockskontrollgruppen. Man kan ocksåå vikta ihop de bvikta ihop de bååda da standardavvikelserna.standardavvikelserna.

•• FFöörslagsvis kan ES rslagsvis kan ES ≤≤ 0,20 betraktas som sm0,20 betraktas som smååskillnader, ES ca 0,40 som mskillnader, ES ca 0,40 som mååttliga skillnader ttliga skillnader och ES och ES ≥≥ 0,60 som stora skillnader.0,60 som stora skillnader.

©© HLHL--0909

CohenCohen’’ss dd och och rrYYλλ

Man Man berberääknarknar effektstorleksmeffektstorleksmååttentten Cohen's Cohen's dd ochochrrYYλλ ppåå ffööljandeljande ssäätttt: :

•• Cohen'sCohen's dd = (M= (M11 -- MM22)/)/sspooled , pooled , ddäärr ssp p = = √√ [(s[(s1122+s+s22

22)/2])/2]

•• rrYYλλ = d / = d / √√(d(d²² + 4)+ 4)

AnmAnm.: d and .: d and rrYYλλ äärr positivapositiva omom medelvmedelväärdesdifferensenrdesdifferensen äärr i i prediceradpredicerad riktningriktning..

©© HLHL--0909

BerBerääkning av kning av CohenCohen’’ss dd och och rrYYλλutifrutifråån tn t--vväärde och antal frihetsgraderrde och antal frihetsgrader

•• Cohen'sCohen's dd = 2t= 2t / / √√((dfdf) )

•• rrYYλλ = = √√ (t(t2 2 / (t/ (t2 2 + + dfdf))))

AnmAnm.: d and .: d and rrYYλλ äärr positivapositiva omom medelvmedelväärdesdifferensenrdesdifferensenäärr i i prediceradpredicerad riktningriktning. . ObsObs! ! EffektindexEffektindex kankan endastendast berberääknasknas vidvid oberoendeoberoende stickprovstickprov..

©© HLHL--0909

Exempel pExempel påå effektstorlek (ES) utifreffektstorlek (ES) utifråån n HattieHattie’’sssyntes av syntes av metameta--analyseranalyser

Tabell frTabell fråånn: Hattie,: Hattie, J. A. CJ. A. C. (2009). . (2009). Visible learning: A synthesis of Visible learning: A synthesis of over 800 metaover 800 meta--analyses relating to achievementanalyses relating to achievement. London: . London: RoutledgeRoutledge..

Av hundra jAv hundra jäämfmföörda prda pååverkansfaktorer verkansfaktorer äär fr fööljande ljande de sde säämsta:msta:

Tabell frTabell fråånn: Hattie, J. A. C: Hattie, J. A. C. (2009). . (2009). Visible learning: A synthesis of Visible learning: A synthesis of over 800 metaover 800 meta--analyses relating to achievementanalyses relating to achievement. London: . London: RoutledgeRoutledge..

Effektstorlek utifrEffektstorlek utifråån ett tn ett t--vväärde och rde och en korrelationen korrelation

•• Om man i en artikel fOm man i en artikel fåår reda pr reda påå tt--vväärdet frdet föör den r den statistiska skillnaden mellan tvstatistiska skillnaden mellan tvåå stickprov, kan man stickprov, kan man enkelt berenkelt berääkna ES fkna ES föör att kontrollera att r att kontrollera att signifikansen ockssignifikansen ocksåå innebinnebäär en betydelsefull skillnad. r en betydelsefull skillnad. ES skattas pES skattas påå ffööljande sljande säätt:tt:

ES= 2t/ES= 2t/√√dfdf•• Man kan ocksMan kan ocksåå erherhåålla ES via korrelationen mellan lla ES via korrelationen mellan

den oberoende och den beroende variabeln:den oberoende och den beroende variabeln:ES= 2r/ES= 2r/√√(1(1--rr22) )

©© HLHL--0909

Index pIndex påå relationen mellan relationen mellan oberoende och beroende variabeloberoende och beroende variabel

1)1) OmegakvadratOmegakvadratRelationen mellan den oberoende variabeln Relationen mellan den oberoende variabeln och och mmäätvariabelntvariabeln i en fix variansanalytisk i en fix variansanalytisk modell kan skattas med hjmodell kan skattas med hjäälp av den s.k. lp av den s.k. omegakvadratomegakvadrat--koefficientenkoefficienten ((ωω22

estest). ). Kvadratroten ur detta index Kvadratroten ur detta index äär jr jäämfmföörbar med rbar med en korrelationskoefficient.en korrelationskoefficient.

©© HLHL--0909

Index pIndex påå relationen mellan relationen mellan oberoende och beroende variabeloberoende och beroende variabel

2)2) EtaEtaEtaEta äär kr käänt under namnet korrelationskvot och nt under namnet korrelationskvot och äär ett lr ett läämpligt mmpligt måått ftt föör att beskriva relationen r att beskriva relationen mellan tvmellan tvåå variabler med ickevariabler med icke--linjlinjäära ra regressionslinjer. Fregressionslinjer. Föör att ange relationen r att ange relationen mellan en oberoende variabel (mellan en oberoende variabel (nominalnominal--skaleradskalerad) och en beroende variabel (intervall) och en beroende variabel (intervall--eller eller kvotskaleradkvotskalerad) i en unders) i en undersöökning kan detta kning kan detta mmåått anvtt anväändas.ndas.

©© HLHL--0909

EtaEta--kvadratkvadrat som index psom index påårelationen mellan oberoende och relationen mellan oberoende och beroende variabelberoende variabel

•• EtaEta--kvadratkvadrat äär den delen av den totala variansen r den delen av den totala variansen som kan prediceras utifrsom kan prediceras utifråån den oberoende n den oberoende variabeln (betecknas ofta variabeln (betecknas ofta ηη2)2)..

•• I en variansanalys erhI en variansanalys erhåålls lls etaeta--kvadratkvadrat via via relationen relationen SSSStotaltotal//SSSSmellanmellan gruppergrupper

•• EtaEta och och EtaEta--kvadratkvadrat kan erhkan erhåållas direkt vid llas direkt vid variansanalytisk bearbetning i t.ex. SPSS.variansanalytisk bearbetning i t.ex. SPSS.

©© HLHL--0909

Tolkning av storleken pTolkning av storleken påå ωω22 och och etaeta22

•• BedBedöömningen av vad som mningen av vad som äär en stor eller liten skillnad r en stor eller liten skillnad äär r relaterat till vad man har anledning att vrelaterat till vad man har anledning att väänta sig.nta sig.

•• I pI pååverkansundersverkansundersöökningar kan fkningar kan föörslagsvis frslagsvis fööljande ljande grgräänser anvnser anväändas:ndas:

0,00 0,00 -- 0,040,04 liten skillnadliten skillnad0,05 0,05 -- 0,090,09 medelstor skillnadmedelstor skillnad0,10 0,10 -- stor skillnadstor skillnad

•• Eftersom Eftersom ωω22 och etaoch eta2 2 äär mr måått ptt påå relationen mellan relationen mellan oberoende och beroende variabel kan man i stoberoende och beroende variabel kan man i stäället tala llet tala om svag, pom svag, pååtaglig och stark relation.taglig och stark relation.

©© HLHL--0909

Tolkning av storleken pTolkning av storleken påå sambandsamband

•• Om man berOm man berääknar sambandet mellan tvknar sambandet mellan tvåå variabler mvariabler mååste ste tolkningen relateras till vad man kan ftolkningen relateras till vad man kan föörvrväänta sig. nta sig. Korrelationen Korrelationen äär ett storleksmr ett storleksmåått.tt.

•• Enklast Enklast äär att berr att berääkna kvadraten pkna kvadraten påå korrelationskorrelations--koefficientenkoefficienten. D. Dåå ffåår man andel gemensam varians fr man andel gemensam varians föör r de bde bååda variablerna, vilket da variablerna, vilket äär lr läättare att fttare att föörstrståå..

•• Om sambandet mellan tvOm sambandet mellan tvåå variabler variabler äär 0,30 r 0,30 äär sr sååledes ledes endast 9 % gemensam varians, vilket kan anses vara endast 9 % gemensam varians, vilket kan anses vara ööverraskande mycket om det gverraskande mycket om det gääller sambandet mellan ller sambandet mellan lläängd och begngd och begååvning, och vning, och ööverraskande lite om det verraskande lite om det ggääller samband mellan betyg i matematik och engelska.ller samband mellan betyg i matematik och engelska.

©© HLHL--0909

Ett index som bygger pEtt index som bygger påå χχ22

CramCraméérs index (CV)rs index (CV)Detta index berDetta index berääknas enkelt genom att ta knas enkelt genom att ta kvadratroten ur Chikvadratroten ur Chi--kvadratvkvadratväärdet dividerat med rdet dividerat med antalet observationer (N) multiplicerat med (santalet observationer (N) multiplicerat med (s--1). 1). s = minsta antalet av rader och/eller kolumner. s = minsta antalet av rader och/eller kolumner.

FFöör en r en fyrffyrfäältstabellltstabell blir s=1 och Cramblir s=1 och Craméérs index rs index lika med den s.k. lika med den s.k. phiphi--koefficientenkoefficienten (jfr L(jfr Lööfgren, fgren, 2006, s. 143)2006, s. 143)

©© HLHL--0909

Vad har vi nu lVad har vi nu läärt oss? rt oss?

•• Att inte lAtt inte läängre bli imponerad av en pngre bli imponerad av en pååvisad visad signifikant skillnad eller signifikant korrelation!signifikant skillnad eller signifikant korrelation!

•• Att storlek Att storlek äär mycket mer intressant r mycket mer intressant ään n signifikans!signifikans!

•• Att om fAtt om föörfattaren till en forskningsuppsats inte rfattaren till en forskningsuppsats inte har definierat population och inte har redovisat har definierat population och inte har redovisat hur urvalet av undershur urvalet av undersöökningsdeltagarna kningsdeltagarna äär gjort r gjort men men äändndåå anvanväänder signifikansprnder signifikanspröövningar, slvningar, slääng ng uppsatsen i runda arkivet, dvs. papperskorgen!uppsatsen i runda arkivet, dvs. papperskorgen!

©© HLHL--0909