Basal Statistik Variansanalyse

Basal Statistik Variansanalyse

24 september 2013

Michael GamborgInstitut for sygdomsforebyggelse Københavns Universitetshospital

[email protected]

Lene Theil Skovgaard biostat.ku.dk/~lts/basal/overheads/anova.pdf

E2013 Basal Statistik - Variansanalyse 3

Variansanalyse

• Fordelingsantagelse• En-sidet• To-sidet• Interaktion• Model kontrol

ANOVA

ANalysis Of VAriance


Variansanalyse

• Typiske problemstillinger– Hvordan afhænger

behandlingen afsygdomstadium

– Er der forskel i effekten afdiverse præperater tilnedsættelse af blodtrykket

– Afhænger lungefunktionenaf rygestatus? Og affysiskaktivitet?

• Datastruktur• Ensidet variansanalyse

– Et antal personer (N) opdelt i veldefinerede grupper (k)

• Tosidet variansanalyse– Personerne er inddelt efter

flere forskellige indelingskriterier, f. eks. Rygning og fysiskaktivitet


Variansanalyse

• Én-sidet En faktor med mere end 2 grupper

• To-sidet To faktorer

• Fler-sidet Flere faktorer

En-sidet variansanalyse med 2 grupper eller niveauer er præcis det samme som et t-test


Variansanalyse

• Sammenligner varianser mellem grupper med varianser indenfor grupper

• Variansen inden for grupper er den biologiske variation.

• Hvis den biologiske variation er stor vil den tilfældige variation mellem grupperne også blive stor


Én-sidet Variansanalyse

• Kvalitativ faktor & kvantitativ respons• Eksempel: 22 ptt. bypass-operationer, 3 slags

ventilation (randomiseret)Gruppe I 50% N2O, 50% O2 i 24 timer

Gruppe II 50% N2O, 50% O2 under op.

Gruppe III 30–50% O2 (ingen N2O) i 24 timer

• Er der forskel på fordelingen af responset (red cell foliate) i de tre grupper?

• Er der forskel på niveauerne i de tre grupper?



• Kan vi ikke bare sammenligne grupperne parvis med t-test

• Problem: Massesignifikans

• (se senere)axis1 ORDER = (1 to 3 by 1) OFFSET=(8,8)

LABEL=(H=2 'gruppe nr.') VALUE=(H=2) MINOR=none ;axis2 OFFSET=(1,1) LABEL=(a=90 R=0 H=2 'red cell foliate')

VALUE=(H=2) MINOR=none ;symbol1 V=circle I=none H=2 C=black ;

PROC GPLOT DATA=sasuser.redcell;PLOT redcell*grp/frame haxis=axis1 vaxis=axis2;RUN;



Én-sidet• Der kun er et inddelings-

kriterium, – f.eks. som her

ventileringsmetode

Variansanalyse:• Fordi man sammenligner

variansen mellem grupper med variansen indenfor grupper

Antagelser:• Alle observationer er

uafhængige(personerne går ikke igen flere gange, ingen tvillinger o.l.)

• Inden for hver gruppe er observationerne normalfordelt

• Der er samme varians indenfor grupperne



i’te observation individueli gruppe nr. g afvigelse

middelværdi forgruppe nr. g

giggiY εµ +=

),0(~ 2σε Ngi) ,(~ 2σµggi NY

Model

Observationerne antages at følge en normalfordeling (inden for hver gruppe) med samme varians.


• Vi undersøger om alle k grupper kan tænkes at have samme middelværdi


kH µµµ === L210 :

• Variansestimaterne for hver gruppe pooles til et fælles estimat for variansen indenfor grupper

• H0 testes ved at betragte forholdet mellemvariationen mellem grupper og det fælles estimat for variansen indenfor grupper


Kvadratsummer

• Opspaltning af observationer:

i-te observation i g-te gruppe

gennemsnit i g-te gruppetotalgennemsnit

44344214434421grupper mellem

,

2

grupperindenfor

,

2

,

2 .)( )( .)( ∑∑∑ −+−=−gi

g

gi

ggi

gi

gi yyyyyy

( ) ( )⋅⋅ −+−=− yyyyyy gggigi

gygiy

⋅y

• Opspaltning af variation (kvadratsum, sum of squares, SAK/SS):


Kvadratsummer

44344214434421grupper mellem

,

2

grupperindenfor

,

2

,

2 .)( )( )( ∑∑∑ −+−=−gi

g

gi

ggi

gi

gi yyyyyy

SStot = SSw + SSb

SSDtot = SSDw + SSDb

SAK: Sum af Afvigelses Kvadrater

SS(D): Sum of Squares (of deviation)

SAKtot = SAKres+SAKgrp


• Opdeling af variansen

– Mellem grupper SAKgrp (SSb)

– Indenfor grupper SAKres (SSw)

• Total variationen SAKtot (SStot)opdeles i de to varians-komponenter

SAKtot = SAKgrp + SAKres

Kvadratsummer


Mellem grupper

• De forskelle der er mellem f.eks. Rygere og ikke-ryger eller mellem social klasser

Indenfor grupper

• De forskelle der er mellem f.eks. Individer

Indenfor grupper-variansen kaldes også residual

eller rest-variansen.

Kvadratsummer


F-Test

• Middelkvadratsummer (Mean Squares MS)– MSw = SSw / (N-k): Poolet varians – MSb = SSb / (k-1): Varians mellem gruppe

gennemsnittene

• Teststørrelse: w

b

MS

MSF =

• Vi forkaster hvis F er stor, altså hvis variationen mellem grupperne er stor i forhold til variationen indenfor grupper


Variansanalyseskema

Varianstype SS df MS F = Mellem grp. SS k-1 SS/df MS/MS

Indenf. grp SS N-k SS/df

Total N-1

Varianstype SS df MS F = Mellem grp. 15515.88 2 7757.9 3.71Indenf. grp 39716.09 19 2090.3

Total 55231.97 21


Ensidet ANOVA i SAS• Data sættes op i 2 variabler, en med outcome (redcell) og en med

klassifikationsvariablen (grp)PROC GLM DATA=sasuser.redcell;CLASS grp;MODEL redcell=grp;RUN;

Sum ofSource DF Squares Mean Square F Value Pr > FModel 2 15515.76641 7757.88321 3.71 0.0436Error 19 39716.09722 2090.32091Corrected Total 21 55231.86364

R-Square Coeff Var Root MSE redcell Mean0.280921 16.14252 45.72003 283.2273

Source DF Anova SS Mean Square F Value Pr Fgrp 2 15515.76641 7757.88321 3.71 0.0436


Ensidet ANOVA i SAS

• Hvis man også vil have estimater og konfidensgrænser ....og det vil man ALTID:

PROC GLM DATA=sasuser.redcell;CLASS grp;MODEL redcell=grp / solution clparm;RUN;


Normalfordelingsantagelsen• Det er antaget, at observationerne følger en

normalfordeling inden for hver gruppe

• Dette bør checkes, f.eks.:

– ved at tegne histogrammer eller fraktil-diagrammer for hver gruppe

– ved at tegne histogram eller fraktildiagram for residualerne

_

ˆggiggigi YYYr −=−= µ

– ved at lave normalfordelingstest, enten for hver gruppe for sig, eller samlet for residualerne


Normalfordelingsantagelsen

PROC GLM DATA=sasuser.redcell;CLASS grp;MODEL redcell=grp / solution clparm;OUTPUT OUT=ny P=predikt R=resid;RUN;QUIT;PROC UNIVARIATE normal DATA=ny;VAR resid;HISTOGRAM / normal cfill=gray height=3;PROBPLOT / normal(MU=est SIGMA=est L=33);RUN;


Flot er det jo ikke – men hvad kan man forvente med kun 22 observationer....


Histogram, med overlejret normalfordeling:


Tests for NormalityTest ------Statistic------- --------p Value---------Shapiro-Wilk W 0.965996 Pr < W 0.6188Kolmogorov-Smirnov D 0.107925 Pr > D >0.1500Cramer-von Mises W-Sq 0.043461 Pr >W-Sq >0.2500Anderson-Darling A-Sq 0.263301 Pr > A-Sq >0.2500

Her er normalfordelingsantagelsen tilsyneladende OK

• Probability plot:


• Normalfordelingstest:


Varianshomogenitet• En af forudsætningerne for den ensidede variansanalyse er, at der er

samme varians i alle grupper.PROC GLM DATA=sasuser.redcell;CLASS grp;MODEL redcell=grp / solution clparm;MEANS grp / HOVTEST=levene ;OUTPUT OUT=ny P=predikt R=resid;RUN;QUIT;axis3 OFFSET=(8,8) LABEL=(H=2 'predicted value') VALUE=(H=2) MINOR=none ;axis4 OFFSET=(1,1) LABEL=(a=90 R=0 H=2 'residual') VALUE=(H=2) MINOR=none ;symbol1 V=circle I=none H=2 W=2;

PROC GPLOT DATA=ny;PLOT resid*predikt / frame haxis=axis3 vaxis=axis4;RUN;


Varianshomogenitet• Levenes test for varianshomogenitet:

Level of -----------redcell-----------grp N Mean Std Dev1 8 316.625000 58.71708802 9 256.444444 37.12179653 5 278.000000 33.7564809

Levene’s Test for Homogeneity of redcell VarianceANOVA of Squared Deviations from Group Means

Sum of MeanSource DF Squares Square F Value Pr > Fgrp 2 18765720 9382860 4.14 0.0321Error 19 43019786 2264199

• Ved sammenligning af de k = 3 variansestimater fås teststørrelse på 4.14 F(2,19)-fordelt, svarende til P=0.03, og altså signifikans!


Varianshomogenitet

• Grafisk check med residualplot:

• Residualer tegnes op mod predikterede(forventede, fittede) værdier


Multiple sammenligninger

• Problem:– F-test viser, at der nok er

forskel – men hvor?• Parvise t-test ikke godt

pga. massesignifikans– Der er m = k(k − 1)/2

mulige test, reelt signifikansniveau: 1 − (1 − α)m

– f.eks. for k=5: 0.40


Der findes ikke nogen helt tilfredsstillende løsning, men

1. Prøv at undgå problemet (fokuser problemstillingen)2. Udvælg et (lille) antal relevante sammenligninger på

forhånd, dvs. skriv dem ind i protokollen!3. Tegn gennemsnit ±2 × SEM og brug øjemål(!), evt.

suppleret med F-tests på delsæt af grupper4. Modificer t-test ved at gange P med antallet af tests –

såkaldt Bonferroni korrektion (konservativ) eller anden form for korrektion (Dunnett, Tukey).



symbol1 V=circle I=std2mjt H=2 W=2;PROC GPLOT DATA=sasuser.redcell; PLOT redcell*grp / frame haxis=axis1 vaxis=axis2;RUN;

• Her med Bars på 2 s.e., dvs. konfidensintervaller for middelværdierne



Bonferroni– signifikansniveau

Tukey-Kramer– baseres på fordeling af

’størst blandt mange’– giver større styrke


m

α

( )m

mα

α ≈−−1

11

– stærkt konservativ, dvs. for høje P-værdier

– lav styrke

Sidak– benytter signifikansniveau

for små m– lidt mindre konservativ– stadig ret lav styrke

Dunnett– korrigerer kun for test

mod referencegruppe– (typisk en kontrolgruppe

eller ’tid 0’)


PROC GLM DATA=sasuser.redcell;CLASS grp;MODEL redcell=grp / solution clparm;LSMEANS grp / pdiff adjust=bonferroni cl;LSMEANS grp / pdiff adjust=tukey cl;RUN;

Adjustment for Multiple Comparisons: Bonferroni

Least Squares Means for effect grpPr > |t| for H0: LSMean(i)=LSMean(j)

Dependent Variable: redcell

i/j 1 2 3

1 0.0418 0.46432 0.0418 1.00003 0.4643 1.0000

Adjustment for Multiple Comparisons: Tukey-Kramer

Least Squares Means for effect grpPr > |t| for H0: LSMean(i)=LSMean(j)

Dependent Variable: redcell

i/j 1 2 3

1 0.0355 0.32152 0.0355 0.68023 0.3215 0.6802

Multiple sammenligninger i SAS


Adjustment for Multiple Comparisons: Bonferroni

Difference Simultaneous 95%Between Confidence Limits for

i j Means LSMean(i)-LSMean(j)

1 2 60.180556 1.861360 118.499751 3 38.625000 -29.796878 107.046872 3 -21.555556 -88.499465 45.38835

Adjustment for Multiple Comparisons: Tukey-Kramer

Difference Simultaneous 95%Between Confidence Limits for

i j Means LSMean(i)-LSMean(j)

1 2 60.180556 3.742064 116.619041 3 38.625000 -27.590379 104.84032 3 -21.555556 -86.340628 43.2295

Multiple sammenligninger i SAS

PROC GLM DATA=sasuser.redcell;CLASS grp;MODEL redcell=grp / solution clparm;LSMEANS grp / pdiff cl;RUN;

Giver p værdier og konfidens grænser Uden justering for multipel testning


Hvis antagelserne ikke holder• Transformation (ofte

logaritmer) kan afhjælpe såvel variansinhomogenitet som dårlig normalfordelingstilpasning

• Man kan lave vægtet analyse (Welch’s test), ligesom ved T-test

PROC GLM DATA=sasuser.redcell;CLASS grp;MODEL redcell=grp / solution clparm;MEANS grp / HOVTEST=levene

WELCH ;

RUN;

Welch’s variance-weighted test

Welch’s ANOVA for redcell

Source DF F Value Pr > F

grp 2.0000 2.97 0.0928Error 11.0646

Vi er altså ikke alt for sikre på den fundne forskel...


Kruskal-Wallis Test

PROC NPAR1WAY DATA=sasuser.redcellwilcoxon;CLASS grp;VAR redcell;RUN;

• Bemærk: Man kan også få en eksakt vurdering af teststørrelsen, men pas på i tilfælde af store materialer!

• EXACT wilcoxon;• Tilføjes før RUN;

The NPAR1WAY Procedure

Analysis of Variance for Variable redcellClassified by Variable grp

Wilcoxon Scores (Rank Sums) for Variable redcellClassified by Variable grp

Sum of Expected Std Dev Meangrp N Scores Under H0 Under H0 Score1 8 120.0 92.00 14.651507 15.0000002 9 77.0 103.50 14.974979 8.5555563 5 56.0 57.50 12.763881 11.200000

Kruskal-Wallis Test

Chi-Square 4.1852DF 2Asymptotic Pr > Chi-Square 0.1234Exact Pr >= Chi-Square 0.1233


Logaritmerede dataLogaritme transformere udfaldet (her 10 tals logaritmen) logredcell=log10(redcell);


Logaritmerede data


Logaritmerede data

• Fortolkning:– Eksempelvis forskel mellem gruppe 1 og gruppe 3:– Estimatet: 0.05232 – med CI: (-0.02996;0.13459)

• Tilbage transformeres til – Estimat: 128.110 05232.0 =

( ) ( )363.1;933.010;10 13459.002996.0 =−

• Dvs gruppe 1 ligger 12.8% højere end gruppe 3 med CI fra 6.7% under til 36.3% over

– Med CI:


ANOVA og t-test

Tosidet variansanalyse forekommer dog oftest i anden sammenhæng (flere inddelingskriterier)


To-sidet Variansanalyse

Ved sammenligning af tidspunkter skal man eliminere variation mellem personer – ganske som i et parret t-test


Spaghetti Plot

• Puls vs. tid, observationer hørende til samme person forbundet.

• Ideelt er forløbene parallelle (additivitet)


Spaghetti Plot

DATA sasuser.puls;INFILE 'c:\puls.txt' firstobs=2;INPUT person tid0 tid30 tid60 tid120;tid=0; puls=tid0; output;tid=30; puls=tid30; output;tid=60; puls=tid60; output;tid=120; puls=tid120; output;RUN;

axis5 LABEL=(H=2) VALUE=(H=2) MINOR=none ;axis6 LABEL=(A=90 R=0 H=2) VALUE=(H=2) MINOR=none ;symbol1 V=circle I=join C=black H=3 W=2

L=2 R=9;

/*gentager symbolet 9 gange*/

PROC GPLOT DATA=sasuser.puls;PLOT puls*tid=person / nolegend frame haxis=axis5 vaxis=axis6;RUN;


To-sidet Variansanalyse

Der er effekt af person (p) og tid (t):

pttpptY εβαµ +++=

)049 == βα

( )2,0~ σε Npt

Variationsopspaltning:

SStot = SSperson + SStid + SSres

εpt uafhængige, middelværdi 0, samme varians, normalfordelte,

og disse virker additivt.(Nødvendigt med passende bånd på parametrene, i SAS f.eks.


To-sidet Variansanalyse Ideelt set parallelle forløb, overlejret med normal-fordelt variation giver mere irregulære forløb.


Variansanalyseskema

• Højsignifikant forskel på personer – (forventeligt, men ikke så interessant)

• Signifikant tidsforskel, P=0.018 – men vi mangler estimater!

df SS MS F P

Personer 8 8966.6 1120.8 90.60 <0.0001

Tid 3 151.0 50.3 4.07 0.0180

Resid. 24 296.8 12.4

total 35 9414.3


Estimater

PROC GLM DATA=sasuser.puls;CLASS tid person;MODEL puls=tidperson / solution clparm;OUTPUT OUT=nyP=predikt R=resid;RUN;QUIT;

Sum ofSource DF Squares Mean Square F Value Pr > F

Model 11 9117.527778 828.866162 67.03 <.0001Error 24 296.777778 12.365741Corrected Total 35 9414.305556

R-Square Coeff Var Root MSE puls Mean0.968476 3.775539 3.516496 93.13889

Source DF Type I SS Mean Square F Value Pr > Ftid 3 150.97222 50.324074 4.07 0.0180person 8 8966.55555 1120.819444 90.64 <.0001


StandardParameter Estimate Error t Value Pr > |t|

Intercept 102.1944444 B 2.03024963 50.34 <.0001tid 0 4.2222222 B 1.65769189 2.55 0.0177tid 30 0.2222222 B 1.65769189 0.13 0.8945tid 60 -1.2222222 B 1.65769189 -0.74 0.4681tid 120 0.0000000 B . . .person 1 -11.5000000 B 2.48653783 -4.62 0.0001person 2 6.5000000 B 2.48653783 2.61 0.0152person 3 -17.2500000 B 2.48653783 -6.94 <.0001person 4 -19.5000000 B 2.48653783 -7.84 <.0001person 5 19.0000000 B 2.48653783 7.64 <.0001person 6 -5.0000000 B 2.48653783 -2.01 0.0557person 7 -33.5000000 B 2.48653783 -13.47 <.0001person 8 -27.5000000 B 2.48653783 -11.06 <.0001person 9 0.0000000 B . . .

Forventede værdierfor person = 3, tid = 30:

Bemærk, at de sidste niveauer af hver faktor(Class-variabel) bliver sat til 0

De kaldes referenceniveauer

Residualer

Altså f.eks.


Modelkontrol

• Varianshomgenitet?• Normalfordelte residualer?• Additivitet? (vekselvirkning, interaktion,

effekt modifikation)– Kan kun undersøges hvis der er flere

observationer per celle

• Seriel korrelation?


Modelkontrol

• Varianshomgenitet


Modelkontrol

• Normalfordelte residualer


Modelkontrol

• Seriel korrelationDer ser ikke ud til at være Seriel korrelation her

Modeller, der inkludere sådanne korrelationer kaldes

Repeated measurements


Modelkontrol

• Data til seriel korrelation plottet:

DATA ny2;SET ny;f_resid=lag(resid);IF tid=0 THEN f_resid=.;RUN;

• Seriel korrelation plottet:

axis7 OFFSET=(8,8) LABEL=(H=2 'forrigeresidual') VALUE=(H=2) MINOR=none ;symbol1 V=circle I=none C=black H=2 W=2 L=2 ;

PROC GPLOT DATA=ny2;PLOT resid*f_resid / vref=0 href=0 lvref=33 lhref=33 haxis=axis7 vaxis=axis4;RUN;


Vekselvirkning

• Eller interaktion eller effekt modifikation• Hvordan virker faktorerne ind på

hinanden?

• Forskellen i respons mellem niveauerne af en faktor er ikke den samme ved alle niveauer af de andre faktorer

• Der kan være en synergistisk effekt (eller det modsatte)


Ao 20 30

Fakt. A

A1 40 52

Faktor B

Ingen vekselvirkning

0

20

40

60

Faktor B

Res

po

ns

Ao 20 40

Fakt. A

A1 30 12

Faktor B

Med vekselvirkning

0

10

20

30

40

50

Faktor B

Res

po

ns

Ao

A1

A1

Ao


Vekselvirkning

• Eksempel på 2 inddelingskriterier:– køn– rygestatus

• Respons: FEV1• Mulige forklaringer:

– biologisk forskel på effekt af rygning– måske ryger kvinderne ikke helt så meget– måske virker rygningen som en relativ (%-vis)

nedsættelse af FEV1


Eksempel


Vekselvirkning

• Interaktion/vekselvirkning mellem mængden og varigheden af Rygningen

• Der er effekt af mængden, men kun hvis man har røget længe

• Der er effekt af varigheden, og denne effekt øges med mængden


VekselvirkningFibrinogen efter

miltoperation

34 rotter randomiseres, på 2 måder• 17 får fjernet milten

(splenectomy=yes)• 8/17 i hver gruppe opholder sig i

stor højde (place=altitude)Outcome:• Fibrinogen niveau i mg% ved

dag 21


VekselvirkningAlmindelig model:

sprpssprY εβαµ +++=

sprsppssprY εγβαµ ++++=

Her specificeres en interaktion mellem splenectomy og place, dvs. effekten af ophold i stor højde tænkes at afhænge af, hvorvidt man har fået fjernet milten eller ej.— og omvendt ....

splenectomy (s=yes/no) og place (p=altitude/control) virker additivt.

Model med interaktion (vekselvirkning):


Vekselvirkning i SASPROC GLM DATA=sasuser.fibronogen;CLASS splenectomy place;MODEL fibrinogen = splenectomy place splenectomy*place / solution;RUN;

The GLM Procedure

Class Level InformationClass Levels Valuessplenectomy 2 no yesplace 2 altitude control

Number of observations 34Dependent Variable: fibrinogen

Sum ofSource DF Squares Mean Square F Value Pr > F

Model 3 138402.2949 46134.0983 7.51 0.0007Error 30 184321.2639 6144.0421Corrected 33 322723.5588

^ Total ^

R-Square Coeff Var Root MSE fibrinogen Mean0.428857 22.21804 78.38394 352.7941


Vekselvirkning i SAS


• Referenceniveauerne er place=control, splenectomy=yes (de sidste i den alfabetiske rækkefølge)

• så disse har forventet fibrinogenniveau på intercept=261.67

• For de andre niveauer skal der adderes et eller flere ekstra estimater, således:

Splenectomyplace

control Altitude

yes261.67 261.67

+ 90.58= 352.25

no

261.67+ 104.44

= 366.11

261.67+ 104.44+ 90.58- 15.82= 440.87



• Vi kan godt få SAStil at udregne disse niveauer explicit:

PROC GLM DATA=sasuser.fibronogen;CLASS splenectomy place;MODEL fibrinogen = splenectomy*place /

solution noint;RUN;• Bemærk at “splenectomy

place” er slettet i model linien



• Vekselvirkningen var ikke signifikant (p=0.77)

• Så modellen simplificeres til en tosidet variansanalyse uden vekselvirkning

To-sidet variansanalyse


To-sidet variansanalyse


Modelkontrol


Modelkontrol

Documents

Basal Statistik Variansanalyse