REGRESIJSKE ANALIZEinVEČNIVOJSKO MODELIRANJE

Psihologija - magistrski študijMetodologija psihološkega raziskovanja2003/04

Gregor SočanKatedra za psihološko metodologijo

Regresija: napovedovanje, opis odnosov

Korelacija: opis velikosti povezanosti (stopnja prileganja modela)

Osnovni model multiple linearne regresije:

Y a b X ei jj

P

ij i

1

• multipli R (mera korelacije - variira med 0 in 1),• b koeficienti (nagibi) in regresijska konstanta,• koeficienti (mere pomembnosti posameznih prediktorjev).

Parametre navadno računamo po načelu najmanjših kvadratov.

PARAMETRI:

Kaj vpliva na multiplo korelacijo? • korelacije prediktorjev s kriterijem ()• korelacije med prediktorji (),• vplivne točke (/),• napaka merjenja (),• variabilnost vzorca (/).

Stabilnost (SE) modela odvisna od:• korelacij med prediktorji (),• velikosti vzorca (),• vplivnih točk ().

Z

X

-10

10

30

50

70

90

110

10 30 50 70 90 110

N = 100 r = 0,09N = 101 r = 0,31

X

Y

-20

-10

0

10

20

30

40

50

60

70

-5 5 15 25 35 45 55 65

N = 100 r = 0,81N = 101 r = 0,74

Nekaj pogostih zablod:

• mešanje statistične in praktične

pomembnosti; • “stat. nepomemben r korelacije ni”;• mešanje korelacije in vzročnosti;• ignoriranje “nazadovanja proti povprečju”.

Statistična pomembnost:

• t-test (b, r);• Fisherjev z test (razlika med dvema neodvisnima r);• F-test (R, razlika med dvema vgnezdenima R).

Intervali zaupanja odvisni od:• višine korelacije,• velikosti vzorca in oddaljenosti osebe od povprečja prediktorjev.

Vzorčni multipli R je pristranska ocena populacijskega.

1. Izračun popravljenega (adjusted) R.2. Vsaj 20-30 oseb na prediktor (če prediktorji visoko korelirani, potreben večji N!).

priporočljiva ukrepa:

REGRESIJSKE PREDPOSTAVKE:

1. naključno vzorčenje (neodvisnost opazovanj):“Vsaka oseba ima enako verjetnost, da bo izbrana v vzorec.”

Najpogosteje kršena pri večstopenjskem vzorčenju.Kršitev resno vpliva na inferenčne teste.

2. linearnost“Povezanost lahko najbolje opišemo s premico.”

Ugotavljanje: F-test, rezidualni graf.

Kršitev vpliva tudi na interpretacijo korelacijskih in regresijskih koeficientov.

Napovedane vrednosti Y

Re

zid

ua

li

-50

-30

-10

10

30

50

70

90

100 200 300 400 500 600 700 800 900

Primer rezidualnega grafa pri nelinearni povezanosti:

3. homoscedastičnost

Standardna napaka napovedi je enakana celotnem razponu X.

Heteroscedastičnost je lahko posledicaneustreznega združevanja skupin.

Ugotavljanje: rezidualni graf.

Kršitev vpliva tudi na interpretacijo korelacijskih in regresijskih koeficientov.

Primer rezidualnega grafa pri heteroscedastičnosti:

Napovedane vrednosti Y

Re

zid

ua

li

-50

-30

-10

10

30

50

39.7 39.9 40.1 40.3 40.5 40.7 40.9

4. normalnost porazdelitve rezidualov

(implikacija: OS je intervalna)

Preverjanje: histogram / P-P graf rezidualov.

Kršitev vpliva na inferenčne teste inna pravilnost intervalov zaupanja za Y’.

Normal P-P Plot of Regression Standardized Residual

Dependent Variable: OBSEG

Observed Cum Prob

1,00,75,50,250,00

Exp

ect

ed

Cu

m P

rob

1,00

,75

,50

,25

0,00

Kako poročati o regresijski analizi?

Prediktor b SE(b) t pkonstanta 3,11 ,42 7,34 < 0,001Kodiranje-hit. –0,0049 0,0007 –0,53 –7,07 < 0,001Sternberg-nap. –0,0688 0,0215 –0,24 –3,02 ,002

R = 0,59 popravljeni R = 0,58F(2,117) = 31,4 p < 0,001SNN = 0,80

Pri postopnem vključevanju prediktorjev:

Prediktor b SE(b) t p1. korak

konstanta 3,009 0,433 6,95 < 0,001Kodiranje-hit. –,00050 0,0007 –0,54 –6,98 < 0,001

2. korakkonstanta 3,11 0,418 7,34 < 0,001Kodiranje-hit. –0,0049 0,0007 –0,53 –7,07 < 0,001Sternb.-nap. –0,0688 0,0215 –0,24 –3,02 ,002

Prediktorji R popr. R R2 SNN F pKodiranje-hit. 0,54 0,54 0,29 0,83 48,7 < 0,001

Kodiranje-hit.,Sternb.-nap.

0,59 0,58 0,06 0,80 31,4 < 0,001

Analiza potiMetoda preverjanja vzročnih odnosov med več opazovanimi spremenljivkami hkrati (poseben primer strukturnega modeliranja).

Določimo lahko • multiple korelacije za posamezne spremenljivke; • neposredne in posredne vplive;• stopnjo prileganja celotnega modela.

Analiza poti

starost1.00

kajenje 0.80

alkohol 0.57

droge 0.52

0.38

0.310.23

0.44

0.39

0.30Squared Multiple Correlations for Structural Equations kajenje: 0.20alkohol: 0.43 droge: 0.48

Standardized Total Effects of starost on Y kajenje: 0.44alkohol: 0.56 droge: 0.57

Standardized Indirect Effects of starost on kajenje - -alkohol: 0.17droge: 0.27

• nelinearna pretvorba;• nelinearni člen kot nov prediktor (tudi pri interakciji);• iterativno ocenjevanje parametrov;• če odnos monoton: neparametrična regresija (na temelju rangov).

Kategorični prediktorji: uvedemo

dihotomne indikatorske spremenljivke.

Robustna regresija: opazovanja obtežimo

glede na odstopanje od večine točk.

Nelinearni odnosi:

Hierarhično linearno modeliranje(večnivojsko modeliranje, multilevel modeling)

Težave pri večstopenjskem vzorčenju:• odvisnost opazovanj (“efektivni N” < N);• različni odnosi na različnih ravneh - na kateri ravni velja naša interpretacija?

HLM omogoča analizo na več ravneh hkrati in upošteva odvisnost opazovanj.

Osnovni model za 1 prediktor:Yij = 0j +1Xij + Rij

Yij = vrednost OS za osebo i v skupini j

Xij = vrednost NS za osebo i v skupini j

0j = regr. konstanta v skupini j

1 = regr. nagib

Rij = rezidual (napaka napovedi)

Izhodišče HLM: regresijski parametri po skupinah so naključne spremenljivke.

Model z naključnim presečiščem (random intercept model)

0j = 00 + U0j

00 = povprečno presečišče za vse skupineU0j = odklon v skupini j

Model postane: Yij = 00 +1Xij + U0j + Rij

fiksni del naključni del

Vključimo lahko prediktorje na več ravneh:

Yij = 00 +10Xij + 01Zj + U0j + Rij

Zj = spremenljivka na drugi ravni (skupinska sprem.)

01= regresijski nagib skupinske spremenljivke

Preko skupin se lahko spreminjajo tudi nagibi: model z naključnimi nagibi (random slope model)

Rezultati HLM:

• regresijski parametri (po skupinah)

• komponente variance.

Alternativa modelu z naključnimi presečišči: analiza kovariance (ANCOVA), če:• skupine niso (kvazi)naključno vzorčene, • so skupine dovolj velike,• nas ne zanimajo učinki skupinskih spremenljivk.

Literatura za regresijsko analizo:…na kratko:• Nunnally, J.C. in Bernstein, I.H. (1994). Psychometric theory (3rd ed.). New York: McGraw-Hill.• Stevens, J. (1996, 2001). Applied multivariate statistics for the social sciences. Mahwah, NJ: Laurence Erlbaum.

…za poglobljen študij: • Darlington, R.B. (1990). Regression and linear models. New York: McGraw-Hill.• Pedhazur, E.J. (1997). Multiple regression in behavioral research (3rd ed.). New York: Holt, Rinehart & Winston.• Ryan, T.P. (1997). Modern regression methods. New York: Wiley.

Literatura za HLM:Snijders, T.A.B. in Bosker, R.J. (1999). Multilevel analysis. An introduction to basic and advanced multilevel modeling. London: Sage.