Profesor Zorica Mladenovićavs.ekof.bg.ac.rs/OEkonometrije/materijal/2017/glava6.pdf · Profesor Zorica Mladenović Ekonomski fakultet, 2017. 2 Osnove Klasični višestruki linearni

Profesor Zorica Mladenović

Ekonomski fakultet, 2017. 1

Zorica Mladenović

1

Klasični višestruki

linearni regresioni model

Struktura

Osnove višestrukog linearnog regresionog

modela

Dvostruki linearni regresioni model

Ocene parametara primenom metoda ONK (na

vežbama)

Matrična notacija (na vežbama)

Pretpostavke višestrukog KLRM

Svojstva ocena dobijenih primenom metoda ONK

u višestrukom KLRM (na vežbama)

Korelacija u višestrukom KLRM

Statističko zaključivanje u višestrukom KLRM



Osnove

Klasični višestruki linearni regresioni model: osnove

Na jednom od prethodnih primera ispitivali smo zavisnost tražnje datog proizvoda od njegove cene

Ovakva postavka može biti suviše restriktivna.

Tražnja za datim proizvodom može zavisiti i od:

1. dohotka potrošača,

2. cena konkurentnih proizvoda i

3. opšteg indeksa cena.

Neophodno je napraviti uopštenje linearnog regresionog modela: izabrana zavisna promenljiva zavisi od većeg broja nezavisnih promenljivih.

Time dolazimo do višestrukog linearnog regresionog modela.

.21 0 ,..., n,i,XY iii



Postavka modela

Analitički oblik višestrukog linearnog regresionog

modela (ukupan broj parametara je k):

Parametri modela:

su parcijalni koeficijenti nagiba

Na primer: ako se X1 poveća za jednu jedinicu,

očekivana promena Y je jedinica, pod

pretpostavkom da se ne menja uticaj ostalih

objašnjavajućih promenljivih

Parametar slobodnog člana:

121 k,...,,

1

1122110 kk X...XXY

0





Najjednostavniji je model sa dve objašnjavajuće promenljive:

Y=β0+β1X1+β2X2+ε

Populaciona regresiona jednačina (za E(ε)=0) je:

E(Y)=β0+β1X1+β2X2

Parametri β0, β1 i β2 su populacioni parametri ili regresioni koeficijenti.

Populaciona regresiona jednačina ne opisuje pravu, nego ravan.

Parametar β0 je odsečak (presek ravni sa y-osom).

Parametri β1 i β2 parcijalni koeficijenti nagiba.

Grafički prikaz modela



Dvostruki linearni regresioni model II

Uključivanjem konkretnih podataka model postaje:

Uzoračka regresiona funkcija je:

gde su b0, b1 i b2 ocene parametara.

Ocene nepoznatih parametara dobijaju se

primenom metoda ONK.

.n,...,,iza,XXY iiii 2122110

iii XbXbbY 22110

Metod ONK



11

Izvođenje ONK ocena

Potrebno je minimizirati zbir (tzv. rezidualnu sumu

kvadrata):

Šta je ? To je razlika

Naći minimum

je ekvivalentno određivanju minimuma

n

i

in ee...ee

1

2222

21

iii YYe

n

i

ie

1

2

2

1

)YY( ii

n

i

ie

12

Izvođenje ocena metoda ONK (II)

Kako je , možemo definisati funkciju

Potrebno je minimizirati funkciju S u odnosu na b0 , b1 i b2 :

222110

1

2

1

210 )XbXbbY()YY()b,b,b(S iii

n

i

ii

n

i

(3) 02

(2) 02

(1) 02

1

2221102

210

1

1

221101

210

1

221100

210

n

i

iiii

i

n

i

iii

n

i

iii

XXbXbbYb

b,b,bS

XXbXbbYb

b,b,bS

XbXbbYb

b,b,bS

iii XbXbbY 22110



13

Izvođenje ocena metoda ONK (III)

Iz (1):

Zamenom (4) u (2) i (3)

(4)

0

0

22110

1 1

22110

1

22110

1

XbXbYb

XbXbnbY

)XbXbbY(

n

i

n

i

ii

n

i

i

iii

n

i

(6) 0

(5) 0

1

222112211

1

1

22112211

n

i

iiii

i

n

i

iii

XXbXbXbXbYY

XXbXbXbXbYY

14

Izvođenje ocena metoda ONK (IV)

.XXXXXXX

,XXXXXXX

XXXXX,XXXXX

XXYYXYY

XXYYXYY

XXXbXXbYY

XXXbXXbYY

n

i

iii

n

i

i

i

n

i

ii

n

i

i

n

i

ii

n

i

i

n

i

ii

n

i

i

n

i

iii

n

i

i

n

i

iii

n

i

i

n

i

iiii

i

n

i

iii

1

22111

1

22

22

1

112

1

11

2

1

222

1

22

2

1

111

1

11

1

122

1

1

111

1

1

2222111

1

1

222111

:je da Znamo

(8) 0

(7) 0



15

Izvođenje ocena metoda ONK: sistem normalnih jednačina

YYXXyx,YYXXyx

XXXXxx

,XXx,XXx

:

YYXXXXbXXXXb

YYXXXXXXbXXb

i

n

i

i

n

i

iii

n

i

i

n

i

ii

i

n

i

i

n

i

ii

n

i

i

n

i

n

i

i

n

i

n

i

ii

n

i

ii

n

i

i

i

n

i

ii

n

i

i

n

i

i

ii

1

22

1

2

1

11

1

1

22

1

11

1

21

2

1

22

1

2

2

1

11

1

2

1

22

2

1

22222

1

111

1

1122

1

112

2

1

111

podatke centrirane za Notacija

21

16

Izvođenje ocena metoda ONK:

najčešća forma

XbXbYb

yxxbxxb

yxxxbxb

n

iii

n

ii

n

iii

n

iii

n

iii

n

ii

22110

12

1

222

1211

11

1212

1

211



17

Ocena b1

n

ii

n

iii

n

iii

n

ii

n

ii

n

iii

n

iii

n

iii

xxx

xxx

xyx

xxyx

b

1

22

121

121

1

21

1

22

12

121

11

1

18

Ocena b2

,

xxx

xxx

yxxx

yxx

b

n

ii

n

iii

n

iii

n

ii

n

iii

n

iii

n

iii

n

ii

1

22

121

121

1

21

12

121

11

1

21

2



Primer

Dati su godišnji podaci o potrošnji piva, relativnoj ceni piva i

realnom dohotku na slučaj izabranih domaćinstava.

Prema uzorku od 20 godina potrebno je oceniti parametre

cenovne i dohodne elastičnosti tražnje za pivom.

Promenljive

Yi - ln (potrošnja piva)

X1i - ln (relativna cena piva)

X2i - ln (realni nivo dohotka)

Model:

Uzoračka funkcija:

1,2,...,20i 22110 ,XXY iiii

iii XbXbbY 22110

Primer: podaci

God. Y X1 X2

1 4.40305 0.47225 10.02578

2 4.04130 1.22026 10.58768

3 4.16044 0.97932 10.33316

4 4.18052 1.05315 10.49711

5 4.16044 0.75710 10.15131

6 4.06217 0.81697 10.12964

7 4.12228 0.83808 10.16214

8 4.17899 0.73465 10.12368

9 4.05699 1.06000 10.39294

10 4.15104 0.73827 10.04659

11 4.18814 0.79851 10.16956

12 3.87743 1.11619 10.38318

13 4.01818 1.19292 10.43950

14 3.86912 1.07717 10.25049

15 4.04305 0.72916 9.98371

16 3.94352 0.97762 10.22916

17 3.99268 0.96266 10.25149

18 3.94546 0.89116 10.11648

19 4.02356 0.77824 10.03082

20 3.95316 1.08988 10.35204



Primer: potrebne sume centriranih vrednosti

10.23282X,.X ,.Y

.y,.yx

,.yx,.xx

,.x,.x

ii

iii

iii

iii

ii

ii

21

20

1

220

12

20

11

20

121

20

1

22

20

1

21

91417700685774

309793001152000

30575105433190

54383006858330

Primer: ocene parametara

X.X..Y

.b

.....b

,..

.b

,..

.b

.b.b.

.b.b.

iii 21

0

0

2

1

21

21

120133311746

1746

23282101201914177033310685774

12010777810

0871120

33310777810

1036860

115200054383005433190

305751054331906858330



Primer: interpretacija ocena parametara

iii X.X..Y 21 120133311746

Ocene parcijalnih koeficijenata nagiba:

-1.333, cenovna elastičnost tražnje

Ako se relativna cena poveća za 1%, tada tražnja za pivom opada za 1.33%, pod pretpostavkom da nivo realnog dohotka ostaje nepromenjen

1.120, dohodna elastičnost tražnje

Ako se realni dohodak poveća za 1%, onda tražnja za pivom raste za 1.12%, pod prepostavkom da se ne menja cena piva.

Koeficijent determinacije



Koeficijent determinacije R2 Kao i u jednostavnom modelu, pokazuje udeo objašnjenog

varijabiliteta u ukupnom varijabilitetu zavisne promenljive

Prilikom određivanja varijabiliteta koji je objašnjen

modelom, odnosno izabranim promenljivima, vodi se računa

o svakoj od ocena parcijalnih koeficijenata nagiba.

Na primer, u modelu sa dve objašnjavajuće promenljive:

ni ii

ni ii

ni i

ni i

ni i

ni ii

ni ii

yxbyxbye

y

yxbyxbR

1 221 1112

12

12

1 221 112

ii

ii

ni i

ni i

YY

e

y

yR

USK

RSK

USK

OSKR

2

2

12

12

2

2

1

1

Ograničenja u primeni R2 kao

pokazatelja kvaliteta regresije

1. R2 se uvek povećava sa dodavanjem novih objašnjavajućih promenljivih:

Regresija 1: Yi= 0 + 1X1i + 2X2i + i

Regresija 2: Yi = 0 + 1X1i + 2X2i + 3X3i + i

R2 će uvek biti veći u regresiji 2, bez obzira na to kakva je eksplanatorna snaga nove objašnjavajuće promenljive.

2. R2 je krajnje nepouzdan pokazatelj u regresionoj analizi vremenskih serija kada vrednost 0.999, ne mora nužno pokazivati ništa.



Korigovani koeficijent determinacije R2 Koriguje se koeficijent determinacije sa ciljem dobijanja

pokazatelja koji se neće neopravdano povećavati sa

rastom broja objašnjavajućih promenljivih.

Novi pokazatelj:

korigovani koeficijent determinacije

Korekcija: svaka od suma u formuli za R2 deli se sa

korespondirajućim brojem stepeni slobode.

modela parametarabroj ukupank uzorka, obim - n

Rkn

n

)n/(

i

YiY

i

)kn/(ie

R

i

YiY

iie

R

211

1

12

2

12

2

2

12

2R

28

Primer: izračunavanje rezidualne sume kvadrata i

koeficijenta determinacije u modelu sa dve

objašnjavajuće promenljive

Prethodno je ocenjena sledeća zavisnost:

89903097930

03125012

0312502

115200012013057510333130979302

221122

..

.R

.

iie

.....

iie

iy

iixbiy

i iixbiy

iie

iX.iX..iY 21201133311746



29

Primer: korigovani koeficijent determinacije u modelu

sa dve objašnjavajuće promenljive

...R

Rkn

nR

.R

,X.X..Y

2

2

2

iii

88708990117

191

11

1

8990

120133311746

2

320

120

21

Pretpostavke višestrukog KLRM



31

Pretpostavke višestrukog KLRM (I)

Redni broj

pretpostavke 1. 2. 3.

Formulacija

Očekivana

vrednost slučajne

greške je nula

Slučajne greške su

homoskedastične,

odnosno poseduju

istu varijansu

Slučajne greške su

međusobno

nekorelisane

Zapis

za svako i

za svako i

za svako i , j koji su

različiti.

22 i

E)(v i 0iE .E,cov jiji 0

32

Pretpostavke višestrukog KLRM (II)

Redni broj

pretpostavke 4. 5. 6.

Formulacija Slučajna

greška ima

normalnu

raspodelu

Nijedna od

objašnjavajućih

promenljivih nije

slučajna promenljiva

Objašnjavajuće promenljive

nisu međusobno linearno

zavisne: nijedna se ne može

izraziti kao tačna linearna

kombinacija ostalih

objašnjavajućih promenljivih

Zapis/naziv

Odsustvo ekstremne

multikolinearnosti

i svakoza

,N:i20

1.-k1,...,j

i, svakoza

i,ijXcov

0



O ocenama parametara u

dvostrukom linearnom regresionom

modelu

34

Implikacije pretpostavki višestrukog KLRM

Ako su zadovoljene sve pretpostavke višestrukog KLRM,

tada se primenom metoda ONK dobijaju:

najbolje,

linearne,

nepristrasne i

konzistentne ocene



35

Model sa dve objašnjavajuće promenljive:

ocena varijanse slučajne greške modela

Nepristrasna ocena 2 je:

gde je rezidualna suma kvadrata i n je obim uzorka.

Kvadratni koren, s, je standardna greška regresije, odnosno standardna devijacija reziduala.

Oznake za ocene varijansi ocena nagiba: s2(b1) i s

2(b2)

n

iie

ns

1

2

3

12

n

i

ie1

2

36

Model sa dve objašnjavajuće promenljive: ocene varijansi

ocena parcijalnih koeficijenata nagiba

n

ii

xn

ii

x

n

ii

xi

x

r

n

ii

xr

s)b(s)b(v ,

n

ii

xr

s)b(s)b(v

n

ii

xr

)b(v ,n

ii

xr

)b(v

1

22

1

21

121

1

22

21

2

22

2

1

21

21

2

12

1

1

22

21

2

2

1

21

21

2

1



37

Standardne greške ocena parametara zavise od sledećih faktora:

Slično kao kod jednostavnog modela:

1. Varijabilitet modela (s2 ili s).

2. Suma kvadrata odstupanja podataka objašnjavajuće promenljive od aritmetičke sredine.

3. Obim uzorka n.

Novo u odnosu na jednostavni model:

4. Stepen korelisanost između objašnjavajućih promenljivih. Što je korelacija izraženija, to su varijanse ocena veće, odnosno ocene su nepreciznije.

38

Primer: izračunavanje odgovarajućih standardnih grešaka

ocena u modelu sa dve objašnjavajuće promenljive

Ocena varijanse slučajne greške modela:

Ocena koef. korelacije

Ocene varijanse ocena parcijalnih nagiba:

001838017

031250

3

22 .

.

n

ies

12702016090

54383007901

0018380

1

22

21

2

22

1130101276068583307901

0018380

1

21

21

2

12

.)b(s...

.

n

ii

xr

s)b(s

.)b(s...

.

n

ii

xr

s)b(s

790289054383006858330

5433190

1

22

1

21

121

.r...

.

n

ii

xn

ii

x

n

iixix

r



39

Primer: finalni zapis

..R ,.R

(0.127) ) .(

,X.X..Y

22

iii

88708990

1130

120133311746 21

Elementi statističkog zaključivanja



41

Statističko zaključivanje u višestrukom KLRM

Testiranje hipoteza o vrednostima

parametara višestrukog KLRM

Pojedinačna vrednost parametra

Vrednosti parametara zbirno posmatrano

Formiranje intervalnih ocena parametara

višestrukog KLRM

Testiranje hipoteze o vrednosti

pojedinačnog parametara višestrukog KLRM

Kao i u slučaju jednostavnog modela, i u višestrukoj

regresiji sa k parametara se koristi test-statistika oblika:

Hipoteze:

Pretpostavimo da je hipoteza od interesa: H0 : i= 0,

protiv H1 : i 0.

U uslovima validnosti nulte hipoteze test-statistika je:

t-odnos: provera značajnosti pojedinačnog uticaja

svake od objašnjav. promenljivih na zavisnu promen.

1.-k0,1,2,...,i ,)ib(s

*iibknt

)ib(s

ibknt

.k,...,,,i *,ii :H *,ii :H 121010



Pojedinačni uticaj cene i dohotka na tražnju:

primena t-odnosa

U prethodnom primeru smo dobili:

Ocena -1.333 1.120

Standardna

greška ocene 0.113 0.127

t-odnosi -11.80 8.82

Kritična vrednost t-raspodele sa 20-3= 17 stepeni slobode i

nivo značajnosti 5%: 2.11.

Da li prihvatamo

H0: 1 = 0? (Ne)

H0: 2 = 0? (Ne)

Zaključak: promenljive ostvaruju uticaj koji je pojedinačno

statistički značajan na nivou značajnosti 5%.

Testiranje hipoteze o vrednosti

svih parametara višestrukog KLRM Ispitivanje kvaliteta regresije na osnovu

koeficijenta determinacije – opšti slučaj

Hipoteze od interesa:

Nulta hipoteza: regresija nije statistički značajna (zajednički

uticaj objašnjavajućih promenljivih nije statistički značajan)

Alternativna hipoteza: objašnjavajuće promenljive ostvaruju

statistički značajan uticaj na kretanje zavisne promenljive (bar

jedan od parametara je značajno različit od nule)

021 tacnanije 0 1

02001210

R:HHhipoteza:H

R:Hk...:H

iikXk...iXiXiY 1122110



Ispitivanje kvaliteta regresije na

osnovu koeficijenta determinacije – opšti slučaj

Relevantna statistika:

)kn/()R(

)k/(Rkkn

F

21

121

Pravilo odlučivanja:

Ako je izračunata vrednost date statistike veća od

kritične vrednosti F-raspodele sa k-1 i n-k stepeni

slobode, tada se nulta hipoteza odbacuje uz izabrani

nivo značajnosti.

Objašnjavajuće promenljive ostvaruju zbirno

statistički značajan uticaj na kretanje zavisne

promenljive.

Ispitivanje kvaliteta regresije na osnovu

koeficijenta determinacije – dvostruki model

Relevantne hipoteze

Nulta hipoteza: regresija nije statistički značajna

Alternativna hipoteza: objašnjavajuće promenljive ostvaruju

statistički značajan uticaj na kretanje zavisne promenljive

Test- statistika:

021 tacnanije 0 1

0200210

R:HHhipoteza:H

R:H:H

)n/()R(

/Rn

F321

222

3

iiii XXY 22110



2

12

12

1

21

2

12

1

2

1

22

1

4

1

22

1

2

1

3

21

2

1

1

102202

2

1

22

1

2

1

22

110201

1

2

k

knn~

OSK

)Yn

iiY(

n~

USK

)Yn

iiY(

kn~

RSK

n

iie

.

n

iie)Y

n

iiY()Y

n

iiY(OSKUSKOSKOSKRSKUSK .

n~

USK

)Yn

iiY(

),(N~YEiY

)),Y(E(N~iY),(N~i .

.kn

~

RSK

n

tie

n~n

ii),(N~i),(N~i .

)kn()R(

)k(R

)k(

)kn(

)YY(

e

)YY(

)YY(

)k(

)kn(

e

)YY(

)kn/(

)k/(~F .

n

ii

n

ii

n

ii

n

ii

n

ii

n

ii

kn

k1-kk-n

2

2

2

1

1

2

2

1

2

1

1

22

2

12

2

21

1

1

1

11

1

15



F-statistika kvaliteta regresije

u jednostavnom modelu

modelu. omjednostavnu noalternativ koristitimogu setesta dva Ova

bs

b

)R(

)n(RtF

)R(

)n(R

)n/()R(

RF

apromenljiv jucaobjasnjava jedna i clan slobodan,k

)kn/()R(

)k/(RF

bs

bXbY

nn

n

kkn

ii

2

2

22

21

2

2

2

2

21

2

2

21

0

1

2

1

2

21

2

1

1

Zajednički uticaj cene i dohotka

na tražnju: primena F-statistike

U prethodnom primeru smo dobili:

Realizovana vrednost F-statistike:

Kritična vrednost F-raspodele sa redom 2 i 17 stepeni slobode

i nivoom značajnosti 5%: 3.59

Da li prihvatamo

H0: 1 = 2= 0? (Ne)

Zaključak: promenljive ostvaruju uticaj koji je zbirno

statistički značajan na nivou značajnosti 5%.

8990.R2

775

1789901

28990

1

1

217

2

22

17

.F

/).(

/.

)kn/()R(

)k/(RF

Documents

Profesor Zorica Mladenovićavs.ekof.bg.ac.rs/OEkonometrije/materijal/2017/glava6.pdf · Profesor Zorica Mladenović Ekonomski fakultet, 2017. 2 Osnove Klasični višestruki linearni