Ekonometrija 5

Ekonometrija, Osnovne studije

Predavač: Aleksandra Nojković

Struktura predavanja

• Klasični dvostruki (višestruki) linearni regresioni model

- metod ONK.

• Pretpostavke višestrukog KLRM.

• Korelacija u višestrukom KLRM. Običan i korigovani R2.

Dvostruki linearni regresioni model

Ako pretpostavimo model sa dve objašnjavajuće promenljive: Y=β0+β1X1+β2X2+ε

Populaciona regresiona jednačina (za E(ε)=0) je:

E(Y)=β0+β1X1+β2X2

Parametri β0, β1 i β2 su populacioni parametri ili regresioni koeficijenti.

Populaciona reg. jednačina ne opisuje pravu, nego ravan.

Parametar β0 je odsečak (presek ravni sa y-osom), a parametri β1 i β2 su parcijalni koeficijenti nagiba.

Dvostruki linearni regresioni model

(nastavak)

Uključivanjem konkretnih podataka model postaje:

Uzoračka regresiona funkcija je:

gde su b0, b1 i b2 ocene parametara.

Ocene nepoznatih parametara primenom metoda ONK, koji se sastoji u minimiziranju sume kvadrata reziduala.

.n,...,2,1iza,XXY ii22i110i

,XbXbbY i22i110i

Ocene metodom ONK

Eksplicitni izrazi za ocene metodom ONK (pokazati…):

Važe relacije:

Ocenjena vrednost zavisne prom. u proseku je jednakastvarnoj vrednosti (pokazati…).

,XbXbYb 2_

21

_

1

_

0

,

xxxx

yxxxxyxb

n

11

n

11

2n

1i i2i1

2

i2

2

i1

n

1i

n

1i

n

1i

n

1i ii2i2i1

2

i2ii1

1

.

xxxx

yxxxxyxb

n

11

n

11

2n

1i i2i1

2

i2

2

i1

n

1i

n

1i

n

1i

n

1i ii1i2i1

2

i1ii2

2

n

i

n

i iiii

n

i ieXeXe

1 1 211.0;0;0

Pretpostavke KLRM (višestrukog)

1. E(εi)=0, za svako i.

2. Var (εi)=E(εi2)=σ2, za svako i.

3. Cov(εi,εj)=E(εiεj)=0, za svako i,j, tako da i≠j.

4. E(εiXi)=0, za svako i.

5. εi ~ N(0, σ2).

6. Ne postoji tačna linearna zavisnost izmeduobjašnjavajućih promenljivih ( rX1X2≠1, tj. jednaobjašnjavajuća promenljiva nije linearna funkcija druge).

Klasicni višestruki linearni regresioni model

Analiticki oblik višestrukog linearnog regresionog modela:

Parametri β1, β2,..., βk-1 su parcijalni koeficijenti nagiba.

Npr: ako se X1i poveća za jednu jedinicu, očekivana

promena Yi je β1 jedinica, pod pretpostavkom da se ne

menja uticaj ostalih objašnjavajućih promenljivih X2,X3,...,Xk-1.

.n,...,2,1iza,X...XXY ii1k1ki22i110i

Korelacija u jednostavnom i višestrukom

(dvostrukom) modelu

Za jednostavni model važi:

U višestrukom modelu sa npr. dve objašnjavajuće promeljive X1 i X2, važi da koeficijent parcijalne korelacije između Y i X1 (koeficijent prvog reda ili koef. korelacija po odbitku uticaja X2) odgovara znaku ocenjenog regresionog koeficijenta b1:

Objasniti...

.s

sb

s

sˆry

x

y

xxy

.

11 rr

rrrr 2

XX

2

YX

XXYXYX

XYX

212

2121

21

Koeficijent determinacije dvostrukom

modelu

Ukupne varijacije se i u dvostrukom modelu mogu zapisati kao:

Koeficijent determinacije R2 deo ukupnih varijacija zavisne promenljive objašnjen kretanjem svih nezavisnih promenljivih, odnosno za dve objašnjavajuće promenljive definiše se kao:

Pokazati...

ijacijevar.neobjaš

n

1i

2

i

2

ijacijevar.objaš

n

1i

_2

ijacijevarukupne

n

1i

_

i eYYYY

.

1

2

1

2

1

2

2

n

i i

n

i i

n

i i

yy

yR

n

1i

n

1i i2i2i1i1yxbyxb

Ograničenja u primeni R2 kao pokazatelja

kvaliteta regresije

1. R2 se uvek povećava sa dodavanjem novih objašnjavajućihpromenljivih:

Regresija 1: yi = β0 + β1x1i + β2x2i + εiRegresija 2: yi = b0 + β1x1i + β2x2i + β3x3i + εi

R2 će uvek biti veći u regresiji 2, bez obzira na to kakva je

eksplanatorna snaga nove objašnjavajuće promenljive.

Na primeru modela sa dve objašnjavajuće prom. (k=3), mogućeje ocene dobijene metodom ONK izraziti preko parcijalnihkoeficijenata korelacije kao:

Ograničenja u primeni R2 kao pokazatelja

kvaliteta regresije (natavak)

Zamenom ovako izraženih ocena u izraz za izračunavanjeR2, dolazimo do veze sa tri jednostavna koeficijentakorelacije za model sa dve objaš.prom.:

Daljim sređivanjem ovaj izraz postaje:

odnosno

.1

22

2

22

2

1

21

212121

xy

XX

XXYXYXYXYXrR

r

rrrrr

,1R rrr2

XYX

2

YX

2

YX

2

1211

Ograničenja u primeni R2 kao pokazatelja

kvaliteta regresije (nastavak)

- Dakle, koeficijent determinacije u modelu sa dve objašnjavajuće promenljive X1 i X2, je veći od koeficijenta determinacije u modelu samo sa X1 ili samo sa X2.

2. R2 je krajnje nepouzdan pokazatelj u regresionojanalizi vremenskih serija kada vrednost, na primer 0.999, ne mora nužno pokazivati ništa („lažna regresija“).

Korelacija u višestukom KLRM

Uopštenjem za polazni model sa ukupno k parametara (k-1 parametrom parcijalnih nagiba i sl. članom), koeficijent determinacije R2 se izračunava kao:

Ocena varijanse slučajne greške je:

.y

yxb...yxbyxb

y

yR

n

1i

2

i

n

1i

n

1i

n

1i ii1k1kii22ii11

n

1i

2

i

n

1i

2

i2

.1

2

2

kn

e

s

n

i

i

Korigovani koeficijent determinacije R2

Koriguje se koeficijent determinacije sa ciljem dobijanja pokazatelja koji se neće neopravdano povećavati sa rastom broja objašnjavajućih promenljivih.

Novi pokazatelj: korigovani koeficijent determinacije

Korigovani koeficijent determinacije je uvek manji od običnog koeficijenta determinacije. Koeficijenti su jednaki samo za jednostavni model bez slobodnog člana.

2R

22

2

2

2

2

2

11

1)1/(

)/(

1

1

Rkn

n

ny

kne

R

y

e

R

i

i

i

i

i

i

i

i

Kriterijumi za izbor optimalnog skupa

objašnjavajućih promenljivih

Skup promenljivih koji maksimizira vrednost korigovanog koef. determinacije, u isto vreme minimizira s2.

Navedeno je posledica relacije:

.1

1

22_2

n

yRs

i

Kriterijumi za izbor optimalnog skupa

objašnjavajućih promenljivih (nastavak)

Informacioni kriterijum (VS) je zbir dve komponente koje

različito reaguju na promenu broja parametara modela (K):

IC(K) = ln(s2) + g(K/T).

Model sa najmanjom vrednošću IC je optimalan uz

uslov da su valjane sve pretpostavke KLRM

AIC – Akaikeov informacioni kriterijum (g=2)

SC – Švarcov informacioni kriterijum (g=ln(T))

HQC – Hana-Kvinov kriterijum (g=2lnln(T)).