Katedra Ekonomii Ilościowejweb.sgh.waw.pl/~jmuck/Ekonometria/EkonometriaPrezentacja2.pdf · KMNK–przypomnienie Miernikidopasowaniamodelu Testistotnościzmiennych Współliniowość

KMNK – przypomnienieMierniki dopasowania modelu

Test istotności zmiennychWspółliniowość

Poprawna specyfikacja modelu

EkonometriaĆwiczenia nr 2

Jakub Mućk

Katedra Ekonomii Ilościowej

Jakub Mućk Ekonometria Ćwiczenia 2 Weryfikacja liniowego modelu jednorównaniowego 1 / 28




Agenda

1 KMNK – przypomnienieEstymator MNKTwierdzenie Gaussa -MarkowaEstymator macierzy wariancji-kowariancji

2 Mierniki dopasowania modeluWspółczynnik R2

Kryteria informacyjne

3 Test istotności zmiennychBłąd I rodzajuTest t-StudentaTest Walda

4 Współliniowość

5 Poprawna specyfikacja modeluTest RESETTest Davidsona-McKinnona





Agenda











Agenda











Agenda











Agenda











Estymator MNKTwierdzenie Gaussa -MarkowaEstymator macierzy wariancji-kowariancji

Outline












Oznaczenia

Zapis ogólny:y = β0 + β1x1 + β2x2 + . . .+ βkxk + ε (1)

Zapis macierzowyy = Xβ + ε (2)

gdzie

y =

y1y2...

yn

X =

1 x1,1 x1,2 . . . x1,k1 x2,1 x2,2 . . . x2,k...

......

......

1 xn,1 xn,2 . . . xn,k

β =

β0β1...βk

ε =

ε1ε2...εn

k – liczba zmiennych objaśniających; n – liczba obserwacji.






Estymator MNK

Załóżmy, że badane zjawisko można opisać modelem postaci [lub prawdziwy procesgenerujący zmienną y jest następujący]:

y = β0 + β1x1 + β2x2 + ...+ βkxk + ε (3)

Nieznane parametry można uzyskać przy pomocyMetody Najmniejszych Kwa-dratów (OLS – ordinary least squares). Idea tej metody polega na znalezieniutakich wartości nieznanego wektora parametrów β, który minimalizują sumę kwa-dratów reszt, czyli różnic pomiędzy wartościami obserwowanymi a teoretycznymi:

β = argminβ

eTe (4)

gdzie e = y− y = y−Xβ.Ostatecznie estymator OLS (MNK) dla wektora β:

βOLS = (XTX)−1XTy (5)Szczegóły

β a β

β oznacza nieznany i prawdziwy wektor parametrów, a β jest oszacowaniempunktowym wektora parametrów.






Załóżmy:1 rz(X) = k + 1 ≤ n2 Zmienne xi są nielosowe, a zatem są niezależne od składnika losowego3 E(ε) = 04 D2(ε) = E(εεT) = Iσ5 εi ∼ N (0, σ2)

Twierdzenie Gaussa - Markowa

Estymator β uzyskany Klasyczną Metodą Najmniejszych Kwadratów jestestymatorem BLUE [best linear unbiased estimator], tj. zgodnym, nie-obciążonym i najefektywniejszy w klasie liniowych estymatorów wektora β.

nieobciążoność, czyli E(β) = β

najefektywniejszy, czyli posiadający najmniejszą wariancję w swojej kla-siezgodny, czyli limn→∞ P(|βn − β|) < δ






Interpretacja

Załóżmy, że oszacowaliśmy parametry modelu ekonometrycznego:

y = β0 + β1x1 + β2x2 + . . .+ βkxk (6)

Interpretacja:Wzrost xi o jednostkę powoduje wzrost y o βi ceteris paribusjednostek.

Uwagi:Należy pamiętać o zasadzie ceteris paribus.Oszacowanie wyrazu wolnego zazwyczaj nie ma interpretacji ekonomicznej(dlaczego?).Pułapka przyczynowości.


Przykład

[Greene, 2003] Funkcja konsumpcji została oszacowana dla gospodarkiamerykańskiej w latach 1970-1979. Wydatki konsumpcyjne (C ) są objaśnianedochodem do dyspozycji (Y ) [obie zmienne w mln USD w cenach bieżących]:

C = −67.58 + 0.979Y (7)

750 800 850 900 950 1000

700

750

800

850

900

Dochod

Kon

sum

pcja

3.6636

1.3359

11.181

−11.291−9.3407

−9.78

2.6814

8.5299

2.4815

0.53924

Obserwowane wartości, wartości teoretyczne, reszty.





Estymacja błędów szacunku

Wprzypadku MNK, możemy wyznaczyć estymator macierzy wariancji-kowariancjidla parametrów βOLS :

D2(βOLS) = S2ε(XTX)−1 (8)

gdzie

S2ε = εTε

n − (k + 1) = SSE(βOLS)df (9)

gdzie SSE(βOLS) to suma kwadratów reszt, a df to liczba stopni swobody.Element diagonalne macierzy wariancji-kowariancji (oznaczmy jako dii), sta-nowią wariancję estymowanych parametrów. Zatem błąd szacunku dlai-tego parametru jest równy:

S(βi) =√

dii (10)

Względny błąd szacunku ∣∣∣∣S(βi)βi

∣∣∣∣ (11)





Współczynnik R2Kryteria informacyjne

Outline












Współczynnik determinacji R2

Współczynnik determinacji R2 pozwola zmierzyć jaką częścią zmien-ności (wariancji) zmiennej objaśnianej jest wyjaśniana zmiennościąwartości teoretycznych wynikających z modelu.

R2 =

n∑i=1

(yi − y)2

n∑i=1

(yi − y)2

(12)

gdzie:yi - empiryczna (obserwowana) wartość zmiennej y dla i-tej obserwacji,yi - teoretyczna wartość zmiennej y dla i-tej obserwacji,y - średnia wartość zmiennej objaniającej.

Zazwyczaj R2 ∈ (0, 1)Konstrukcja współczynnika determinacji R2 posiada dwa mankamenty:i) faworyzuje modele z większą liczbą zmiennych egzogenicznychii) jego konstrukcja opiera się o uwzględnienie wyrazu wolnego w modelu.






Niescentrowany współczynnik R2N

W przypadku, gdy w specyfikacji modelu ekonometrycznego nie uwzględ-niono wyrazu wolnego, współczynnik R2 może przyjmować wartości powyżejjedności.Rozwiązaniem tego problemu jest niescentrowany R2

N :

R2N = 1− eeT

yyT (13)

e - wektor reszt.y - wektor obserwacji zmiennej endogenicznej.

R2N ∈< 0, 1 >

Interpretacja: większa wartość R2N oznacza większa rola zmiennych egzoge-

nicznych w wyjaśnianiu zmienności zmiennej objaśnianej.






Skorygowany współczynnik R2

Współczynnik determinacji R2 zawsze będzie faworyzował modele zwiększą liczbą zmiennych.W porównaniu z podstawowym współczynnikiem R2, skorygowany współ-czynnik R2 uwzględnia również liczbę stopni swobody:

R2 = R2 − kn − (k + 1) (1− R2) (14)

Skorygowany współczynnik R2 przyjmuje zazwyczaj niższe wartości:

R2 ≤ R2 (15)

w szczególności możliwe jest przyjmowanie wartości poniżej 0.R2 jest pozbawiony standardowej interpretacji.






Wartości wpółczynnika R2

Typowe wartości R2 zależą od rodzaju danych empirycznych, tj. :Dane makroekonomiczne oparte na surowych (poziomach) szeregach cza-sowych: R2 > 0.9Dane makroekonomiczne oparte na przyrostach szeregów czasowych:R2 ∈ (0.7, 0.9)Dane przekrojowe o wyższym poziomie agregacji: R2 ∈ (0.3, 0.7)Dane przekrojowe dla jednostek indywidualnych: R2 ∈ (0.05, 0.4)






Kryterium Akaike’a

Kryterium Akaike’a (AIC) jest miernikiem, który uwzględnia zarówno dopaso-wanie do obserwacji (funkcja wiarygodności) oraz liczbę stopni swobody:

AIC = ln1n

n∑i=1

e2i︸︷︷︸

funkcja wiarygodności

+2(k + 1)

n︸︷︷︸liczba stopni swobody

(16)

gdzie n to liczba obserwacji, k + 1 to liczba oszacowanych parametrów oraz ei toreszta dla i-tej obserwacji.Kryterium AIC maleje wraz ze wzrostem funkcji wiarygności oraz rośnie wraz zewzrostem liczby parametrów.Kryterium AIC nie posiada interpretacji i jest wykorzytywane do porównania do-pasowania modeli.W większośći pakietów ekonometryczny dostępne są inne kryteria informacyjne,jak np. bayesowskie kryterium Schwarza (BIC), Hannana-Quinna (HQ). Kryteriate różnią się od AIC, ponieważ w większym stopniu uwzględniają liczbę stopniswobody. Ogólnie:

AIC ≤ HQ ≤ BIC (17)






Mierniki dopasowania modelu ekonometrycznego do danych

Miernik OpisR2 Ogólny miernik, interpretacja, rośnie wraz z liczbą

zmiennychSkorygowany R2 uwzględnia korektę na liczbę zmiennych, porówna-

nie modeliNiescentrowany R2 model bez wyrazu wolnegoKryterium AIC uwzględnia korektę na liczbę zmiennych, porówna-

nie modeli

Powyższe mierniki kwantyfikują jedynie dopasowanie modelu doobserwowanych danych. Wspomniane dopasowanie do danych macharekter informacyjny i nie stanowi głównego kryterium w wybo-rze modelu.





Błąd I rodzajuTest t-StudentaTest Walda

Outline












Błąd I i II rodzaju a p-value

Zgodnie z zasadami wnioskowania statystycznego można wyróżnić dwa ryzyka wy-nikające z wykorzystania testów statystycznych, których konstrukcja opiera się naklarownie sformułowanych hipotezach: zerowej (H0) oraz alternatywnej (H1):

Błąd pierwszego rodzajuto odrzucenie H0, która w rzeczywistości jest prawdziwa.

Błąd drugiego rodzajuto przyjęcie H0, która w rzeczywistości jest fałszywa.

W pakietach ekonometryczno-statystycznych szeroko stosowane jest p-value, któremierzy prawdopobieństwo błędu pierwszego rodzaju.W praktyce ekonometrycznej nie rozważa się minimalizacji obu ryzyk i wnioskowa-nie statystyczne jest najczęściej przeprowadzane na podstawie analizy prawdopodo-bieństwa błędu pierwszego rodzaju.Poziom krytyczny oznacza arbitralnie wybrany poziom prawdopodobieństwa błęduI rodzaju, który można uznać za akceptowalny. Najczęściej jest równy: 0.01, 0.05lub 0.1.






Test t-Studenta

Test t-studenta pozwala zweryfikować istotność oszacowania parametru dlakażdej zmiennej objaśniającej (xj) osobno, tj.:

H0 : βj = 0 H1 : βj 6= 0 (18)

Statystyka testowa:

tj = βj

S(βi)(19)

gdzie βj to oszacowanie punktowe parametru βj , a S(βi) to błąd szacunku.Statystyka testowa testu t-studenta jest odwrotnością względnego błędu sza-cunku.Wartości krytyczne pochodzą z rozkładu t-studenta i można je uzyskać dlaokreślonej liczby stopni swobody (df = n − (k + 1)) oraz przyjętegopoziomu krytycznego (α).Jeżeli |tj | > tdf ,α - to dorzucamy H0 na rzecz H1.Jeżeli |tj | < tdf ,α - to nie ma podstaw do odrzucenia H0 na rzecz H1.






Test Walda

Łączna istotność oszacowań parametrów może być weryfikowana przy po-mocy testu Walda, tj.:

H0 : β1 = β2 = . . . = βk = 0 (20)

H1 : ∃j∈{1,...,k}βj 6= 0 (21)

Statystyka testowa:

F = R2/k(1− R2)/(n − (k + 1)) (22)

Statystyka testowa F ma rozkład F-Snedecora z r1 = k oraz r2 = n− (k + 1)stopniami swobody.Jeżeli F > Fr1,r2,α - to dorzucamy H0 na rzecz H1.Jeżeli F < Fr1,r2,α -to nie ma podstaw do odrzucenia H0 na rzecz H1.






Test Walda

Test Walda umożliwia przede wszystkim szersze testowanie restrykcji linio-wych.

H0 : R × β = q (23)Macierz restrykcji R jest wymiarów r × (k + 1), gdzie r to liczba restrykcji. Re-strykcje są zapisywane wierszowo, a test Walda pozwala na weryfikację koniunkcjiwszystkich restrykcji.Statystyka testowa:

F =(SSE(β)− SSE(βR))/rSSE(β)/(n − (k + 1))

(24)

ma rozkład F-Snedecora z r1 = r oraz r2 = n − (k + 1).SSE(βR) - jest sumą kwadratów reszt modelu z restrykcjami;SSE(β) - jest sumą kwadratów reszt modelu bez restrykcji;Przykłady wykorzystania testu Walda:

Weryfikowanie restrykcji ekonomicznych.Test pominiętych zmiennych.






Przykłady zapisu macierzowego w teście liniowych restrykcji Walda

Przykład #1: test Walda na istotność zmiennych w modelu:

R =

0 1 0 . . . 00 0 1 . . . 0...

......

. . ....

0 0 0 . . . 1

oraz q =

00...0

Przykład #2: załóżmy, że mamy cztery zmienne egzogeniczne oraz

1 β1 = β32 β2 = ν3 β1 + β4 = γ.

Wtedy:

R =

[0 1 0 −1 00 0 1 0 00 1 0 0 1

]oraz q =

[0νγ

]





Outline











Współliniowość deterministyczna to sytuacja, w której jedna ze zmiennychobjąśniających może zostać przedstawiona jako kombinacja liniowa pozostałych re-gresorów. Wówczas niemożliwe jest uzyskanie estymatora βOLS .Współliniowość stochastyczna polega na wysokiej zależności statystycznej po-między zmiennymi objaśniającymi.Problem współliniowości (stochastycznej) może powodować zwiększenie wariancjiestymatora MNK (zmniejszenie efektywności).Współliniowość może zostać zidentyfikowana przy pomocy czynnika inflacji wa-riancji CIW (ang. Variance Inflation Factor). Dla każdej ze zmniennychobjaśniających konstruowany jest model xj , w którym zmienną objaśnianą jest onasama, a zmiennymi objaśniającymi pozostałe zmienne z wyjściowego zbioru regre-sorów, czyli:

∀j∈J−{j}xj = β0 + β1x1 + ...+ βJxJ + ε (25)

Dla każdego modelu jest obliczany współczynnik determinacji R2, a następnieCIWj :

CIWj =1

1− R2j

(26)

Wartości CIW powyżej 10 sugerują problem współliniowości. Wtedy R2

z regresji pomocniczej jest większe od 0.9.





Współliniowość– rozwiązanie

W przypadku współlniowości kluczowa jest identyfikacja źródeł tego pro-blemu, tj. czy wynika z jakości danych czy też specyfikacji modelu ekonome-trycznego.

Brak zmian.Usunięcie zmiennych współliniowych zmiennych objaśniającyh.Usunięcie zmiennych objaśniających z specyfikacji modelu może dopro-wadzić do obciążenia oszacowań parametrów uzyskanych MNK.Transformacja zmiennych objaśniających.Wykorzystanie regresji grzbietowej (ridge regression):

βRIDGE = (XTX + λI )−1XTy (27)

gdzie λ to skalar a I to macierz jednostkowa.Estymator regresji grzbietowej βRIDGE jest obciążony, ale posiada mniej-szą wariancję (jest bardziej efektywny) niż βOLS .





Test RESETTest Davidsona-McKinnona

Outline












Test poprawnej specyfikacji modelu Ramseya RESET (ang. Regression EquationSpecification Error Test) jest ogólnym testem, który pozwala zidentyfikować nie-poprawną postać funkcyjną modelu ekonometrycznego.Rozważmy standardowy model regresji liniowej:

y = β0 + β1x1 + β2x2 + . . .+ βkxk + ε (28)W drugim kroku, obliczmy wartości teoretyczne, tj.

y = β0 + β1x1 + β2x2 + . . .+ βkxk (29)W kolejnym kroku, rozważmy model (28) rozszerzonego o kwadraty i iloczyny war-tości teoretycznych y:

y = γ0 + γ1x1 + . . .+ γkxk + γk+1y2 + γk+2y3 + ε (30)Następnie przy pomocy testu Walda, zweryfikujmy istostność oszacowań parame-trów γk+1 oraz γk+1. Hipoteza zerowa oznacza poprawną postać funkcyjnąmodelu:

H0 : γk+1 = γk+2 = 0 (31)Statystyka testu RESET ma rozkład F-Snedecora.W przypadku dużej liczby stopni swobody, warto również testować nieli-niowy wpływ poszczególnych zmiennych objąśniających (tj. przez uwzględ-nienie kwadratów i sześcianów) oraz interakcje pomiędzy tymi zmiennymi (ichiloczyny).Alternatywna statystyka testu RESET jest równa nR2, gdzie współczynnik deter-minacji jest obliczany z modelu (30). Alternatywna statystyka ma rozkład χ2 zliczbą stopni swobody równej liczbie dodanych zmiennych.






Test Davidsona-McKinnona pozwala na porównanie dwóch modeli, które:1 tłumaczą tę samą zmienną objaśniającą,2 posiadają identyczną postać funkcyjną,3 posiadają rozłączne zbiory zmiennych objaśniających.

Rozważmy dwa modele:model A: y = β0 + β1x1 + β2x2 + . . .+ βkxk + ε

model B: y = γ0 + γ1z1 + γ2z2 + . . .+ γkzk + η

Szacujemy wektory parametrów, tj β oraz γ.Wyznaczamy wartości teoretyczne zmiennej objaśnianej z modeli A i B, tj. yA orazyB. Wyznaczone wartości teoretyczne dołączamy do konkurencyjnego modelu, tj.

model A: y = β0 + β1x1 + β2x2 + . . .+ βkxk + βk+1yB + ε

model B: y = γ0 + γ1z1 + γ2z2 + . . .+ γkzk + γk+1yA + η

Sprawdzamy czy parametr przy wartości teoretycznej z konkurencyjnego modelujest statystycznie istotny (np. czy βk+1 w modelu A).W przypadku, gdy oszacowanie parametru nie jest istotne statystycznie, to wówczasmodel jest kompletny względem swojego konkurenta (np. jeżeli βk+1 nie jest statystycznieistotne, to model A jest kompletny względem modelu B)Korzystając z testu Davidsona-Mackinnona należy sprawdzić kompletność modeli wobu wariantach. Może się okazać, że oba modele są (nie)kompletne względem siebiei wtedy test nie jest konkluzywny.


Documents

Katedra Ekonomii Ilościowejweb.sgh.waw.pl/~jmuck/Ekonometria/EkonometriaPrezentacja2.pdf · KMNK–przypomnienie Miernikidopasowaniamodelu Testistotnościzmiennych Współliniowość