Sveučilište Jurja Dobrile u Puli Odjel za ekonomiju i turizam

„Dr. Mijo Mirkovi ć“

Alen Belullo

UVOD U EKONOMETRIJU

Sveučilište Jurja Dobrile u Puli Odjel za ekonomiju i turizam

„Dr. Mijo Mirkovi ć“

UVOD U EKONOMETRIJU

Sveučilišni udžbenik

Autor: Doc. dr. sc. Alen Belullo

Copyright © Belullo, Alen

Nakladnik: Sveučilište Jurja Dobrile u Puli Odjel za ekonomiju i turizam

„Dr. Mijo Mirkovi ć“

Za nakladnika: Prof. dr. sc. Robert Matijašić, rektor

Recenzenti: Dr. sc. Goran Buturac

Prof. dr. sc. Ante Rozga

Lektura: Marija Belullo, prof.

Objavljivanje ove knjige odobrio je Senat Sveučilišta Jurja Dobrile u Puli odlukom Klasa: 003-08/11-02/70-01, Ur. broj: 380/11-01/-1 od 15. prosinca 2011. godine sukladno Zaključku Povjerenstva za izdavačku djelatnost Sveučilišta Jurja Dobrile u Puli od 28. studenog 2011. godine.

UVOD U EKONOMETRIJU/ Alen Belullo. – Pula: Sveučilište Jurja Dobrile u Puli, Odjel za ekonomiju i turizam „Dr. Mijo Mirković“, 2011. Bibliografija. ISBN 978-953-7498-50-4 1. Belullo, A.

Sadrµzaj

Predgovor iii

1 Uvod u regresijsku analizu 11.1 Pojam ekonometrije . . . . . . . . . . . . . . . . . . . . . . . 11.2 Koraci u ekonometrijskoj analizi . . . . . . . . . . . . . . . . 2

1.2.1 Odre�ivanje teorije ili hipoteze . . . . . . . . . . . . . 21.2.2 Speci�kacija matematiµckog modela . . . . . . . . . . . 21.2.3 Speci�kacija ekonometrijskog modela . . . . . . . . . . 31.2.4 Prikupljanje podataka . . . . . . . . . . . . . . . . . . 51.2.5 Procjena ekonometrijskog modela . . . . . . . . . . . . 91.2.6 Testiranje hipoteza . . . . . . . . . . . . . . . . . . . . 101.2.7 Prognoziranje i predvi�anje . . . . . . . . . . . . . . . 10

1.3 Regresijska funkcija populacije i regresijska funkcija uzorka . 11

2 Parametri modela dobiveni metodom najmanjih kvadrata 182.1 Procjena parametara . . . . . . . . . . . . . . . . . . . . . . . 182.2 Svojstva regresijskog pravca . . . . . . . . . . . . . . . . . . . 262.3 Svojstva procjenitelja . . . . . . . . . . . . . . . . . . . . . . 28

3 Pokazatelji kvalitete regresije 323.1 Koe�cijent determinacije . . . . . . . . . . . . . . . . . . . . . 333.2 Znaµcajnost procjenitelja . . . . . . . . . . . . . . . . . . . . . 39

3.2.1 Standardna gre�ka procjenitelja . . . . . . . . . . . . . 393.2.2 Testiranje hipoteza nad procjeniteljima . . . . . . . . 42

A Izvodi i dokazi 57A.1 Izvod parametara modela s jednom nezavisnom varijablom

metodom najmanjih kvadrata . . . . . . . . . . . . . . . . . . 57

B Matematika 59B.1 Neka svojstva operatora zbrajanja

P. . . . . . . . . . . . . . 59

i

C Statistika 61C.1 Distribucije vjerojatnosti izvedene iz normalne distribucije . . 61

D Podaci 62D.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

E Statistiµcke tablice 63

ii

Predgovor

Ovaj udµzbenik nastaje iz potrebe da studenti lak�e shvate teorijske pretpos-tavke na kojima se temelji metoda najmanjih kvadrata. Cilj je bio napisatirad koji polazi od osnovnih ekonometrijskih pojmova, tj. namijenjen je µci-tatelju koji nema nikakvog predznanja iz tog podruµcja, ali je ipak pisan ustrogoj matematiµckoj formi, kako bi se izbjegle zamke nedoreµcenosti, u kojeupadaju mnogi udµzbenici iz ekonometrije, pisani za poµcetnu razinu. Ka-ko ne bi prosjeµcnom µcitatelju opterecivali tekst sloµzeniji matematiµcki dokazii osnove teorije distribucije vjerojatnosti, dani su u dodacima. Matema-tiµcka notacija konzistentna je kroz cijeli rad (npr. populacijske vrijednostisu uvijek oznaµcene grµckim alfabetom, dok vrijednosti uzoraka uvijek latin-skom abecedom, velikim podebljanim slovima oznaµcene su matrice, malimpodebljanim slovima vektori, nepodebljani izrazi su skalari, varijable u de-vijacijskoj formi su uvijek prikazane tildom itd.).

U knjizi se nadalje, zbog potreba poopcavanja, paralelno koristi obiµcnaalgebra, karakteristiµcna za poµcetniµcke udµzbenika, i matriµcna algebra, karak-teristiµcna za napredne udµzbenike iz ekonometrije. Na taj se naµcin poku�aopremostiti jaz, koji postoji izme�u poµcetnih udµzbenika i naprednih udµzbe-nika iz ekonometrije, tj. da se zorno prikaµze na koji se naµcin mogu poopciti«obiµcne» jednadµzbe kojima se prikazuju jednostavniji modeli (npr. modeli sjednom nezavisnom varijablom) putem matriµcnog zapisa istih ekonometrij-skih izraza koji vrijede za sloµzenije modele (npr. s k�1 nezavisnih varijabli).Na taj se naµcin moµze dobiti dojam elegancije i kompaktnosti matriµcnog za-pisa, a kori�tenjem matriµcno orijentiranih softwarea brzo i e�kasno rje�avatizadatke prikazane u knjizi.

U knjizi su prikazani mnogobrojni primjeri i zadaci te su dani svi poda-ci potrebni µcitatelju da bi mogao sam jednostavno reproducirati prikazanedobivene rezultate.

Osim studentima, koji slu�aju predmet Ekonometrija, Analiza vremen-skih nizova, Ekonometrija II, namijenjen je i istraµzivaµcima koji µzele dobitiµcvrste temelje, kako bi shvatili samu bit regresijske analize pomocu metodenajmanjih kvadrata. �to se tiµce potrebnog predznanja, da bi se knjiga moglalako µcitati, potrebno je samo osnovno znanje iz matriµcne algebre.

Knjiga je podijeljena u tri poglavlja: u prvom dijelu obja�njava se po-

iii

jam ekonometrije, koraci u ekonometrijskoj analizi te regresijska funkcijapopulacije i uzorka; u drugom dijelu obja�njava se na koji se naµcin dobiva-ju parametri metodom najmanjih kvadrata, svojstva regresijskog pravaca iprocjenitelja, da bi se u zadnjem dijelu prikazali pokazatelji kvalitete regre-sije.

Buduci da je ova knjiga proiza�la iz dijelova priprema za predavanja izpredmeta Ekonometrija µzelio bih se zahvaliti svim studentima koji su svojimkomentarima i pitanjima tijekom predavanja doprinijeli da se knjiga pribliµzinjihovim potrebama i boljem razumijevanju gradiva, kao i svim onim stu-dentima koji su uspje�no detektirali tiskarske gre�ke u radnim verzijamaovog rada, jer sam svjestan da je rat s tiskarskim gre�kama bespovratnoizgubljen, ali poneka je bitka dobivena, zahvaljujuci njima. Nadalje, poseb-no bih se zahvalio profesorici Mariji Bu�elic i Sanji Blaµzevic koje su svojombeskrajnom uporno�cu i altruizmom doprinijele da ova knjiga uopce ugledasvjetlost dana. Za tehniµcku podr�ku zahvalio bih se Ðaniju Buricu. Na krajuvolio bih reci jedno veliko hvala bliµzim µclanovima moje obitelji na njihovimsugestijama i lekturi, te za uvijek prisutnu podr�ku kada su s dubokim ra-zumijevanjem µcesto morali podnositi moja prevrtljiva raspoloµzenja tijekomnjezinog nastajanja.

iv

Poglavlje 1

Uvod u regresijsku analizu

1.1 Pojam ekonometrije

Ekonometrija doslovno znaµci ekonomsko mjerenje. Ekonometriju moµzemode�nirati kao znanstvenu disciplinu koja se bavi empiriµckim dokazivanjemekonomskih zakona de�niranih u ekonomskoj teoriji. Usko je vezana uzdiscipline: ekonomska teorija, matematiµcka ekonomija i ekonomskastatistika.

Ekonomska teorija postavlja svoje zakone uglavnom na kvalitativnoj ra-zini, tj. odre�uje smjer kretanja zavisnosti odre�enih ekonomskih pojava,bez odre�ivanja veliµcine i znaµcajnosti tih veza.

Matematiµcka ekonomija izraµzava ekonomsku teoriju u odre�enoj mate-matiµckoj formi (jednadµzbe), bez osvrtanja na empiriµcku provjeru tih teorija.

Ekonomska statistika bavi se prikupljanjem, obradom i prezentiranjemekonomskih pokazatelja u obliku tablica i slika. Ekonomska statistika ne bavise provjerom ekonomskih teorija na temelju tako prikupljenih podataka.

Znaµci, ekonometrijom se provjeravaju, koristeci se metodama matema-tiµcke ekonomije i podacima dobivenim iz statistike, jesu li valjane ekonomsketeorije za odre�eni uzorak (populaciju).

Ekonometriju moµzemo podijeliti u dvije glavne skupine: teorijska eko-nometrija i primijenjena ekonometrija. Teorijska ekonometrija bavi serazvijanjem ekonometrijskih metoda, dok se primijenjena ekonometrija baviprimjenjivanjem ekonometrijskih metoda koje je razvila teorijska ekonome-trija na konkretnim ekonomskim problemima.

Teorijska i primijenjena ekonometrija mogu koristiti ili Bayesov ili kla-siµcni pristup statistiµckom zakljuµcivanju. Glavna je razlika izme�u ova dvapristupa u njihovom poimanju vjerojatnosti. Po Bayesovom pristupu vjero-jatnost se odnosi na stupanj razumno prihvatljivog uvjerenja; vjerojatnost jevezana za stupnjeve pouzdanosti koje istraµzivaµc unaprijed ima o nekom em-piriµckom fenomenu (prije samog promatranja podataka). Drugim rijeµcimapo Bayesu imamo subjektivni pristup konceptu vjerojatnosti. Po klasiµcnom

1

pristupu vjerojatnost se odnosi na frekvenciju pojavljivanja odre�enog do-ga�aja u ponovljenim izvlaµcenjima, ili imamo objektivni pristup konceptuvjerojatnosti.

1.2 Koraci u ekonometrijskoj analizi

Ekonometrijska analiza slijedi odre�en put, a to je:

1. Odre�ivanje teorije ili hipoteze

2. Speci�kacija matematiµckog modela

3. Speci�kacija ekonometrijskog modela

4. Prikupljanje podataka

5. Procjena ekonometrijskog modela

6. Testiranje hipoteza

7. Predvi�anje i prognoziranje

1.2.1 Odre�ivanje teorije ili hipoteze

Svoje teorije i hipoteze ekonometrija uglavnom preuzima, kao �to smo rekli,iz ekonomske teorije. Tako je npr., J. M. Keynes rekao da ako se raspoloµzivdohodak stanovni�tva poveca, tada ce se, uz ostale nepromijenjene uvjete,povecati potro�nja stanovni�tva, ali za manje od povecanja raspoloµzivog do-hotka. Ne govori nam ni�ta u prilog tome koliko ce se potro�nja povecati zajediniµcno povecanje raspoloµzivog dohotka, vec nam govori samo o smjeru za-visnog kretanja tih varijabli i da je graniµcna sklonost potro�nji stanovni�tvaizme�u 0 i 1.

1.2.2 Speci�kacija matematiµckog modela

Iako je Keynes pretpostavio pozitivnu vezu izme�u potro�nje i raspoloµzi-vog dohotka, nije speci�cirao precizni oblik funkcionalne veze izme�u tihvarijabli. Matematiµcka ekonomija sugerira sljedecu funkcionalnu formu:

y = �0 + �1x 0 < �1 < 1 (1.1)

gdje:y = potro�njax = raspoloµziv dohodak�0 = autonomna potro�nja�1 = graniµcna sklonost potro�nji

2

Raspoloživ dohodak

Potro

šnja

y

x

1

1β

0β

xy 10 ββ +=

Slika 1.1: Deterministiµcki model

Jednadµzba (1.1) govori nam da je potro�nja linearno ovisna o dohotku jerimamo linearnu funkciju (polinom prvog stupnja). To je matematiµcki modelizme�u potro�nje i dohotka koji se u ekonomiji zove funkcija potro�nje.Opcenito modelom zovemo skup matematiµckih jednadµzbi. Jednadµzbe nemoraju biti linearne vec mogu poprimiti razliµcite funkcionalne forme (logari-tamske, eksponencijalne, itd.). U prikazanom sluµcaju model µcini samo jednalinearna jednadµzba. y i x zovemo varijablama modela. Varijablu x, kojane ovisi o drugim varijablama u modelu, zovemo nezavisnom ili egzoge-nom varijablom, dok varijablu y, koja u na�em sluµcaju ovisi o varijabli xzovemo zavisnom ili endogenom varijablom. �0 i �1 zovu se parametriili koe�cijenti modela. O vrijednostima parametara ovisi izgled funkcije.�0 odre�uje odsjeµcak na ordinati, koji se u ekonomiji interpretira kao auto-nomna potro�nja, dok �1 odre�uje nagib ili smjer funkcije, �to se u ekonomijiinterpretira kao graniµcna sklonost potro�nji.

1.2.3 Speci�kacija ekonometrijskog modela

Jednadµzba 1.1 prikazuje egzaktnu ili deterministiµcku vezu izme�u vari-jable x i varijable y. Me�utim, veze izme�u ekonomskih varijabli uglavnomnisu egzaktne stoga se pojavljuje potreba za ukljuµcivanjem stohastiµckog ele-menta " u matematiµcki model. Ukljuµcivanjem stohastiµckog elementa "matematiµcki se model 1.1 pretvara u ekonometrijski (stohastiµcki) mo-

3

del:y = �0 + �1x+ " 0 < �1 < 1: (1.2)

Stohastiµcki element " zovemo i sluµcajno odstupanje, sluµcajna gre�kaili rezidual.

Raspoloživ dohodak

Potro

šnja

+ε

x

y

−ε

xy 10 ββ +=

Slika 1.2: Ekonometrijski model

Na Slici 1.2 prikazan je ekonometrijski model funkcije potro�nje. Iz Slike1.2 vidimo da svaku toµcku moµzemo odrediti deterministiµckim dijelom y =�0 + �1x kojemu dodajemo sluµcajno odstupanje ". Sluµcajno odstupanjemoµze biti pozitivno (iznad pravca) ili negativno (ispod pravca). Sluµcajnoodstupanje preuzima na sebe vrijednosti svih varijabli koje su izostavljeneiz modela, a koje utjeµcu na pona�anje y i gre�ke koje se pojavljuju uslijedkrive funkcionalne forme. Moµzemo reci da se sluµcajna gre�ka " pojavljujezbog:

1. Neodre�enosti teorije: ekonomska teorija teµzi pojednostavljivanju stvar-nog svijeta i stoga u teorijske modele ne ulaze sve varijable koje bimogle utjecati na y, vec samo one koje se smatraju vaµznijima, kako bise ekonomski modeli zadrµzali jednostavnima.

2. Nedostupnosti podataka: npr. moµzemo smatrati da na potro�nju po-jedinaca utjeµce, osim njihovog raspoloµzivog dohotka, i njihovo bogat-stvo. Dok je raspoloµziv dohodak dostupna informacija, bogatstvo jeµcesto nedostupan podatak.

4

3. Manje vaµznih varijabli : pretpostavimo da, osim raspoloµzivog dohot-ka, na potro�nju utjeµcu i sljedece varijable: broj djece, spol, vjera,obrazovanje i zemljopisni poloµzaj. Moguce je pretpostaviti da je nji-hov utjecaj na potro�nju slab, nesustavan i stoga sluµcajan. Stoga se izpraktiµcnih razloga te varijable izostavljaju, a njihov zajedniµcki utjecajna zavisnu varijablu y ulazi u sluµcajnu gre�ku ".

4. Sluµcajnosti koje su svojstvene ljudskom pona�anju: kada bismo i us-pjeli ukljuµciti u model sve relevantne varijable, uvijek postoji u pona-�anju pojedinca odre�ena doza sluµcajnosti koja se ne moµze racionalnoobjasniti, ma koliko mi to poku�avali.

5. Lo�ih zamjenskih varijabli : µcesto varijable koje predlaµze ekonomskateorija nisu neposredno mjerljive. U poznatoj funkciji potro�nje Milto-na Friedmana permanentna potro�nja ovisi o permanentnom dohotku.Me�utim, niti je permanentni dohodak, niti je permanentna potro�njaneposredno mjerljiva veliµcina, vec se procjenjuju na temelju njihovihtekucih vrijednosti. U tom sluµcaju moµze doci do gre�ke u njihovoj pro-cjeni. Ovu ce mjernu gre�ku tako�er na sebe preuzeti sluµcajna gre�ka".

6. Krive funkcionalne forme: iako smo ispravno u model ukljuµcili rele-vantne varijable moguce je da smo pogrije�ili u odabiru funkcionalneforme. Npr. pretpostavimo da je umjesto y = �0 + �1x + " ispravanmodel y = �0+�1x+�2x

2+ ". U modelu sa samo dvije varijable lakoje na temelju izgleda dijagrama disperzije odrediti funkcionalnu formu.Me�utim, u modelima s vi�e nezavisnih varijabli to postaje vrlo te�kojer nije moguce prikazati vi�estruko dimenzionalni dijagram disperzije.Gre�ka, koja se pojavljuje uslijed odabira krive funkcionalne forme, ucice u sluµcajnu gre�ku ".

1.2.4 Prikupljanje podataka

Parametre �0 i �1 modela 1.2 procjenjuju se na temelju opaµzanja varijablix i y koji se dobiju iz statistike. Opaµzanja o varijablama mogu se prikup-ljati za vremenska razdoblja, pa govorimo o vremenskim nizovima (eng.time series). Osim toga mogu se prikupljati za pojedince, grupe pojedinaca,predmete ili za geografska podruµcja, pa govorimo o podacima vremenskogpresjeka (eng. cross section). Obje se vrste podataka mogu kombinira-ti da bi se dobili zdruµzeni podaci vremenskih nizova i vremenskihpresjeka (eng. pooled cross sections).

Vremenski nizovi

Vremenski se nizovi sastoje od opaµzanja jedne ili vi�e varijabli kroz vrijeme.Takvi se podaci mogu prikupljati dnevno (npr. cijene dionica), tjedno

5

(npr. ponuda novca), mjeseµcno (npr. indeks cijena, stopa nezaposlenosti),kvartalno (npr. BDP), godi�nje (npr. drµzavni proraµcun), desetogodi�-nje (npr. popis stanovni�tva).

Tablica 1.1: Potro�nja i BDP u Hrvatskoj od 1997. do 2005. godine

GodinaPotrošnja (C)

u milijardama kunaBDP (Y)

u milijardama kuna1997.    79.023 123.8111998.    82.741 137.6041999.    83.336 141.5792000.  109.500 152.5192001.    99.611 165.6392002. 100.139 181.2312003.  115.081 198.4222004. 122.100 212.8262005. 130.576 229.031

Izvor: International Financial Statistics (IFS), Međunarodni monetarni fond, veljača 2007.

U Tablici 1.1 prikazani su podaci o hrvatskoj potro�nji i BDP-u za raz-doblje od 1997. do 2005. godine na temelju kojih moµzemo izraµcunati hr-vatsku funkciju potro�nje. Vidimo da se radi o dva vremenska niza izraµzenana godi�njoj frekvenciji. Svi podaci koji ulaze u odre�enu ekonometrijskuanalizu moraju biti izraµzeni u istoj vremenskoj frekvenciji (svi moraju bitigodi�nji, kao u gornjem sluµcaju, kvartalni, itd.) Podatke iz vi�ih frekven-cija moµzemo pretvoriti u niµze frekvencije (npr. kvartalne u godi�nje)pomocu prosjeka za varijable koje prikazuju stanja (npr. cijene, kamat-njaci), ili pomocu zbrajanja za varijable koje prikazuju tokove (npr. BDP,potro�nja, investicije). S niµzih frekvencija na vi�e frekvencije moguceje transformirati varijable pomocu statistiµckih metoda interpolacije (za sta-nja) i distribucije vrijednosti (za tokove). Vremenske nizove karakterizirajutrend i sezonska odstupanja (za frekvencije vi�e od godi�njih) a njimase bavi jedan posebni dio ekonometrije koji se zove Analiza vremenskihnizova ili Ekonometrija vremenskih nizova. Na slici 1.3 prikazan jehrvatski BDP izraµzen u kvartalima (tromjeseµcno) gdje se jasno vidi da upromatranom razdoblju BDP ima znaµcajan trend rasta i velika sezonska od-stupanja; BDP je najveci u 3. kvartalu a najmanji u 1. kvartalu1. Drugimrijeµcima, vremenski nizovi µcesto nisu stacionarni procesi2, a stacionarnostje jedna od pretpostavki na kojima leµze ekonometrijski modeli.

1Jasno se vidi da je 1995. godine "podbacila" sezona uslijed redarstvenih akcija Bljeskai Oluje.

2Kaµze se da je vremenski niz stacionaran ako se njegova sredina i varijanca asimptotskine mijenjaju tijekom vremena.

6

BDPbazni indeks 2000.=100

1993 1995 1997 1999 2001 2003 200575

100

125

150

Slika 1.3: Hrvatski kvartalni BDP od 1993:1-2006:3

Vremenski presjeci

Podaci vremenskog presjeka su podaci jedne ili vi�e varijabli prikupljeni uzadanoj vremenskoj toµcki. Kada bismo na taj naµcin htjeli prikupiti podatkena temelju kojih bismo mogli procijeniti funkciju potro�nje u Hrvatskoj,morali bismo prikupiti npr. opaµzanja o dohotku i potro�nji po gradovima iliµzupanijama.

U Tablici 1.2 prikazan je vremenski presjek (za 2004. g.) potro�nje iBDP-a za tranzicijske zemlje. Vidimo da se skup opaµzanja u ovom sluµcajune sastoji od razliµcitih godina, vec od podataka za razliµcite zemlje za 2004.godinu. Ako ne bismo imali na raspolaganju podatke za sve zemlje za 2004.g., mogli bismo koristiti za neke zemlje i podatke iz 2003. ili 2005. godi-ne, ako smatramo da nije do�lo do strukturnih promjena u tim godinama.Drugim rijeµcima, u analizi vremenskih presjeka moµzemo zanemariti manjerazlike u vremenu prikupljanja podataka. Kao �to vremenski nizovi imajusvoje speci�µcne probleme (stacionarnost), tako i vremenski presjeci imajusvoje speci�µcne probleme, me�u kojima je najznaµcajniji heterogenost po-dataka.

Dijagramom disperzije na slici 1.4 prikazan je odnos izme�u BDP-a i po-tro�nje u tranzicijskim zemljama. Imamo male zemlje s malim BDP-om kao�to su Makedonija, Bugarska, Hrvatska, Slovenija i Slovaµcka, zemlje sa sred-

7

Tablica 1.2: Potro�nja i BDP 2004. godine u tranzicijskim zemljama

ZemljaPotrošnja (C)

u milijardama US $BDP (Y)

u milijardama US $Bugarska 16.518   24.225Hrvatska   20.249   35.295Češka   54.818 108.212Mađarska   68.572 102.157Makedonija     4.182     5.368Poljska 161.921 252.254Rumunjska   51.277   75.574Slovačka   23.833   42.011Slovenija   17.874   32.601Izvor: International Financial Statistics (IFS), Međunarodni monetarni fond, veljača 2007.

njim BDP-om kao Rumunjska, µCe�ka i Ma�arska, i na kraju imamo Poljskukoja znatno odskaµce po svojoj veliµcini. U tom sluµcaju, imamo heterogenepodatke i zato moramo voditi raµcuna o tzv. efektu razmjera ili efektuopsega.

Zdruµzeni podaci i panel (uzduµzni) podaci

Ako kombiniramo vremenske nizove s vremenskim presjecima dobijemo zdru-µzene podatke.

Posebna vrsta zdruµzenih podataka, u kojima se kroz razliµcite vremensketoµcke pojavljuju iste vremenski presjeµcne jedinice (iste obitelji, iste zemlje,itd.), zovu se panel ili uzduµzni (longitudinalni) podaci. Tablica 1.3 pri-kazuje uzduµzne podatke o potro�nji i BDP-u za tranzicijske zemlje. U tomsluµcaju imamo za svaku vremenski presjeµcnu jedinicu (zemlju) niz vremen-skih toµcaka (od 1997. do 2005. godine). Ako gledamo tablicu kroz njezineretke, vidimo vremenski presjek, ali ako je gledamo kroz stupce, vidimo vre-menski niz. Znaµci, uzduµzni podaci su kombinacija vremenskih presjeka ivremenskih nizova za iste vremenski presjeµcne jedinice.

Pretpostavimo, me�utim, da se u dvije razliµcite godine (2000. i 2005.)istraµzivala funkcija potro�nje hrvatskih obitelji s pitanjima o njihovim do-hocima i potro�nji. Kada bismo ukljuµcili samo opaµzanja iz 2000. godine, ilisamo opaµzanja iz 2005. godine, radilo bi se o vremenskom presjeku. Me�u-tim, kako bi se povecao broj opaµzanja moµzemo zdruµziti podatke iz 2000. i2005. godine i tako dobiti zdruµzene podatke iz obje godine. Buduci da suse obitelji za istraµzivanje birale sluµcajno, vrlo je mala vjerojatnost da je istaobitelj sudjelovala u istraµzivanju 2000. i 2005. godine. Stoga za razliµcite vre-menske toµcke imamo razliµcite vremenski presjeµcne jedinice (obitelji). U tomsluµcaju ne govorimo o uzduµznim (panel) podacima nego samo o zdruµzenim(pooled) podacima.

8

Slika 1.4: Odnos BDP-a i potro�nje u tranzicijskim zemljama 2004. godine.

1.2.5 Procjena ekonometrijskog modela

Kada imamo podatke, moµzemo procijeniti parametre funkcije potro�nje 1.2na temelju vrijednosti prikazanih u Tablici 1.1. Na Slici 1.5 prikazana jehrvatska funkcija potro�nje za razdoblje od 1997. do 2005. godine.

Pravac koji prolazi kroz toµcke dijagrama disperzije nacrtali smo na naµcinda minimiziramo sumu kvadrata odstupanja. O toj metodi bit ce vi�e rijeµciu sljedecem poglavlju. Dobiveni koe�cijenti prikazanog pravca su:

by = 21:42 + 0:47x: (1.3)

Kapica nad y oznaµcava da se radi o procijenjenoj vrijednosti (prika-zanoj pravcem) stvarne zavisne varijable y (prikazana toµckama). Iz procije-njene funkcije potro�nje prikazane u jednadµzbi 1.3 vidimo da je koe�cijentnagiba 0.47, �to znaµci da bi u promatranom razdoblju povecanje BDP-a uHrvatskoj za 1 kunu povecalo u prosjeku potro�nju stanovni�tva za 47 lipa.

Iz Slike 1.5 vidimo da smo provukli regresijski pravac kroz dijagramdisperzije. Kada se, me�utim, priµca o linearnoj regresiji, ne misli se nalinearnost u varijablama, vec na linearnost u parametrima. Mogli smokroz toµcke dijagrama disperzije povuci i neki drugi oblik funkcije, kao npr.

9

Tablica 1.3: Potro�nja i BDP u tranzicijskim zemljama u razdoblju od 1997.do 2005. g. (u milijardama US dolara)

Godina1997. 1998. 1999. 2000. 2001. 2002. 2003. 2004. 2005.

C 7.57 8.60 9.22 8.73 9.47 10.69 13.73 16.52 18.71Bugarska Y 10.38 12.74 12.93 12.62 13.63 15.55 19.97 24.22 26.72C 12.83 13.01 11.72 13.22 11.94 13.60 17.18 20.25 21.95Hrvatska Y 20.10 21.64 19.91 18.42 19.86 23.03 29.62 35.29 38.49C 30.72 32.58 31.84 29.77 32.08 38.56 47.23 54.82 61.50Češka Y 57.13 61.85 60.19 56.71 61.84 75.27 91.35 108.21 123.97C 28.28 29.37 30.67 30.25 34.22 44.00 57.59 68.57 75.10Mađarska Y 45.72 47.05 48.04 47.96 53.32 66.71 84.42 102.16 110.37C 2.71 2.59 2.56 2.67 2.41 2.92 3.53 4.18Makedonija Y 3.72 3.58 3.67 3.59 3.44 3.79 4.63 5.37C 98.56 107.86 106.00 109.65 123.65 132.28 141.95 161.92 190.32Poljska Y 157.12 172.67 167.84 171.18 190.51 198.00 216.48 252.25 302.67C 26.06 31.81 26.49 25.95 28.10 31.56 39.29 51.28 73.16Rumunjska Y 35.13 42.00 35.67 37.04 40.13 45.76 59.51 75.57 97.25C 11.67 12.38 11.72 11.57 12.25 14.20 18.70 23.83 27.21Slovačka Y 21.56 22.43 20.60 20.45 21.11 24.52 32.98 42.01 47.43C 11.45 12.12 12.50 11.08 11.20 12.38 15.66 17.87 18.87Slovenija Y 19.72 21.04 21.56 19.31 19.77 22.29 28.07 32.60 34.35

Izvor: International Financial Statistics (IFS), Međunarodni monetarni fond, veljača 2007. ¸

y = �0 + �1x2, ili ln y = �0 + �1 lnx, tj. nelinearan model u varijablama,

me�utim, i dalje govorimo o linearnoj regresiji jer su prikazani modeli li-nearni u parametrima. Modeli tipa y = �0 + �

21x, y =

p�0 + �1x; iako

su linearni u varijablama, nisu linearni u parametrima i stoga govorimo onelinearnim (u parametrima) regresijskim modelima.

1.2.6 Testiranje hipoteza

Kao �to smo ranije rekli Keynes je oµcekivao da je graniµcna sklonost potro�njiizme�u 0 i 1. U sluµcaju Hrvatske procijenili smo u jednadµzbi 1.3 da jegraniµcna sklonost potro�nji u Hrvatskoj u promatranom razdoblju bila 0.47.Kako bismo zakljuµcili da je dobiveni rezultat za Hrvatsku u suglasju saKeynesijanskom ekonomskom teorijom, i da se ne radi o sluµcajnosti, moramododatno testirati je li ova vrijednost statistiµcki znaµcajno razliµcita od 0 imogucnost da nije veca od 1.

1.2.7 Prognoziranje i predvi�anje

Na temelju jednadµzbe 1.3 moµzemo predvidjeti vrijednosti varijable y za zada-ne vrijednosti varijable x. Npr. moµzemo predvidjeti kolika ce biti potro�njastanovni�tva u Hrvatskoj ako BDP dosegne vrijednost od 250 milijardi kuna

10

BDP u milijardama kuna

100 120 140 160 180 200 220 240

Potro

šnja

 u m

ilija

rdam

a ku

na

70

80

90

100

110

120

130

140

Slika 1.5: Hrvatska funkcija potro�nje za razdoblje od 1997. do 2005. godine

na sljedeci naµcin:

by250 = 21:42 + 0:47(250) = 138:92:Drugim rijeµcima, na temelju vrijednosti na�ih parametara prognoziramo

da ce potro�nja stanovni�tva biti 138:92 milijarde kuna, kada ce BDP uHrvatskoj iznositi 250 milijardi kuna.

1.3 Regresijska funkcija populacije i regresijska funk-cija uzorka

Pretpostavimo da smo iz hipotetiµcke populacije studenata prikupili podat-ke o njihovom mjeseµcnom dohotku i o njihovoj mjeseµcnoj potro�nji. Studentesmo podijelili na 10 dohodovnih razreda (od 100 kn do 1000 kn) i u Tablici1.4 prikazali njihove mjeseµcne potro�nje. Stoga imamo 10 �ksnih vrijednos-ti varijable x kojima odgovaraju razliµcite vrijednosti y. Drugim rijeµcimaimamo 10 dohodovnih podpopulacija.

Iz Tablice 1.4 jasno se vidi da se u svakoj dohodovnoj grupi studentirazliµcito pona�aju (imamo one sklonije �tednji i one manje sklone �tednji);tako npr. pojedini studenti koji imaju dohodak 300 kn tro�e vi�e (250 kn

11

Tablica 1.4: Mjeseµcna potro�nja i dohodak studenata (u kunama)

Dohodak100 200 300 400 500 600 700 800 900 1000

80 120 190 240 290 350 460 500 600 70085 145 200 260 330 410 480 520 620 71090 150 230 300 365 445 490 540 640 75095 160 240 310 370 460 500 550 660

100 165 250 330 375 480 510 590 680180 270 360 390 495 520 620 700200 410 530 650

430 540 670

Potro

šnja

560Ukupno 450 1120 1380 1800 2960 2640 4590 4640 3900 2160

( )ixyE | 90 160 230 300 370 440 510 580 650 720

i 270 kn) nego pojedini studenti koji imaju dohodak 400 kn (240 kn i 260kn). Moµzemo, me�utim, primijetiti da unatoµc tim varijabilnostima postojiodre�eno pravilo da u prosjeku studenti koji imaju veci dohodak vi�e i tro�e.To se jasno vidi iz aritmetiµckih sredina (ili prosjeka) svake podpopulacijekoje su prikazane u zadnjem retku Tablice 1.4 koje zovemo vrijednostimauvjetnog oµcekivanja jer su uvjetovane zadanim vrijednostima varijable x.Uvjetno oµcekivanje oznaµcavamo s E (yjxi) te µcitamo oµcekivana vrijednosty za zadanu vrijednost x. Tako npr. oµcekivana potro�nja studenata, kojiimaju dohodak od 200 kn, iznosi 160 kn, dok je kod studenata, koji imaju800 kn, oµcekivana potro�nja 580 kn.

Uvjetno oµcekivanje razlikuje se od matematiµckog (neuvjetnog) oµceki-vanja E (y) koji prikazuje prosjeµcnu potro�nju svih 64 studenata populacije,neovisno o njihovom dohodovnom razredu. U na�em bi sluµcaju matematiµckooµcekivanje bilo E (y) =

�450+1120+���+2160

64

�= 400:625.

Na slici 1.6 prikazan je dijagram disperzije na temelju Tablice 1.4. Spa-janjem svih uvjetnih oµcekivanja za sve �ksne vrijednosti dohotka dobili smoregresijsku funkciju populacije (RFP)3 koja u na�em sluµcaju poprimaoblik pravca. Sve toµcke kojima prolazi regresijski pravac populacije oznaµca-va oµcekivanu potro�nju odre�enog dohodovnog razreda; tako npr. za razred200 kn oµcekivana potro�nja je 160 kn, za razred 500 kn oµcekivana potro�njaje 370 kn, itd. Opcenito moµzemo reci da regresijska funkcija populacije pred-stavlja sve toµcke uvjetnih oµcekivanja zavisne varijable y za �ksne vrijednostinezavisne varijable x.

Na temelju tako de�nirane regresijske funkcije populacije moµzemo odre-diti pojedinaµcnu potro�nju svakog studenta kao odstupanje od uvjetnog oµce-

3Na slici je oznaµcena sa E (yjxi).

12

0 100 200 300 400 500 600 700 800 900 1000 1100

Potro

šnja

0

100

200

300

400

500

600

700

800 ( )ixyE |

Dohodak

x

y

160

370

510

Slika 1.6: Regresijska funkcija populacije izvedena iz Tablice 1.4

kivanja dohodovnog razreda kojemu pripada

"i = yi � E (yjxi) :

Stvarna potro�nja bit ce

yi = E (yjxi) + "i: (1.4)

Znaµci, potro�nja i � tog studenta sastoji se od dva dijela: jedan je de-terministiµcki ili sustavni dio E (yjxi) kojeg moµzemo predvidjeti na temeljudohodovnog razreda kojemu student pripada te od "i �to predstavlja slu-µcajno odstupanje ili nesustavni dio. Sluµcajno se odstupanje pojavljuje zbogutjecaja ostalih varijabli na potro�nju studenata a koje nisu ukljuµcene u mo-del, kao npr. spol, stanuje li student s roditeljima ili je podstanar, dru�tvou kojemu se krece, navike, itd4. Ako pretpostavimo da imamo linearnostE (yjxi) u varijabli xi kao na slici 1.6 tada se jednadµzba 1.4 pretvara u

yi = �0 + �1xi + "i: (1.5)

Naµzalost, u praksi nemamo na raspolaganju cjelokupnu populaciju vecsamo uzorak iz te populacije. Stoga je problem, s kojim smo suoµceni, da na

4Glavni razlozi pojavljivanja sluµcajne gre�ke "i obja�njeni su u naslovu Speci�kacijaekonometrijskog modela na stranici 4.

13

temelju poznavanja samo vrijednosti uzorka, izvuµcenog iz neke populacije,moramo procijeniti nama nepoznatu funkciju populacije prikazanu jednadµz-bom 1.5. Pretpostavimo da smo iz populacije prikazane u Tablici 1.4 izvuklijedan sluµcajan uzorak (Uzorak 1) potro�nje studenata za svaku dohodovnugrupu, prikazan u Tablici 1.5

Tablica 1.5: Sluµcajni uzorci iz Tablice populacije

Dohodak Potrošnja: uzorak 1 Potrošnja: uzorak 2100 80 95200 145 200300 270 240400 310 330500 375 390600 480 460700 530 500800 520 550900 700 640

1000 750 700

Moµzemo primijetiti da za svaku dohodovnu grupu (�ksna vrijednost x)imamo samo jednu vrijednost potro�nje (y), za razliku od populacije kadasmo za svaku vrijednost x imali vi�e vrijednosti y. Vrijednosti iz Tablice1.5 (Potro�nja: uzorak 1) prikazali smo na Slici 1.7 i provukli kroz toµckeregresijsku funkciju uzorka (RFU1) koja u na�em sluµcaju poprima izgledpravca kojeg cemo oznaµciti

yi = b0 + b1xi + ei (1.6)

gdje je:yi = procjenitelj E (yjxi)b0 = procjenitelj �0b1 = procjenitelj �1ei = sluµcajno odstupanje uzorka koje interpretiramo kao procjenitelj "i:Cilj regresijske funkcije uzorka yi = b0+b1xi+ei je procijeniti nepoznatu

regresijsku funkciju populacije yi = �0 + �1xi + "i.Iz na�e populacije, prikazane u Tablici 1.4, moµzemo izvuci i drugi uzorak

(Uzorak 2 koji je prikazan u Tablici 1.5). Na slici 1.7 vidimo da, iako izvuµce-ni iz iste populacije, regresijske funkcije uzoraka (RFU1 i RFU2) me�usobnose razlikuju zbog �uktuacije populacije oko regresijske funkcije populacije.Jedino u specijalnom sluµcaju, kada bi se sve toµcke populacije prikazane naslici 1.6 nalazile na regresijskom pravcu populacije, tada bi regresijski pravciuzoraka prikazani na slici 1.7 bili potpuno jednaki. �to je veca disperzijatoµcaka oko regresijske funkcije populacije, to je vjerojatnost da su regre-sijske funkcije uzoraka me�usobno razliµcitije. Postavlja se, dakle, pitanje

14

Dohodak

0 100 200 300 400 500 600 700 800 900 1000 1100

Potro

šnja

0

100

200

300

400

500

600

700

800RFU2

RFU1

Slika 1.7: Regresijske funkcije uzoraka temeljene na populaciji iz Tablice 1.4

jesu li i pod kojim uvjetima regresijske funkcije uzoraka dobri procjeniteljiregresijske funkcije populacije?

Odgovor glasi da ce regresijska funkcija uzorka biti dobar procjenitelj"nevidljive" regresijske funkcije populacije ako vrijede sljedece pretpos-tavke o RFP, koje zovemo i pretpostavkama klasiµcnog linearnog re-gresijskog modela:

1. Linearnost u parametrima: vec smo rekli da kada govorimo o linearnimmodelima govorimo o linearnosti u parametrima. Neki modeli moguizgledati nelinearno u parametrima kao na primjer Cobb-Douglasovafunkcija proizvodnje5

y = �0K�1L�2e" (1.7)

koju, me�utim, moµzemo jednostavno linearizirati ako je logaritmiramo

ln y = �+ �1 lnK + �2 lnL+ " (1.8)

gdje je a = ln�0: Vidimo da je jednadµzba 1.8 nelinearna u varijablama(zbog logaritama), ali linearna u parametrima. U tom sluµcaju govori-mo da je model prikazan jednadµzbom 1.7 su�tinsko linearan model,

5Napomena: e u jednadµzbi (1.7) odnosi se na bazu prirodnog logaritma a ne na sluµcajnoodstupanje uzorka.

15

jer ga moµzemo odre�enim transformacijama pretvoriti u model line-aran u parametrima. S druge strane, da je Cobb-Douglasova funkcijabila de�nirana kao

y = �0K�1L�2 + "; (1.9)

ne bi je bilo moguce nikakvom transformacijom linearizirati. U tomsluµcaju govorimo da je model su�tinsko nelinearan model i da nezadovoljava pretpostavku o linearnosti u parametrima.

2. Nestohastiµcnost varijable x: vrijednosti varijable x �ksirane su u po-novljenom uzorkovanju, kao na primjeru u Tablici 1.4 kada imamorazliµcite vrijednosti potro�nje (y) za �ksne (iste) vrijednosti dohotka(x).

3. Sredina sluµcajne gre�ke "i je jednaka nuli ili simboliµcki E ("ijxi) = 0.Buduci da regresijska funkcija populacije predstavlja uvjetno matema-tiµcko oµcekivanje E (yjxi), tj. sredinu (prosjek) y za zadani xi, to znaµcida je zbroj pozitivnih i negativnih odstupanja "i za svaki zadani xijednak nuli.

Primjer 1.1 Zbrajanjem odstupanja od uvjetnog matematiµcko oµceki-vanja za dohodovnu grupu 100 kn u Tablici 1.4 dobijemo (80 � 90) +(85� 90) + � � �+ (100� 90) = �10 + (�5) + � � �+ 10 = 0. Isto vrijedii za sve ostale dohodovne grupe.

4. Homoskedastiµcnost : jednaka varijanca za sva opaµzanja ili simboliµcki

V ar ("ijxi) = E ["i � E ("ijxi)]2 = �2:

Razumno bi bilo oµcekivati, u na�em hipotetiµckom primjeru, osim dastudenti s vecim dohotkom tro�e apsolutno vi�e u odnosu na studentes manjim dohotkom, da varijanca odstupanja (rasipanje oko RFP, va-rijabilnost potro�nje unutar dohodovne grupe) bude veca za studente svi�im dohocima u odnosu na one koji imaju manji dohodak i stoga ma-nji "manevarski" prostor za potro�nju. Ako varijanca sluµcajne gre�kenije ista za sva opaµzanja, vec ovisi o nekoj od nezavisnih varijabli (una�em sluµcaju raste s rastom dohotka) govorimo o heteroskedastiµcnos-ti, koju simboliµcki oznaµcavamo s Var("ijxi) = �2i , gdje nam subskripti govori da varijanca sluµcajnog odstupanja "i nije konstantna.

5. Odsutnost autokorelacije sluµcajnih odstupanja: za dvije �ksne vrijed-nosti xi i xj za (i 6= j), kovarijanca (korelacija) izme�u dva sluµcajnaodstupanja "i i "j za bilo koji (i 6= j) je nula, ili simboliµcki

Cov ("i; "j jxi; xj) = E f["i � E ("i)] jxig f["j � E ("j)] jxjg = 0:

To znaµci da je odstupanje " sluµcajno, tj. da nema sustavni obrazac(kao npr. isti predznak s prethodnim opaµzanjem).

16

6. Odsutnost multikolinearnosti : izme�u nezavisnih varijabli (kada ihimamo vi�e) ne smije postojati savr�ena linearna veza. Ako postojiznaµcajna veza izme�u nezavisnih varijabli, vrlo je te�ko izolirati utje-caj pojedinih varijabli na zavisnu varijablu y.

7. Kovarijanca izme�u "i i xi je nula, ili simboliµcki

Cov ("i; xi) = E ["i � E ("i)] [xi � E (xi)] = 0:

Kada smo de�nirali RFP u jednadµzbi 1.5 pretpostavili smo da x i "imaju zasebne utjecaje na y (deterministiµcki i nesustavni dio). Me�u-tim, kada bi oni bili me�usobno korelirani, takvi se zasebni utjecaji xi " na y ne bi mogli pravilno identi�cirati.

8. Broj opaµzanja mora biti veci od broja parametara koji se procjenjuju:na temelju jednog opaµzanja (jedna toµcka u dvodimenzionalnom pros-toru) ne moµzemo procijeniti pravac na tom prostoru; potrebne su namminimalno dvije toµcke da odredimo parametre pravca �0 i �1, drugimrijeµcima potrebna su nam barem dva opaµzanja.

9. Varijabilnost vrijednosti x : vrijednosti varijable x ne smiju biti sveiste. Bolje je ako varijabla x ima vece �uktuacije jer se u tom sluµcajuvarijablom x mogu bolje objasniti �uktuacije zavisne varijable y.

10. Pravilno speci�ciran regresijski model : kada govorimo o pravilno speci-�ciranom modelu, govorimo o pravilno speci�ciranoj funkcionalnojformi, pravilno speci�ciranim nezavisnim varijablama i pravilnospeci�ciranim pretpostavkama o vjerojatnosti y, x, i ".

17

Poglavlje 2

Parametri modela dobivenimetodom najmanjihkvadrata

U prethodnom poglavlju objasnili smo da ako vrijede pretpostavke o RFP-umogu se donositi zakljuµcci o regresijskoj funkciji populacije (RFP)

yi = �0 + �1xi + "i

na temelju regresijske funkcije uzorka (RFU)

yi = b0 + b1xi + ei:

Postavlja se, me�utim, pitanje kako procijeniti parametre b0 i b1 regresijskefunkcije uzorka.

2.1 Procjena parametara

Tablica 2.1: Mjeseµcna potro�nja i dohodak studenata (u kunama)Student Potrošnja DohodakMarko 100 150Ivan 250 300Mira 300 500Maja 210 400Ana 160 200

Pretpostavimo da smo izabrali jedan reprezentativni uzorak studenatakoji su nam dali podatke o njihovim mjeseµcnim potro�njama i dohocima.Prikupljeni podaci prikazani su u Tablici 2.1. Ako vrijednosti iz Tablice

18

Dohodak

0 100 200 300 400 500 600

Potro

šnja

0

50

100

150

200

250

300

350

Slika 2.1: Dijagram disperzije mjeseµcnog dohotka i potro�nje studenata (ukunama)

2.1 prikaµzemo dijagramom disperzije, u kojemu svakom opaµzanju odgovarajedna toµcka u dvodimenzionalnom prostoru dobijemo Sliku 2.1.

Iz prikazanih toµcaka vidimo da kada se vrijednost dohotka studenatapovecava, povecava se i njihova potro�nja . Me�utim na temelju prikaza-nih toµcaka ne moµzemo toµcno kvanti�cirati npr.: koliko ce studenti povecatipotro�nju, ako im se dohodak poveca za 100 kn, kolika je vjerojatnost po-tro�nje studenta koji ima 450 kn dohotka, kolika je autonomna (koja neovisi o dohotku) potro�nja studenata, itd. Odgovore na ova pitanja moguceje dobiti ako kroz toµcke dijagrama disperzije provuµcemo odre�enu matema-tiµcku funkciju. Na temelju pozicioniranja toµcaka na dijagramu disperzijeprikazanom na Slici 2.1 moµzemo pretpostaviti da je prikladni funkcionalnioblik regresijske funkcije pravac kojim bismo mogli objasniti vezu izme�udohotka i potro�nje studenata. Problem koji se sada namece je kako odreditiparametre pravca koji ce ga de�nirati. Razumno bi bilo da pravac odredimotako da minimiziramo zbroj svih odstupanja (gre�ke), tj. min

Pei:

Iz Slike 2.2 vidimo da pravac P1 prolazi bliµze toµckama dijagrama dis-perzije od pravca P2. S druge strane ako zbrojimo odstupanja za P1 (-35+0+60+(-30)+10) vidimo da je rezultat

Pei = 5, dok ako zbrojimo

odstupanja za P2 (-180+(-120)+60+50+190) rezultat jePei = 0. Drugim

rijeµcima po kriteriju minimizacije odstupanja bolji je pravac P2 u odnosu

19

Dohodak

0 100 200 300 400 500 600

Potro

šnja

0

50

100

150

200

250

300

350

­180

­35

­120+60

+50

­30

+10

+190

P1

P2

∑ = 5ie

∑ = 0ie

∑ = 58252ie

∑ = 890002ie

Slika 2.2: Kriterij minimalnih kvadrata odstupanja

na pravac, koji "na oko" izgleda bolji, P1. Za�to? Vrijednosti odstupanja eipoprimaju pozitivne i negativne vrijednosti tako da se u njihovom zbraja-nju me�usobno poni�tavaju. Tako u sluµcaju pravca P2, u kojemu su velikaodstupanja, imamo u zbroju vece (potpuno) poni�tavanje vrijednosti odstu-panja u odnosu na pravac P1, koji ima vidno manja odstupanja, ali koja se uzbroju ne poni�tavaju u cijelosti. Poni�tavanje vrijednosti u zbroju moµzemoizbjeci tako da kvadriramo vrijednosti ei: Iz Slike 2.2 vidimo da je za pravacP1 zbroj

Pe2i =

�(�35)2 + 02 + � � �+ 102

�= 5825 znatno manji u odnosu

na pravac P2 gdje jePe2i = ((�180)2 + (�120)2 + � � � + 1902) = 89000.

Ako nam kriterij za vuµcenja pravca kroz toµcke dijagrama disperzije posta-ne minimizacija

Pe2i ; tada vidimo da pravac, koji "na oko" izgleda bolji,

bolji je i na temelju na�eg postavljenog kriterija minimizacije kvadrataodstupanja koji sprjeµcava poni�tavanje pozitivnih i negativnih vrijednostiodstupanja. Metodu, koja se temelji na kriteriju minimizacije kvadrata od-stupanja, zovemo Obiµcnom metodom najmanjih kvadrata (eng. OLS- Ordinary Least Square).

Kvadriranjem odstupanja, osim �to pretvaramo odstupanja u pozitivnevrijednosti, dajemo vecu teµzinu vecim (udaljenijim od regresijskog prav-ca) odstupanjima u odnosu na manja, buduci da su vrijednosti kvadrirane.Problem se u tom sluµcaju moµze pojaviti u prisutnosti izuzetno udaljenih

20

odstupanja (eng. outliers), µcija prisutnost moµze bitno promijeniti izgledregresijskog pravca, buduci da je metoda najmanjih kvadrata izuzetno osjet-ljiva na takve udaljene toµcke. Uobiµcajeno je rje�enje tog problema da seopaµzanja vezana za udaljene toµcke jednostavno izbace iz analize. Pri tomese me�utim mora pristupiti vrlo paµzljivo jer ponekad te udaljene toµcke usebi mogu sadrµzavati bitne informacije o vezi izme�u analiziranih varijabli.

Na temelju kriterija minimizacije kvadrata odstupanja iz Slike 2.2 vidi-mo da je pravac P1 bolji od pravca P2. Ali nitko nam ne jamµci da je pravacP1 najbolji izme�u svih mogucih pravaca koje moµzemo potegnuti kroz di-jagram disperzije po kriteriju minimizacije kvadrata odstupanja. Moramoli na temelju reµcenoga potegnuti kroz toµcke dijagrama disperzije veliki brojpravaca i na temelju njihovog zbroja kvadrata odstupanja odluµciti koji je odnjih najbolji, ili drugim rijeµcima koji ima minimalni

Pe2i ? Takav bi pristup

bio sigurno vremenski jako rastro�an i na kraju ne bismo imali konaµcan od-govor, tj. ne bismo imali nikakvu sigurnost da je na�pravac, najbolji me�uonima koje smo testirali, i najbolji me�u onima koje nismo testirali. Ovajproblem rije�io je njemaµcki matematiµcar Carl Friedrich Gauss na sljedecinaµcin. Za model s jednom nezavisnom varijablom

yi = b0 + b1xi + ei (2.1)

moramo izabrati parametre b0 i b1 tako da minimizirajuPe2i : Da bismo

dobili parametri s tim svojstvima moramo parcijalno derivirati izrazPe2i

po b0 i b1 i izjednaµciti prve derivacije s nulom kako bismo dobili ekstremefunkcija (minimum).

Kriterij najmanjih kvadrata moµzemo de�nirati kao

MinnXi=1

e2i = MinnXi=1

(yi � b0 � b1xi)2 (2.2)

gdje yi oznaµcava stvarnu vrijednost y za i-to opaµzanje, a n oznaµcava brojopaµzanja.

Parcijalnim deriviranjem izraza 2.2 po parametrima b0 i b1 i izjednaµca-vanjem prve derivacije s nulom dobivamo jednadµzbe

@

@b0

P(yi � b0 � b1xi)2 = �2

P(yi � b0 � b1xi) = 0 (2.3)

@

@b1

P(yi � b0 � b1xi)2 = �2

Pxi (yi � b0 � b1xi) = 0: (2.4)

Simultanim rje�avanjem jednadµzbi 2.3 i 2.4 po parametrima b0 i b1 (cje-loviti izvod prikazan je u Dodatku A.1) dobijemo vrijednosti parametarakoje imaju svojstvo minimizacije sume kvadrata odstupanja prikazanih ujednadµzbi 2.2 koje glase

b1 =

P(xi � �x) (yi � �y)P

(xi � �x)2=

P~xi~yiP~x2i

(2.5)

21

b0 = �y � b1�x (2.6)

gdje �y i �x prikazuju sredine uzoraka, a ~x i ~y oznaµcavaju varijable x i y unjihovoj devijacijskoj formi1

~xi = xi � �x ~y = yi � �y:

Kori�tenjem Gaussovih jednadµzbi 2.5 i 2.6 moµzemo dobiti parametre(procjenitelje) modela na temelju obiµcne metode najmanjih kvadrata u slu-µcaju jedne nezavisne varijable.

Ako imamo vi�e nezavisnih varijabli procjenitelje, temeljene na Ga-ussovoj metodi najmanjih kvadrata (OLS), moµzemo jednostavno dobiti ko-ri�tenjem matriµcne algebre.

Model sa (k � 1) brojem nezavisnih varijabli

yi = b0 + b1x1i + b2x2i + � � �+ b(k�1)x(k�1)i + ei (2.7)

moµzemo prikazati u matriµcnoj formi

y = Xb+ e (2.8)

u kojoj

y =

26664y1y2...yn

37775 X =

266641 x11 � � � x(k�1)11 x12 � � � x(k�1)2...

.... . .

...1 x1n � � � x(k�1)n

37775 b =

26664b0b1...

bk�1

37775 e =

26664e1e2...en

37775gdje

y = n� 1 vektor stupac s opaµzanjima zavisne varijableX = n� k matrica s opaµzanjima nezavisnih varijablib = k � 1 vektor stupac nepoznatih parametarae = n� 1 vektor stupac odstupanja.

Svaki element matrice X ima dva subskripta; prvi se odnosi na varijablu(stupac), dok se drugi odnosi na opaµzanje (redak). Tako npr. element x24oznaµcava µcetvrto opaµzanje varijable x2. Interesantno je primijetiti da je prviredak u matrici X ispunjen jedinicama. Ovaj redak odraµzava konstantniµclan koji se veµze za parametar b0.

Na�je cilj, kao i u sluµcaju sa samo jednom nezavisnom varijablom, mini-mizirati sumu kvadrata odstupanja koju u matriµcnoj algebri moµzemo pisati

minnPi=1e2i = min(e

0e): (2.9)

1Neka svojstva devijacijskih formi prikazana su u Dodatku A.1

22

Iz jednadµzbe 2.8 imamo

e = y �Xb; (2.10)

�to sumu kvadrata odstupanja pretvara u

e0e = (y �Xb)0 (y �Xb)= y0y � b0X0y � y0Xb+ b0X0Xb= y0y�2b0X0y + b0X0Xb: (2.11)

Zadnji je korak moguc jer su b0X0y i y0Xb me�usobno jednaki skalari.Minimizirati sumu kvadrata odstupanja po parametrima modela moµzemoako deriviramo e0e po parametrima i izjednaµcimo prvu derivaciju s nulom

@

@b

�y0y � 2b0X0y + b0X0Xb

�= �2X0y+2X0Xb = 0; (2.12)

iz µcega slijedi dab =

�X0X

��1X0y: (2.13)

Za dobivanje jednadµzbe 2.13 nismo koristili nikakve pretpostavke o na-µcinu na koji se podaci generiraju. Jedino �to pretpostavljamo je da postojiinverzna matrica (X0X)�1, tj. da matrica X0X nije singularna matrica,�to podrazumijeva da niti jedan redak (stupac) te matrice ne smije bi-ti egzaktna linearna kombinacija ostalih redaka, �to znaµci da nemamultikolinearnosti (linearne veze izme�u nezavisnih varijabli).

Tablica 2.2: Izraµcun vrijednosti procjenitelja (parametara) na temelju obiµcnemetode najmanjih kvadrata odstupanjaStudentMarko 100 150 ­104 ­160 16640 25600 126.34 ­26.34 693.87Ivan 250 300 46 ­10 ­460 100 199.15 50.85 2586.09Mira 300 500 96 190 18240 36100 296.22 3.78 14.29Maja 210 400 6 90 540 8100 247.68 ­37.68 1420.00Ana 160 200 ­44 ­110 4840 12100 150.61 9.39 88.18

1020 1550 0 0 39800 82000 1020 0 4802.44Sredina 204 310 204 960.49∑

iy ix ix~iy~ ii yx ~~ 2~ix iy ie 2

ie

Primjer 2.1 Iz jednadµzbi za parametre 2.5 i 2.6 i Tablice 2.2 moµzemo iz-raµcunati:

b1 =

P~xi~yiP~x2i

=39800

82000= 0:48537 (2.14)

b0 = �y � b1�x = 204� 0:48537� 310 = 53: 535: (2.15)

23

Isti smo rezultat mogli dobiti i kori�tenjem matriµcne forme iz jednadµzbe2.13 koja vrijedi za broj k nezavisnih varijabli pa stoga vrijedi i za sluµcajsamo jedne nezavisne varijable, kao u na�em primjeru:

b =�X0X

��1X0y

gdje su

X =

2666641 1501 3001 5001 4001 200

377775 ; y =266664100250300210160

377775Ako izraµcunamo2 da

X0X =

�1 1 1 1 1150 300 500 400 200

�2666641 1501 3001 5001 4001 200

377775 =�

5 15501550 562 500

�

i da

X0y =

�1 1 1 1 1150 300 500 400 200

�266664100250300210160

377775 =�

1020356 000

�;

u konaµcnici imamo

b =�X0X

��1X0y =

�5 1550

1550 562 500

��1 �1020356 000

�=

�53: 5350:485 37

�:

(2.16)

Vidljivo je da smo u 2.16 dobili identiµcni rezultat kao i u jednadµzbama2.14 i 2.15, tj. da je b0 = 53:535, a b1 = 0:48537. Drugim rijeµcima na�regresijski pravac uzorka (zaokruµzen na dvije decimale) dobiven metodomnajmanjih kvadrata je

yi = 53:54 + 0:49xi: (2.17)

Iz Tablice 2.2 vidimo da jePe2i = 4802:44 ovog pravca manja nego za

pravce iz Slike 2.2. Ne samo to, vec znamo da ne postoji pravac, me�utestiranima i ne testiranima do sada, koji bi imao manju sumu kvadrataodstupanja. Regresijski pravac iz 2.17 moµzemo gra�µcki prikazati kao na Slici2.3. Vidimo da za prvo opaµzanje (Marko iz Tablice 2.2) imamo dohodak od150; stvarnu potro�nju y1 = 100 i Markovu procijenjenu potro�nju na�imregresijskim pravcem od y1 = 126:34. Stoga odstupanje regresijskog pravca

2Manipuliranje matricama olak�avaju matriµcno orijentirani raµcunalni paketi kao �to suMatlab ili Scilab

24

od stvarne vrijednosti (gre�ka) u Markovom sluµcaju je (y1 � y1) = e1 =�26:34. Ostale stvarne i procijenjene vrijednosti nisu prikazane na Slici 2.3nego ih moµzemo naci u Tablici 2.2.

Dohodak

Potrošnja

204=y

310=x

ii xy 49.054.53ˆ +=

54.53

1001 =y

1501 =x

34.1261 =y

0

34.261 −=e

450=px

04.274ˆ =py

Slika 2.3: Regresijski pravac uzorka

Na temelju ovog dobivenog pravca moµzemo odgovoriti na pitanja na kojenismo mogli odgovoriti na temelju samo dijagrama disperzije kao �to su:

� Koliko ce studenti povecati potro�nju ako im se dohodak poveca za100 kn? Prva derivacija potro�nje po dohotku dobivenog pravca jedydx = 0:49, �to znaµci da je graniµcna sklonost potro�nji reprezentativnogstudenta 0:49, �to nam govori da ce od dodatne dobivene kune potro�iti49 lipa, ili ako dobije dodatnih 100 kuna, 49 kuna ce potro�iti, a 51kunu u�tedjeti. Gra�µcki 0:49 predstavlja koe�cijent smjera (nagib)regresijskog pravca na Slici 2.3.

� Kolika je vjerojatnost potro�nje studenta koji ima 450 kn dohotka? Izna�eg pravca imamo

y450 = 53:54 + 0:49(450) = 274: 04;

iz µcega moµzemo prognozirati da student koji ima 450 kn dohotka trebaobi tro�iti 274:04 kn, kao �to se jasno vidi iz regresijskog pravca na Slici2.3.

25

� Kolika je autonomna (koja ne ovisi o dohotku) potro�nja studenata?Potro�nja, koja ne ovisi o dohotku, u na�em primjeru je 53:54 kn. Toje i minimalna potro�nja na�eg reprezentativnog studenta kada nemadohotka (x = 0; radi se o minimumu jer za dohodak vrijedi uvjet o ne-negativnosti). Gra�µcki, kao �to je prikazana na Slici 2.3, ta vrijednostoznaµcava odsjeµcak na ordinati regresijskog pravca.

2.2 Svojstva regresijskog pravca

Regresijski pravac dobiven metodom najmanjih kvadrata ima sljedeca svoj-stva:

1. Regresijski pravac prolazi kroz sredinu uzoraka (�x i �y) kao �tose jasno vidi na Slici 2.3. Ovo svojstvo proizlazi iz jednadµzbe 2.6 zaizraµcunavanje parametra b0. Naime, ako je

b0 = �y � b1�x (2.18)

tada vrijedi da je�y = b0 + b1�x (2.19)

�to nam govori da kada x poprima vrijednost svoje sredine �x procije-njena vrijednost y je �y: Drugim rijeµcima regresijski pravac prolazi kroztoµcku (�x; �y).

Primjer 2.2 Lako moµzemo provjeriti da za �x = 310

y310 = 53:54 + 0:49(310) = 204 (2.20)

y poprima vrijednost3 svoje sredine �y = 204, kao �to se vidi iz Tablice2.2.

2. Sredina stvarnog y jednaka je sredini procijenjenog y. Svojstvo�y = y proizlazi iz4

yi = b0 + b1xi

= (�y � b1�x) + b1xi= �y + b1 (xi � �x) : (2.21)

Zbrajanjem lijeve i desne strane jednadµzbe 2.21 dobijemoPyi = n�y + b1

P(xi � �x) : (2.22)

3Mala se gre�ka pojavljuje u ovome izraµcunu uslijed zaokruµzivanja na dvije decimale.4Napomena: ovo svojstvo vrijedi samo ako regresija ima konstantni µclan b0, jer bez

konstantnog µclana, kao �to se jasno vidi iz izvoda, ne moµze se izvesti jednadµzba 2.21.

26

Iz Svojstva B.4 operatora zbrajanja (vidi Dodatak B.1) znamo daP(xi � �x) = 0; �to 2.22 pretvara uP

yi = n�y: (2.23)

Ako lijevu i desnu stranu jednadµzbe 2.23 podijelimo s n; dobijemoPyin

=n�y

n

y = �y: (2.24)

Primjer 2.3 Iz Tablice 2.2 vidimo da je sredina stvarnog �y = 204jednaka sredini procijenjenog y = 204.

3. Suma odstupanja je nula5 (Pei = 0), �to se jasno vidi iz Tablice

2.2. Ovo svojstvo proizlazi iz uvjeta minimizacije kvadrata odstupanjapo b0 prikazanog u jednadµzbi 2.3

@

@b0

P(yi � b0 � b1xi)2 = �2

P(yi � b0 � b1xi) = �2

Pei = 0

(2.25)�to povlaµci

Pei = 0: Iz toga proizlazi da je i sredina odstupanja

�e =

Pein

= 0: (2.26)

4. Odstupanja ei i procijenjeni yi me�usobno su neovisni. Kova-rijancu izme�u ei i yi moµzemo izraziti

Cov (yi; ei) =1

n

nPi=1

�yi � y

�(ei � �e) (2.27)

Iz Svojstva 3. regresijskog pravca znamo da je �e = 0; stoga dabi izraz 2.27 bio nula (neovisnost izme�u ovih dviju varijabli) tadaP�

yi � y�ei mora biti jednak nuli, ili ako pi�emo u devijacijskoj for-

miPeyiei = 0: Regresijski pravac za dvije varijable u devijacijskoj

formi moµzemo pisati bez konstantnog µclanaeyi = b1~xi: (2.28)

Varijable u devijacijskoj formi imaju sredinu nula, stoga regresijskipravac prolazi kroz ishodi�te (vidi Svojstvo 1. regresijskog pravca),iz µcega proizlazi da je odsjeµcak na ordinati tog pravca jednak nuli, ilidrugim rijeµcima b0 = 0: Na temelju jednadµzbe 2.28 moµzemo pisatiPeyiei = b1

P~xiei

= b1P~xi (~y � b1~xi)

= b1P~xi~y � b21

P~x2i : (2.29)

5Napomena: ovo svojstvo ne vrijedi kada nemamo konstantnog µclana b0 u regresiji.

27

Na temelju jednadµzbe 2.5 moµzemo pisatiP~xi~y = b1

P~x2i (2.30)

�to 2.29 pretvara u Peyiei = b21P~x2i � b21

P~x2i

= 0: (2.31)

Na ovaj smo naµcin dokazali da ne postoji linearna veza izme�u odstu-panja i procijenjene zavisne varijable. U na�em primjeru iz Tablice 2.2lako se moµze provjeriti da vrijedi

P�yi � y

�ei = 0.

5. Odstupanja ei i xi me�usobno su neovisni, drugim rijeµcimaPxiei =

0. Ovaj zakljuµcak proizlazi iz uvjeta minimizacije kvadrata odstupanjapo b1 prikazanog u jednadµzbi 2.4

@

@b1

P(yi � b0 � b1xi)2 = �2

Pxi (yi � b0 � b1xi) = �2

Pxiei = 0

(2.32)�to povlaµci

Pxiei = 0. Ovo svojstvo regresijskog pravca, tako�er se

moµze lako provjeriti na primjeru iz Tablice 2.2.

2.3 Svojstva procjenitelja

Ako vrijede pretpostavke o regresijskoj funkciji populacije koje smonaveli na stranici 15 tada procjenitelji dobiveni metodom najmanjih kva-drata imaju odre�ena poµzeljna svojstva navedena uGauss-Markovljevomteoremu:

Gauss-Markovljev teorem: Ako vrijede pretpostavke kla-siµcnog linearnog regresijskog modela, procjenitelji dobiveni me-todom najmanjih kvadrata najbolji (naje�kasniji) su linearni ne-pristrani procjenitelji, tj. imaju minimalnu varijancu u klasi li-nearnih nepristranih procjenitelja.

1. Linearnost: znaµci da je procjenitelj linearna funkcija sluµcajne varija-ble jer se moµze napisati kao linearna kombinacija pojedinih opaµzanjay.

Primjer 2.4 Iz Tablice 2.2 moµzemo dobiti vektor b iz

b =�X0X

��1X0y

=

�3341

39164 � 85

164 � 23164

101164

� 21025 � 1

8200198200

98200 � 11

8200

�266664100250300210160

37777528

ili b0 moµzemo dobiti iz linearne kombinacije 3341100+

39164250�

85164300�

23164210 +

101164160 = 53: 537. Na sliµcan naµcin moµzemo dobiti vrijednost

b1 iz linearne kombinacije elemenata vektora y s drugim redom matrice(X0X)�1X0.

Stoga su procjenitelji dobiveni na taj naµcin, linearna kombinacija vri-jednosti zavisne varijable y pa ih zovemo linearnim procjeniteljima.

2. Nepristranost: znaµci da u ponovljenom uzorkovanju moµzemo oµce-kivati da je procjenitelj u prosjeku jednak stvarnom populacijskomprocjenitelju �, �to moµzemo pisati

E(b) = �: (2.33)

Na slici 2.4 moµzemo vidjeti dvije distribucije dobivene ponovljenim

E(b)=β

E(b)=β

Nepristrana Pristrana

β

E(b)≠β

Dis

tribu

cija

 frek

venc

ija

Slika 2.4: Nepristranost i pristranost procjenitelja

uzorkovanjem iz iste populacije.

Propozicija 2.1 Procjenitelj dobiven pomocu metode najmanjih kva-drata je nepristran, ili sredina distribucije bit ce E(b) = �.

29

Dokaz.

E (b) = Eh�X0X

��1X0y

i= E

h�X0X

��1X0 (X� + ")

i= E

h�X0X

��1 �X0X

��+

�X0X

��1X0"

i= E

hI�+

�X0X

��1X0"

i= � + E

h�X0X

��1X0"

i= �: (2.34)

Zadnji korak slijedi iz

Eh�X0X

��1X0"

i= E

h�X0X

��1X0iE ["] = 0 (2.35)

zato jer su X i " nezavisni i E ["] = 0.

Interesantno je primijetiti da u tom dokazu nismo koristili pretpostav-ke da nema autokorelacije i heteroskedastiµcnosti. To ukazuje da pro-cjenitelji dobiveni metodom najmanjih kvadrata i u sluµcaju postojanjaheteroskedastiµcnosti i autokorelacije reziduala su nepristranisve dok sluµcajna gre�ka ima sredinu nula i dok je neovisna od egzo-genih varijabli. Izraz (X0X)�1X0" iz jednadµzbe 2.34 moµzemo gledatikao regresija " na X. To ukazuje da ce procjenitelji biti nepristra-ni, i u sluµcaju da smo zanemarili unijeti u model neku nedostajucuvarijablu, sve dok je ta varijabla neovisna o ostalim X i ima sredinu0. Znaµci, pristranost procjenitelja, uslijed nedostajuce objasnidbenevarijable, imat cemo samo u sluµcaju ako je ona zavisna o drugim ne-zavisnim varijablama i ako ima sredinu razliµcitu od nule. Procjeniteljdobiven metodom najmanjih kvadrata normalno je distribuiranbuduci da je b linearna funkcija ", a " je normalno distribuiran6.

3. E�kasnost: znaµci da procjenitelj dobiven metodom najmanjih kva-drata ima minimalnu varijancu izme�u svih linearnih procjenitelja kojisu nepristrani. Na slici 2.5 prikazan je e�kasan i nee�kasan procjeni-telj. Vidimo da su oba procjenitelja nepristrana, me�utim, e�kasanima manje odstupanja (minimalno) oko sredine u odnosu na nee�kas-nog procjenitelja. Gauss-Markovljev teorem ne odnosi se na neline-arne procjenitelje. Nelinearni procjenitelj moµze biti nepristran iimati manju varijancu u odnosu na procjenitelja dobivenog metodomnajmanjih kvadrata.

4. Konzistentnost: prethodna svojstva procjenitelja odnose se na svoj-stva konaµcnih uzoraka. Kada se veliµcina uzorka beskonaµcno povecatada procjenitelji imaju odre�ena poµzeljna statistiµcka svojstva. Ta sesvojstva zovu svojstva velikih uzoraka ili asimptotska svojstva.Konzistentnost je jedno takvo poµzeljno svojstvo, koje ima procjeni-telj dobiven metodom najmanjih kvadrata. Kaµzemo da je procjeni-telj konzistentan kada procjenitelj b povecanjem uzorka konvergira

6Vidi o tome vi�e na stranici 42.

30

Dis

tribu

cija

 frek

venc

ija

E(b)=β

Efikasan

Neefikasan

Slika 2.5: E�kasan i nee�kasan procjenitelj

stvarnoj vrijednosti �. Drugim rijeµcima kada je uzorak jako velik,vjerojatnost da je b razliµcit od � veoma je mala ili formalno

limn!1

Pr fjb� �j > �g = 0 za sve � > 0 (2.36)

�to znaµci, asimptotski gledano, da je vjerojatnost da procjenitelj, do-biven metodom najmanjih kvadrata, odstupa vi�e od proizvoljne pozi-tivne vrijednosti � od stvarnog parametra jednaka nuli. U tom sluµcajukaµzemo da limes vjerojatnosti b je � i pi�emo

plim b = �: (2.37)

µCesto se ne moµze dokazati da je neki procjenitelj nepristran; moguce jeda u odre�enim nelinearnim i dinamiµckim modelima nepristran procje-nitelj uopce ne postoji. U tim sluµcajevima konzistentnost je minimalniuvjet, koji se postavlja pred procjenitelja, kako bi bio koristan. Sto-ga su ekonometriµcari µcesto vi�e zabrinuti konzistentno�cu procjeniteljanego li njihovom (ne)pristrano�cu.

31

Poglavlje 3

Pokazatelji kvalitete regresije

Nakon �to smo procijenili parametre modela postavlja se pitanje koliko do-bro tako dobiveni regresijski pravac pristaje opaµzanjima? Na slici 3.1 prika-

x x

y y

0 0

xy 8.020ˆ +=xy 8.020ˆ +=

a) b)

Slika 3.1: Pristajanje regresijskog pravca opaµzanjima

zana su dva istovjetna regresijska pravca uzorka izvuµcena iz dvije razliµcitepopulacije

y = 20 + 0:8x:

U sluµcaju 3.1a) toµcke (opaµzanja) se grupiraju vrlo blizu regresijskom pravcu,dok se u sluµcaju 3.1b) grupiraju daleko od regresijskog pravca. Jasno je dagore navedeni regresijski pravac bolje pristaje sluµcaju a) nego sluµcaju b).

32

3.1 Koe�cijent determinacije

Uobiµcajen pokazatelj pristajanja regresijskog pravca nekim opaµzanjima jekoe�cijent determinacije kojeg cemo oznaµciti sa R2. Koe�cijent deter-minacije pokazuje koliko je varijance uzorka y obja�njeno na�im modelomili matematiµcki koe�cijent determinacije moµzemo de�nirati kao

R2 =Var (y)Var (y)

=1n�1

Pni=i (yi � �y)

2

1n�1

Pni=i (yi � �y)

2 =

Pni=i (yi � �y)

2Pni=i (yi � �y)

2 (3.1)

gdje 1n�1

Pni=i (yi � �y)

2 pokazuje "obja�njenu" varijancu y regresijskim prav-

cem a 1n�1

Pni=i (yi � �y)

2 "ukupnu" varijancu y. Drugim rijeµcima, nakonskracivanja, koe�cijent determinacije regresijskog modela prikazuje dio ukup-ne varijance y koju smo objasnili regresijskim modelom.

Na slici 3.2 prikazano1 je za odre�enu vrijednost xi:

� ukupno odstupanje y od njegove sredine (yi � �y)

� regresijskim pravcem obja�njeno odstupanje y; (yi � �y)

� regresijskim pravcem neobja�njeno odstupanje y; (yi � y) kojegsmo do sada oznaµcavali kao rezidual ei.

Propozicija 3.1 Kada je u modelu, dobiven metodom najmanjih kva-drata, prisutan konstantni µclan b0 za yi = yi + ei vrijedi

Var (yi) = Var (yi) +Var (ei) :

Dokaz. Stvarnu vrijednost yi moµzemo izraµcunati na temelju zbroja proci-jenjene vrijednosti yi i sluµcajnog odstupanja ei

yi = yi + ei: (3.2)

Jednadµzbu 3.2 moµzemo pisati u devijacijskoj formi

(yi � �y) =�yi � y

�+ (ei � �e) (3.3)

Iz Svojstva 3. regresijskog pravca, iz jednadµzbe 2.26 znamo da vrijedi

�e = 0

1Napomena: pogre�no bi bilo iz ove slike zakljuµciti da je ukupno odstupanje jednakozbroju obja�njenog odstupanja i neobja�njenog odstupanja. Na slici je stvarna vrijednostpostavljena tako da se mogu zornije prikazati te veliµcine, ali uoµcljivo je da kada bi se toµckakoja prikazuje stvarnu vrijednost y nalazila, recimo, izme�u regresijskog pravca i sredine�y da bi ukupno odstupanje bilo manje od obja�njenog odstupanja.

33

y

0

ii xbby 10ˆ +=

x

y

xi

yi

( )yyi −( )ii yy ˆ−

( )yyi −ˆ

Slika 3.2: Ukupno, obja�njeno i neobja�njeno odstupanje y od svoje sredine.

a iz Svojstva 2. regresijskog pravca, jednadµzba 2.24 znamo da vrijedi2

y = �y

Na temelju navedenih svojstava 3.3 moµzemo pisati

(yi � �y) = (yi � �y) + ei:

Ako pre�emo operatorom sume i kvadriramo obje strane jednadµzbe dobijemo

nXi=1

(yi � �y)2 =nXi=1

(yi � �y)2 + 2nXi=1

(yi � �y) ei +nXi=1

e2i : (3.4)

IzraznXi=1

(yi � �y) ei

predstavlja kovarijancu izme�u procijenjenog y i reziduala, �to iz Svojstva4. regresijskog pravca, jednadµzba 2.31 znamo da je 0. Stoga 3.4 moµzemopisati

nXi=1

(yi � �y)2 =nXi=1

(yi � �y)2 +nXi=1

e2i (3.5)

2Napomena: Svojstva 2. i 3. regresijskog pravca dobivena metodom najmanjih kva-drata ne vrijede kada u modelu nije prisutan konstantni µclan b0:Vidi izvod tih Svojstavana stranici 27.

34

i kada podijelimo s (n� 1) dobijemoPni=1 (yi � �y)

2

n� 1 =

Pni=1 (yi � �y)

2

n� 1 +

Pni=1 e

2i

n� 1

iliVar (yi) = Var (yi) +Var (ei)

µcime smo dokazali Propoziciju 3.1.Koristeci se ovim svojstvom koe�cijent determinacije moµzemo izvesti ta-

ko da podijelimo cijelu jednadµzbu s Var(yi) te nakon skracivanja za (n� 1)dobijemo

1 =

Pni=1 (yi � �y)

2Pni=1 (yi � �y)

2 +

Pni=1 e

2iPn

i=1 (yi � �y)2 = R

2 +

Pni=1 e

2iPn

i=1 (yi � �y)2 (3.6)

iz µcega slijedi da je koe�cijent deteminacije R2 jednak

R2 = 1�Pni=1 e

2iPn

i=1 (yi � �y)2 : (3.7)

Iz 3.7 vidimo da su vrijednosti koje R2 moµze poprimiti izme�u 0 i 1.Jedino ako su sva odstupanja od regresijskog pravca jednaka nuli ei = 0tada je R2 = 1. U tom sluµcaju sva opaµzanja leµze na regresijskom pravcui govorimo o deterministiµckom, a ne vi�e o stohastiµckom modelu. Ako jeR2 = 0 to znaµci da model ne obja�njava kretanje y ni�ta bolje od sredineuzorka �y. Stoga moµzemo na R2 gledati kao na pokazatelj koliko regresijskimodel bolje opisuje kretanje zavisne varijable u odnosu na trivijalni modelkoji sadrµzava samo konstantni µclan.

Buduci da R2 mjeri obja�njenu varijaciju varijable y , on je osjetljiv nade�niciju te varijable. Na primjer objasniti potro�nju studenata u na�emprimjeru razliµcito je od obja�njenja kretanja logaritma potro�nje studenata,stoga niti koe�cijenti determinacije iz modela, koji imaju kao zavisnu varija-blu potro�nju, nisu usporedivi s koe�cijentima deteminacije koji imaju zavis-nu varijablu ln(potro�nja): Da bi koe�cijenti determinacije bili usporediviizme�u razliµcitih modela, ti modeli moraju imati istu zavisnu varijablu.

Buduci da koe�cijent determinacije nema u svojem temelju odre�enuhipotezu koju testiramo, vec pokazuje nam samo odnos obja�njene i ukupnevarijance y, nemamo graniµcne vrijednosti na temelju kojih moµzemo zakljuµcitije li neka pojava dovoljno dobro obja�njena na�im modelom. �to je veciR2, znaµci da smo veci dio pojave objasnili, ali te�ko je odrediti i �to jeto "veliki" koe�cijent determinacije. Vrijednost R2 = 0:5 moµze biti niskau sluµcajevima kada analiziramo vremenske nizove, dok u sluµcaju analizevremenskih presjeka moµze biti zadovoljavajuce visoka, buduci da je lak�eobjasniti agregatnu potro�nju zemlje kroz vrijeme (vremenski niz) u odnosuna potro�nju pojedinih kucanstava u zemlji (vremenski presjek).

35

Primjer 3.1 Na temelju podataka iz Tablice 2.2 moµzemo izraµcunati koe�-cijent determinacije

R2 =

Pni=i (yi � �y)

2Pni=i (yi � �y)

2 =19317:56

24120:00= 0:800 89:

Buduci da su jednadµzbe 3.1 i 3.7 istovjetne za model procijenjen pomo-cu metode najmanjih kvadrata s konstantnim µclanom, R2 moµzemo dobiti ipomocu

R2 = 1�Pni=1 e

2iPn

i=1 (yi � �y)2 = 1�

4802:44

24120:00= 0:800 89:

Ovaj nam koe�cijent determinacije govori da smo 80% varijacije potro�-nje studenata uspjeli objasniti pomocu kretanja njihovog raspoloµzivog dohot-ka.

Koe�cijenta determinacije, kao �to je de�niran u 3.7 prate tri problema:

1. Ne vrijedi za regresijske modele koji su izraµcunati metodom najma-njih kvadrata bez konstantnog µclana b0: Jednadµzbu 3.7 dobili smo izpretpostavki

�e = 0 , y = �y (3.8)

koje ne vrijede kada nemamo konstantni µclan u modelu3. U tom slu-µcaju dobiveni koe�cijent determinacije iz 3.7 nije isti koe�cijentu de-terminacije iz 3.1. Kada nemamo konstantni µclan u modelu koristimotzv. necentriranim koe�cijentom determinacije koji glasi

necentrirani R2 =

Pni=1 y

2iPn

i=1 y2i

= 1�Pni=1 e

2iPn

i=1 y2i

: (3.9)

Ovaj se pokazatelj zove necentrirani jer varijable nisu centrirane okosredine ili nisu u devijacijskoj formi kao u sluµcaju obiµcnog koe�cijentadeterminacije iz 3.1 koji stavlja u odnos centrirane varijable oko svojihsredina, pa se stoga µcesto zove i centrirani koe�cijent determina-cije. Za raµcunanje necentriranog koe�cijenta determinacije, buducida ne koristi devijacijske forme, nije potrebno zadovoljavati svojstvaiz 3.8.

Primjer 3.2 Ako za procjenu potro�nje studenata iz Tablice 2.1 ko-ristimo model bez konstantnog µclana b0

yi = b1xi + ei

3Vidi Svojstvo 2 i 3 regresijskog pravca na stranici 27.

36

centrirani R2 izraµcunat pomocu jednadµzbe 3.1 je

R2 =

Pni=i (yi � �y)

2Pni=i (yi � �y)

2 =33149:51

24120:00= 1: 374 4

dok izraµcunat pomocu 3.7 je

R2 = 1�Pni=1 e

2iPn

i=1 (yi � �y)2 = 1�

6891:56

24120:00= 0:714 28:

Necentrirani R2 je

necentrirani R2 =

Pni=1 y

2iPn

i=1 y2i

=225308:44

232200:00= 0:970 32

îli alternativno

necentrirani R2 = 1�Pni=1 e

2iPn

i=1 y2i

= 1� 6891:56

232200:00= 0:970 32:

Iz gonjeg primjera vidimo da su centrirani R2; izraµcunati na temelju3.1 i 3.7, razliµcitiPn

i=i (yi � �y)2Pn

i=i (yi � �y)2 6= 1�

Pni=1 e

2iPn

i=1 (yi � �y)2

i da je R2; izraµcunat na temelju 3.1 veci od 1, �to ukazuje da u tomsluµcaju ne vrijedi Var(yi) =Var(yi)+Var(ei). Jasno je da je tako iz-raµcunat R2 pogre�no izraµcunat jer nisu zadovoljene pretpostavke iz3.8. S druge strane iz primjera 3.2 proizlazi da je necentrirani koe�-cijent determinacije ekvivalentan i kada nemamo konstantnog µclana umodelu. Odnosno, i dalje vrijediPn

i=1 y2iPn

i=1 y2i

= 1�Pni=1 e

2iPn

i=1 y2i

:

2. Ne vrijedi za regresijske modele koji nisu izraµcunati pomocu metodenajmanjih kvadrata (OLS). Buduci da smo koe�cijent determinacijeizraµcunali na temelju Svojstava regresijskog pravca, izvedenog pomocumetode najmanjih kvadrata, tada, ako koristimo metodu najmanjihkvadrata, imat cemo jednakost izme�u 3.1 i 3.7, no ako je regresijskipravac izraµcunat pomocu neke druge metode tada ta jednakost vi�ene vrijedi, stoga i tako izraµcunat R2 ne vrijedi. Postoji alternativninaµcin raµcunanja koe�cijenta determinacije R2; koji u sluµcaju metodenajmanjih kvadrata ostaje isti kao u 3.1 i 3.7, a za ostale metode

37

(ne OLS) procjenjivanja regresijskog pravca krece se uvijek izme�uvrijednosti 0 i 1. Taj koe�cijent determinacije moµzemo izraµcunati kao

R2 = corr2 (yi; yi) =

Pni=1 (yi � �y)

�yi � y

�(Pni=1 (yi � �y))

�Pni=1

�yi � y

��!2 ; (3.10)

tj. izraµcunavamo ga na temelju kvadriranog koe�cijenta korelacije iz-me�u stvarnih y i procijenjenih y. Ovako de�niran R2 govori koliko sedobro mogu varijacije u y objasniti varijacijama u y; ili pokazuje jaµci-nu linearne veze izme�u ovih dviju varijabli. Buduci da se koe�cijentkorelacije uobiµcajeno oznaµcava s r, zato se koe�cijent determinacije oz-naµcava s R2 da bi se naglasilo da je koe�cijent determinacije kvadratkoe�cijenta korelacije.

Primjer 3.3 Na temelju podataka iz Tablice 2.2 imamo

R2 = corr2 (yi; yi) = 0:89492 = 0:800 85:

Iz gornjeg primjera proizlazi da je tako izraµcunat koe�cijent determi-nacije istovjetan koe�cijentima deteminacije koje smo izraµcunali natemelju 3.1 i 3.7. Interesantno je primijetiti da u sluµcaju samo jednenezavisne varijable, kao u gornjem primjeru, buduci da je procije-njeni y linearna kombinacija samo x, moµzemo dobiti isti koe�cijentdeterminacije ako kvadriramo koe�cijent korelacije izme�u x i y; �tose jasno vidi u sljedecem primjeru.

Primjer 3.4

R2 = corr2 (yi; xi) = 0:89492 = 0:800 85:

3. R2 nikada ne opada s povecanjem broja nezavisnih varijabli i kada do-datne varijable ne obja�njavaju kretanje zavisne varijable. Uobiµcajeninaµcin rje�avanja tog problema je ukljuµcivanje u izraµcun koe�cijentadeterminacije stupnjeve slobode, �to nam daje tzv. korigirani R2

kojeg oznaµcavamo s

�R2 = 1�1

(n�k)Pni=1 e

2i

1(n�1)

Pni=1 (yi � �y)

2 : (3.11)

Var(yi) je neovisna od broja nezavisnih varijabli x, dokPni=1 e

2i ovisi

o broju nezavisnih varijabli x, jer �to je veci broj x-ova, smanjit ce sePni=1 e

2i . Da bi se efekt smanjenja sume kvadrata reziduala pri uklju-

µcivanju novih varijabli "kaznio", suma kvadrata reziduala dijeli se sa

38

stupnjevima slobode (n� k). U tom se sluµcaju koe�cijent determina-cije ne povecava automatski s povecanjem broja regresora, vec ovisio tome je li nova varijabla vi�e doprinijela smanjenju

Pni=1 e

2i svojim

ulaskom u model ili vi�e �tetila smanjenjem stupnjeva slobode (n� k).Korigirani R2 je uvijek manji od nekorigiranog R2, osim u sluµcaju ka-da model ukljuµcuje samo konstantni µclan pa su oba jednaka nuli. Uekstremnim sluµcajevima korigirani R2 moµze biti negativan.

Primjer 3.5 Na temelju podataka iz Tablice 2.2 korigirani koe�cijentdeterminacije bit ce

�R2 = 1� 1= (n� k)Pni=1 e

2i

1= (n� 1)Pni=1 (yi � �y)

2 = 1�1= (5� 2) 4802:441= (5� 1) 24120:00 = 0:734 53:

3.2 Znaµcajnost procjenitelja

3.2.1 Standardna gre�ka procjenitelja

Na temelju jednadµzbe 2.13 procijenili smo vrijednosti parametara populacije� na temelju jednog uzorka iz te populacije. Buduci da se podaci mijenjajuu ovisnosti o uzorku kojeg vuµcemo iz neke populacije, mijenjaju se i pa-rametri uzorka b kojima procjenjujemo parametre populacije �. Postavljase stoga pitanje koliko bi me�usobno odstupali parametri razliµcitih uzorakas istim brojem opaµzanja koje vuµcemo iz iste populacije, ili koliko moµzemobiti sigurni da dobiveni parametri na temelju nekog uzorka precizno opisuju"nevidljive" parametre populacije? Zato �to ne znamo stvarne vrijednos-ti populacije, zakljuµcke o odstupanjima u populaciji donosimo na temeljuodstupanja u uzorku. Ako uzorak ima velika odstupanja oko regresijskefunkcije, kao na Slici 3.1b); zakljuµcujemo da je taj uzorak izvuµcen iz nekepopulacije koja tako�er ima velika odstupanja. Ako su odstupanja velika,tada se iz populacije mogao izvuci jedan drugi uzorak koji ima bitno razliµci-te vrijednosti parametara regresijske funkcije uzorka u odnosu na na�prvoizvuµceni uzorak. U tom sluµcaju dobiveni parametri iz jednadµzbe 2.13 nisupouzdani za opisivanje parametara populacije, ili drugim rijeµcima: ne mo-µzemo biti sigurni da parametri dobiveni iz uzorka precizno opisuju stvarne"nevidljive" parametre populacije. S druge strane ako su odstupanja okoregresijske funkcije uzorka mala, kao na Slici 3.1a), tada pretpostavljamo daje taj uzorak izvuµcen iz neke populacije koja ima mala odstupanja, i da biparametri, koje bismo dobili iz ostalih uzoraka iste veliµcine, izvuµceni iz istepopulacije, bili vrlo sliµcni parametrima regresijskog pravca iz prvog uzorka.

Preciznost (pouzdanost) procjenitelja mjerimo standardnom devija-cijom, koju zovemo i standardnom gre�kom procjenitelja i raµcunamoje na temelju varijance procjenitelja. Varijancu procjenitelja moµzemoizraziti

Var (b) = E�(b� E [b]) (b� E [b])0

�: (3.12)

39

Na temelju svojstva nepristranosti procjenitelja dobivenih metodom najma-njih kvadrata imamo

E [b] = � (3.13)

�to 3.12 pretvara u

Var (b) = E�(b� �) (b� �)0

�=

26664E [b1 � �1]2 E [(b1 � �1) (b2 � �2)] � � � E [(b1 � �1) (bk � �k)]

E [(b2 � �2) (b1 � �1)] E [b2 � �2]2 � � � E [(b2 � �2) (bk � �k)]...

.... . .

...E [(bk � �k) (b0 � �0)] E [(bk � �k) (b2 � �2)] � � � E [bk � �k]2

37775(3.14)

�to moµzemo pisati

Var (b) =

26664Var (b1) Cov (b1; b2) � � � Cov (b1; bk)Cov (b2; b1) Var (b2) � � � Cov (b2; bk)

......

. . ....

Cov (bk; b1) Cov (bk; b2) � � � Var (bk)

37775 : (3.15)

Vidimo da je matrica Var(b) simetriµcna matrica s varijancama parameta-ra na glavnoj dijagonali i kovarijancama izme�u parametara na pozicijamaizvan glavne dijagonale.

Iz jednadµzbe 2.13 znamo da

b =�X0X

��1X0y =

�X0X

��1X0 (X� + ")

=�X0X

��1 �X0X

�� +

�X0X

��1X0"

= I� +�X0X

��1X0"

� +�X0X

��1X0" (3.16)

iz µcega imamo(b� �) =

�X0X

��1X0": (3.17)

Vrijednosti matrice Var(b) moµzemo stoga izraµcunati na temelju

Var (b) = E�(b� �) (b� �)0

�= E

h�X0X

��1X0""

0X�X0X

��1i=

�X0X

��1X0��2In

�X�X0X

��1= �2

�X0X

��1 �X0X

� �X0X

��1= �2

�X0X

��1: (3.18)

40

Iz 3.18 poznata nam je vrijednost matrice (X0X)�1. Me�utim skalar �2

predstavlja varijancu regresijskog modela populacije koja nam je ne-poznata. Moµzemo je procijeniti pomocu nepristranog procjenitelja va-rijance populacije izraµcunatog iz odstupanja uzorka4

s2 =e0e

n� k (3.19)

�to 3.18 pretvara u

Var (b) =e0e

n� k�X0X

��1: (3.20)

Standardne devijacije (gre�ke) procjenitelja moµzemo izraµcunati tako da ko-rjenujemo varijance ili

sd (b) =pVar (b)

=

re0e

n� k (X0X)�1 : (3.21)

Iz jednadµzbe 3.18 vidimo da �to je veca varijanca modela populacije�2 (veca raspr�enost oko regresijske funkcije populacije) da je veca i vari-janca procjenitelja Var(b). Znaµci, ako imamo vrlo raspr�enu populaciju okoregresijske funkcije populacije tada i regresijske funkcije uzoraka, koje suizvedene iz te populacije, mogu se me�usobno jako razlikovati. U sluµcajuda imamo malu raspr�enost populacije oko regresijske funkcije populacijetada ce uzorci izvedeni iz te populacije davati sliµcne vrijednosti parametararegresijskih funkcija uzoraka.

Buduci da ne znamo �2, nju smo procijenili iz varijance uzorka s2 (jed-nadµzba 3.19), pretpostavljajuci da ako uzorak ima velika odstupanja okoregresijske funkcije uzorka da i populacija iz koje je taj uzorak izvuµcen imavelika odstupanja oko regresijske funkcije populacije.

Primjer 3.6 Na temelju jednadµzbe 3.21 moµzemo izraµcunati Var(b) za pa-rametre iz primjera 2.1 na sljedeci naµcin:

Var (b) =4802:44

5� 2

�5 1550

1550 562 500

��1=

4802:44

3

�225164 � 31

8200� 318200

182 000

�=

�2196: 2 �6: 051 9�6: 051 9 0:01 952 2

�:

Vidimo da je Var(b0) = 2196:2, Var(b1) = 0:019522, te kovarijanca Cov(b0; b1) =�6:0519. Standardna devijacija procjenitelja bit ce

sd (b0) =pVar (b0) =

p2196:2 = 46: 864

sd (b1) =pVar (b1) =

p0:019522 = 0:139 72:

4Dokaz da se radi o nepristranom procijenitelju varijance populacije moµze se naci u [3],str. 48-49. ili [5], str. 30-31.

41

Do sada nismo imali nikakvu pretpostavku vezanu za oblik distribuci-je odstupanja "i, osim �to smo pretpostavili da su me�usobno nekorelirani,neovisni o X, da imaju sredinu nula i konstantnu varijancu. Me�utim da bise moglo statistiµcki zakljuµcivati i testirati hipoteze moramo eksplicitno de-�nirati pretpostavku o distribuciji odstupanja. Uobiµcajena je pretpostavkada su odstupanja "i normalno distribuirana, tj.

" �N�0; �2In

�: (3.22)

Drugim rijeµcima, vektor " normalno je distribuiran sa sredinom nula i skovarijanµcnom matricom �2In. Iz jednadµzbe 3.16 vidimo da su procjeniteljib linearna funkcija vektora odstupanja " iz µcega slijedi da su procjeniteljidobiveni metodom najmanjih kvadrata tako�er normalno distribuirani sasredinama � i kovarijanµcnom matricom �2(X0X)�1 tj.

b �N��;�2

�X0X

��1� (3.23)

iz µcega slijedi da je svaki element vektora b normalno distribuiran ili

bk � N��k; �

2�X0X

��1kk

�(3.24)

gdje (k; k) predstavlja element na glavnoj dijagonali matrice (X0X)�1 :

3.2.2 Testiranje hipoteza nad procjeniteljima

Pri statistiµckom testiranju hipoteza moµzemo uµciniti dvije vrste gre�ke: mo-µzemo odbaciti hipotezu koja je istinita ili moµzemo ne odbaciti hipotezu kojaje kriva. Odbacivanje istinite hipoteze u statistici se zove gre�ka I. tipa,dok se neodbacivanje krive hipoteze zove gre�ka II. tipa. Vjerojatnost nas-tanka gre�ke I. tipa neposredno kontrolira istraµzivaµc proizvoljnim odabiromrazine znaµcajnosti koja se u statistici oznaµcava s �: Uobiµcajeno je testi-rati na razini znaµcajnosti od 5%, tj. s "ugra�enom" vjerojatno�cu gre�ke I.tipa od 5%. Postavlja se pitanje za�to dodatno ne smanjiti tu vjerojatnostgre�ke, pa testirati na razini znaµcajnosti od 1% ili manje? Naµzalost na timrazinama znaµcajnosti dodatno smanjenje vjerojatnosti gre�ke I. tipa dras-tiµcno povecava vjerojatnost da se uµcini gre�ka II. tipa (koja se u statisticiuobiµcajeno oznaµcava sa �), tj. da se ne odbaci hipoteza koja je kriva. Vje-rojatnost da se ne uµcini gre�ka II. tipa zove se snaga testa (1��); odnosnosnaga testa pokazuje sposobnost testa da odbaci krivu hipotezu.

Ekonometrijski paketi pri testiranju razliµcitih hipoteza izraµcunavaju tzv.p vrijednost (p iz eng. probability) ili toµcnu razinu znaµcajnosti testakoja prikazuje najmanju razinu znaµcajnosti pri kojoj moµzemo odbaciti H0:Ako je p vrijednost manja od razine znaµcajnosti �; moµzemo odbaciti H0.Ona, tako�er, pokazuje osjetljivost odluke o odbacivanju nul hipoteze uodnosu na razinu znaµcajnosti. Tako npr. vrijednost p = 0:07 ukazuje da

42

moµzemo odbaciti nul hipotezu na razini znaµcajnosti od 10%, ali ne i narazini znaµcajnosti od 5%. Kada moµzemo odbaciti H0, kaµzemo da su rezultatistatistiµcki znaµcajni, a kada ne moµzemo odbaciti H0, kaµzemo da rezultatinisu statistiµcki znaµcajni.

Za testiranje hipoteza o parametrima (procjeniteljima) modela koristitcemo dva testa: t-test za testiranje zasebnih hipoteza i F-test za testiranjezajedniµckih hipoteza.

t-test

Iz jednadµzbe 3.24 slijedi da varijabla

z =bk � �k�

�2(X0X)�1kk

�1=2 (3.25)

ima standardnu normalnu distribuciju, tj. sredinu nula i varijancu 1. Bu-duci da nam nije poznata varijanca populacije �2, zamijenit cemo je pro-cijenjenom nepristranom varijancom na temelju uzorka iz jednadµzbe 3.19,s2 = 1

n�kPe2i : Buduci da su reziduali uzorka ei normalno distribuirani, nji-

hova suma kvadrataPe2i ima �

2 distribuciju5. Od tuda sluµcajna varijabla

tk =bk � �k�

s2(X0X)�1kk

�1=2 (3.26)

predstavlja odnos standardizirane normalne varijable i drugog korijena va-rijable s �2 distribucijom. Buduci da su ove dvije varijable i me�usobnonezavisne, tada sluµcajna varijabla tk ima Studentovu t distribuciju s (n� k)stupnjeva slobode6. Studentova distribucija sliµcna je normalnoj distribuci-ji. Ima ne�to deblje krakove u odnosu na normalnu distribuciju kada imamomali broj stupnjeva slobode, no povecanjem broja stupnjeva slobode postajusliµcnije i za dovoljan velik broj stupnjeva slobode postaju identiµcne.

Slijedom gore reµcenog moµzemo konstruirati t-test kojim moµzemo testiratihipoteze o parametru populacije �k pomocu

tk =bk � ��ksd (bk)

(3.27)

koji ima t distribuciju s (n� k) stupnjeva slobode. Vidimo da su nam u 3.27poznate sve veliµcine: parametar uzorka bk, standardna gre�ka parametrauzorka sd(bk) i vrijednost parametra populacije koju proizvoljno testiramo��k:

5Vidi Dodatak C.1, teorem C.3.6Vidi Dodatak C.1, teorem C.5.

43

Dvostrani t-test Na temelju jednadµzbe 3.27 moµzemo testirati hipotezuda �k poprima vrijednost �

�k, tj. H0 : �k = ��k nasuprot alternativnoj

hipotezi H1 : �k 6= ��k. Velika razlika u vrijednostima parametara uzorka bk;kojeg smo procijenili pomocu metode najmanjih kvadrata i testne veliµcine ��kpodrazumijeva malu vjerojatnost da su te dvije veliµcine iste. U tom sluµcajumoµzemo lak�e odbaciti H0. Nadalje iz brojnika jednadµzbe 3.27 moµzemouoµciti da se povecanjem razlike izme�u bk i ��k testna statistika tk povecavau apsolutnoj vrijednosti. Stoga moµzemo lako zakljuµciti kako veca vrijednostjtkj implicira lak�e odbacivanje H0.

Interesantno je dalje primijetiti da povecanje veliµcine uzorka smanjujestandardnu gre�ku procjenitelja. Buduci da se standardna gre�ka procjeni-telja nalazi u nazivniku jednadµzbe 3.27 to povecava t vrijednost. Veca t vri-jednost podrazumijeva lak�e odbacivanje H0 �to kod velikih uzoraka znatnosmanjuje vjerojatnost gre�ke II. tipa. Kako bi kompenzirali taj efekt, istra-µzivaµci uobiµcajeno smanjuju vjerojatnost gre�ke I. tipa tako �to smanje razinuznaµcajnosti � njihovih testova. To obja�njava za�to je kod velikih uzorakaopravdano birati razinu znaµcajnosti od 1%, umjesto uobiµcajenih 5%, a kodvrlo malih uzoraka razinu znaµcajnosti od 10%.

Buduci da alternativna hipoteza H1 : �k 6= ��k dozvoljava vrijednostikoje su vece ali i manje od ��k, tada se takav test zove dvostrani test(testira se na oba kraka distribucije) µcije se kritiµcne vrijednosti t�=2;(n�k)de�niraju kao vjerojatnost

Pr�jtkj > t�=2;(n�k)

= �: (3.28)

Odbacujemo H0 ako je apsolutna vrijednost jtkj veca od kritiµcne vri-jednosti t�=2;(n�k) gdje � oznaµcava razinu znaµcajnosti a (n� k) stupnjeveslobode.

Primjer 3.7 Pretpostavimo da µzelimo testirati, s razinom znaµcajnosti od5%; hipotezu da je graniµcna sklonost potro�nji studenata, iz Tablice 2.1,0:6:Na temelju parametra kojeg smo izraµcunali u primjeru 2.1 i standardnedevijacije koju smo izraµcunali u primjeru 3.6 moµzemo testirati H0 : �1 = 0:6nasuprot alternativnoj hipotezi H1 : �1 6= 0:6 pomocu t-testa na sljedecinaµcin:

t1 =b1 � ��1sd (b1)

=0:485� 0:60:1397

= �0:823:

U tablici Studentove distribucije vjerojatnosti E.2, prikazanoj u Dodatku,moµzemo naci kritiµcnu vrijednost t0:025;3 = 3:1824: Buduci da je u na�emprimjeru jt1j < t�=2;(n�k), tj. 0:823 < 3:1824 zakljuµcujemo da ne moµzemoodbaciti nul hipotezu H0 = 0:6 :

Umjesto tablice Studentove distribucije mogli smo koristiti toµcnu razi-nu znaµcajnosti testa (p vrijednost) za dvostranu t distribuciju, s 3 stupnja

44

slobode i testnom veliµcinom od �0:823, koju uobiµcajeno izraµcunavaju ekono-metrijski paketi. U na�em primjeru ona iznosi p = 0:4707, �to nam govorida ne moµzemo odbaciti nul hipotezu jer vjerojatnost da smo uµcinili gre�kuako odbacimo H0 = 0:6 je 47:07%; mnogo veca od razine znaµcajnosti od 5%na kojoj testiramo. Buduci da imamo vrlo mali uzorak (n = 5) opravdanobi bilo testirati na razini znaµcajnosti od 10%. Ali na temelju p vrijednostiod 47:07% odmah moµzemo zakljuµciti da i na razini od 10% ne moµzemo od-baciti nul hipotezu. Lako se moµze uoµciti da p vrijednost pokazuje "graniµcnu"razinu znaµcajnosti testa, ili najmanju razinu znaµcajnosti pri kojoj se moµzeodbaciti nul hipoteza (u na�em primjeru nul hipotezu moµzemo odbaciti tek zarazine znaµcajnosti � � 47:07%). Statistiµcko zakljuµcivanje na temelju p vri-jednosti identiµcno je zakljuµcivanju na temelju tablice Studentove distribucijevjerojatnosti.

U prethodnom primjeru 3.7 vidjeli smo da rezultati testiranja nisu bi-li statistiµcki znaµcajni, ili da nismo mogli odbaciti H0 = 0:6, �to ne znaµcida automatski prihvacamo vrijednost testiranog parametra �1 = 0:6 kaoistinitu. U na�em smo primjeru mogli testirati cijeli skup razliµcitih hipote-za koje ne moµzemo odbaciti na razini znaµcajnosti od 5%, kao �to su npr.H0 : �1 = 0:5; H0 : �1 = 0:3; H0 : �1 = 0:75: Bilo bi neozbiljno tvrditi da susve te hipoteze istovremeno istinite, ili da ih sve istovremeno prihvacamo.Stoga je jedini prikladni zakljuµcak da se gore navedene hipoteze ne moguodbaciti. Drugim rijeµcima hipoteze u klasiµcnoj statistici ne prihvacaju se,vec se odbacuju ili ne odbacuju.

Ekonometrijski paketi uobiµcajeno automatski prikazuju, pokraj vrijed-nosti parametara i njihovih standardnih devijacija, t vrijednosti kojima setestira hipoteza H0 : �k = 0, nasuprot hipotezi H0 : �k 6= 0. Buduci da je utom sluµcaju ��k = 0; t-test jednadµzbe 3.27 pretvara se u

tk =bk � ��ksd (bk)

=bk � 0sd (bk)

=bk

sd (bk); (3.29)

kojeg uobiµcajeno zovemo t-omjer. Ako je procijenjeni parametar znaµcajnorazliµcit od 0; tada moµzemo reci da varijabla xk, koja se veµze za taj parametar,ima znaµcajan utjecaj na zavisnu varijablu y: Drugim rijeµcima, ako moµzemoodbaciti H0 : �k = 0, tada kaµzemo da je utjecaj varijable xk na y znaµcajan.

Primjer 3.8 Je li utjecaj raspoloµzivog dohotka na potro�nju studenata izTablice 2.1 znaµcajan, moµzemo testirati pomocu

t1 =b1

sd (b1)=0:485

0:1397= 3: 472:

Toµcna razina znaµcajnost testa iznosi p = 0:04; na temelju koje moµzemo saznaµcajno�cu od 5 i 10% odbaciti H0 : �1 = 0: S druge strane, ako odabe-remo razinu testiranja od 1% znaµcajnosti, tada ne moµzemo odbaciti tu istu

45

nul hipotezu. Moµzemo stoga zakljuµciti da je utjecaj raspoloµzivog dohotka napotro�nju studenata statistiµcki znaµcajan ako testiramo sa znaµcajno�cu od 5 i10%, no ako testiramo sa znaµcajno�cu od 1%, ne moµzemo odbaciti hipotezuda raspoloµziv dohodak studenata ne utjeµce na njihovu potro�nju.

Jednostrani t test Ponekad moramo testirati hipoteze nad parametri-ma koje imaju jednostranu alternativnu hipotezu. Ako testiramo hipotezuH0 : �k � ��k, vidimo da ce alternativna hipoteza H1 : �k > ��k biti jednos-trana buduci da uzima u obzir samo vrijednosti koje su vece od �k. Akorazmotrimo jednadµzbu 3.27 vidimo da velika pozitivna razlika brojnika vo-di ka velikoj pozitivnoj tk vrijednosti (standardna gre�ka procjenitelja kojase nalazi u nazivniku izraza uvijek je pozitivna), a velika negativna razlikabrojnika vodi ka velikoj negativnoj vrijednosti tk. Velika pozitivna razli-ka vodi ka odbacivanju H0, dok je velika negativna razlika u skladu s nulhipotezom H0 : �k � ��k i ne vodi ka njezinom odbacivanju. Analogno,mogli smo konstruirati hipotezu H0 : �k � ��k, sa H1 : �k < ��k: Kritiµcnuvrijednost za jednostrani test moµzemo stoga izraziti kao

Pr�tk > t�;(n�k)

= � (3.30)

za H0 : �k � ��k nasuprot H1 : �k > ��k te

Pr�tk < �t�;(n�k)

= � (3.31)

za H0 : �k � ��k nasuprot H1 : �k < ��k:

Primjer 3.9 Pretpostavimo da µzelimo testirati, s razinom znaµcajnosti od5%, hipotezu da je graniµcna sklonost studenata iz Tablice 2.1 jednaka iliveca od 0:6, ili H0 : �1 � 0:6, nasuprot hipotezi H0 : �1 < 0:6. Na temeljujednadµzbe 3.27 dobit cemo

t1 =b1 � ��1sd (b1)

=0:485� 0:60:1397

= �0:823;

istu vrijednost koju smo dobili u primjeru 3.7 kada smo testirali dvostranimtestom hipotezu H0 : �1 = 0:6: Kritiµcna vrijednost za jednostrani test

7 s 5%znaµcajnosti i 3 stupnja slobode iznosi t0:05;3 = 2:3534, dok je za dvostranitest iz primjera 3.7 bila t0:025;3 = 3:1824: Buduci da je u na�em primjerut1 > �t0:025;3, tj. �0:823 > �2:3534; na temelju jednadµzbe 3.31 ne moµzemoodbaciti s 5% znaµcajnosti hipotezu H0 : �1 � 0:6: Ekonometrijski paketi uobi-µcajeno prikazuju p vrijednosti za dvostrane testove, koji su µce�ci u praksi.Ako koristimo za statistiµcko zakljuµcivanje p vrijednosti umjesto tablica Stu-dentove distribucije za jednostrani t-test, moramo dobivenu p vrijednost zadvostrani test podijeliti s 2. Tako u na�em sluµcaju imamo p=2 = 0:4707=2 =

7 Vidi Dodatak, Tablica E.2

46

0:235 4, �to ukazuje da je vjerojatnost da smo pogrije�ili 23:54%, ako od-bacimo H0. Drugim rijeµcima ako testiramo s 5% znaµcajnosti, ne moµzemoodbaciti hipotezu da je graniµcna sklonost potro�nji studenata iz na�eg pri-mjera jednaka ili veca od 0:6:

Primjer 3.10 Pretpostavimo da µzelimo testirati, sa znaµcajno�cu od 5%, hi-potezu da je graniµcna sklonost potro�nji studenata iz Tablice 2.1 jednaka ilimanja od 0:1, ili H0 : �1 � 0:1, nasuprot hipotezi H1 : �1 > 0:1. Na temeljujednadµzbe 3.27 imamo

t1 =b1 � ��1sd (b1)

=0:485� 0:10:1397

= 2: 756: (3.32)

Iz Studentove tablice imamo t0:05;3 = 2:3534. Buduci da t1 > t0:025;3; ili2:756 > 2:3534 na temelju jednadµzbe 3.30 moµzemo odbaciti H0: Do istogzakljuµcka moµzemo doci koristeci se p vrijedno�cu koja za ovaj test iznosip=2 = 0:070=2 = 0:035 :Drugim rijeµcima vjerojatnost da smo uµcinili gre�kuje 3:5%, ako odbacimo nul hipotezu. Zato �to je vjerojatnost da smo uµciniligre�ku, kada odbacujemo H0, manja od "dopu�tene" vjerojatnosti gre�ke od5%, hipotezu H0 : �1 � 0:1 moµzemo odbaciti.

Interval pouzdanosti parametara Interval pouzdanosti parametra mo-µzemo de�nirati kao raspon svih vrijednosti ��k za koje se H0 : �k = ��k nemoµze odbaciti t-testom. Vjerojatnost da se t statistika na�e izme�u kritiµcniht vrijednosti iznosi

Pr��t�=2;(n�k) � tk � t�=2;(n�k)

= 1� �: (3.33)

Supstitucijom jednadµzbe 3.27 u 3.33 dobijemo

Pr

��t�=2;(n�k) �

bk � �ksd (bk)

� t�=2;(n�k)�= 1� �: (3.34)

Nakon sre�ivanja po �k imamo

Pr�bk � sd (bk) t�=2;(n�k) � �k � bk + sd (bk) t�=2;(n�k)

= 1� �; (3.35)

ili kompaktno interval pouzdanosti populacijskog parametra �k moµzemopisati kao

bk � sd (bk) t�=2;(n�k): (3.36)

Iz jednadµzbe 3.36 vidimo da interval pouzdanosti izraµcunavamo na temeljupoznatih veliµcina koje smo izvukli iz uzorka te populacije, a to su: parametarbk i njegova standardna devijacija sd(bk). �to je veca standardna devijacijaprocjenitelja, to ce biti �iri interval pouzdanosti. �iri interval pouzdanosti

47

znaµci vecu neizvjesnost u procjenjivanju populacijskog nepoznatog parame-tra �k. Stoga se na standardnu gre�ku procjenitelja gleda kao na mjeru pre-ciznosti procjenitelja koja nam govori koliko precizno procjenitelj bk opisujestvarnu vrijednost populacijskog �k.

Populacijski parametar �k je nepoznata, ali �ksna vrijednost, zato izraz3.35 ne moµzemo interpretirati kao "(1� �) je vjerojatnost da se populacijskiparametar �k nalazi u granicama bk� sd (bk) t�=2;(n�k)" jer bi to impliciraloda je interval pouzdanosti �ksan, a populacijski parametar sluµcajna vrijed-nost. Buduci da je populacijski parametar �k �ksna vrijednost, kada biinterval pouzdanosti tako�er bio �ksan, vrijednost populacijskog parametraleµzala bi, ili ne bi leµzala, u �ksnom intervalu pouzdanosti. U tom sluµcajuimali bismo samo dvije vjerojatnosti: ako leµzi, vjerojatnost je 1 (100%);ako ne leµzi u intervalu pouzdanosti je 0. Me�utim interval pouzdanosti ni-je �ksan vec sluµcajan jer ovisi o izvuµcenom uzorku iz populacije. Stogajedini pravilan naµcin interpretacije intervala pouzdanosti parametra je dau ponovljenom uzorkovanju, 100 (1� �)% izraµcunatih sluµcajnih intervalapouzdanosti, na temelju izvuµcenih uzoraka iz iste populacije, ukljuµcivat cestvarni populacijski �skni parametar �k: Drugim rijeµcima kada bi se iz nekepopulacije izvuklo 100 uzoraka i na temelju njih izraµcunalo, koristeci izraz3.36, 100 sluµcajnih 95 postotnih intervala pouzdanosti za �ksni populacij-ski parametar �k, u 95 od 100 intervala pouzdanosti na�li bismo vrijednostpopulacijskog �ksnog parametra �k:

Primjer 3.11 Na temelju jednadµzbe 3.36 moµzemo izraµcunati 95 postotneintervale pouzdanosti za parametre modela izraµcunatih u primjeru 2.1. Dabismo dobili 95 postotni interval pouzdanosti biramo razinu znaµcajnosti od� = 0:05 jer 100 (1� �)% = 100 (1� 0:05)% = 95%: Kritiµcna vrijednostt�=2;(n�k) iznosi t0:025;3 = 3:1824 (vidi Tablica E.2 u Dodatku). Na temeljuizraza 3.36 moµzemo izraµcunati 95 postotni interval pouzdanosti za parametar�0

b0 � sd (b0) t�=2;(n�k)= 53: 535� 46:864� 3:1824= 53:535� 149: 14

�to moµzemo pisati�95: 605 � �0 � 202:675:

Za parametar �1 95 postotni interval pouzdanosti bit ce

b1 � sd (b1) t�=2;(n�k)= 0:48537� 0:139 72� 3:1824= 0:48537� 0:444 6

�to moµzemo pisati0:04077 � �1 � :0:92997:

48

F -test

Na temelju t-testa moµzemo testirati pojedinaµcne hipoteze nad jednim koe�-cijentom. Postavlja se pitanje kako testirati zajedniµcke hipoteze nad koe�-cijentima kao �to su na primjer

H0 : �1 = �2 = 0 ili H0 : �1 + �2 � �4 = 1:U tom sluµcaju moµzemo konstruirati ograniµceni model koji ce u sebi sadr-µzavati ograniµcenja nad parametrima i testirati razliku izme�u neobja�njenaodstupanja ograniµcenog modela i neograniµcenog modela. Kod neograniµce-nog modela ne forsiramo da parametri poprime odre�ene vrijednosti, vecdopu�tamo da poprime bilo koju vrijednost koja, u sluµcaju da rabimo meto-du najmanjih kvadrata, minimizira zbroj kvadrata odstupanja. Kod ogra-niµcenog modela, s druge strane, forsiramo da odre�eni parametri poprimea priori zadane vrijednosti koje ne minimiziraju zbroj kvadrata odstupanja.Jasno je stoga da zbroj kvadrata neobja�njenih odstupanja bit ce uvijek vecikod ograniµcenog modela u odnosu na neograniµceni model. Nadalje, �to seforsirani parametar u neograniµcenom modelu udaljava svojom vrijedno�cuod parametra koji minimizira sumu kvadrata odstupanja (dobiven neogra-niµcenim modelom) to ce biti veca razlika izme�u sume kvadrata odstupanjaograniµcenog i neograniµcenog modela. Na taj naµcin prirodno se namece testkoji uspore�uje zbrojeve kvadrata neobja�njenih odstupanja ograniµcenog ineograniµcenog modela. Ako je razlika velika, tada ce se nul hipoteza mo-ci odbaciti, ako je razlika mala, tada se nul hipoteza nece moci odbaciti.Ako sumu kvadrata odstupanja

P(yi � yi)2 oznaµcimo s RSS, tada F�test

moµzemo pisati

F =(RSSR �RSSUR) =JRSSUR= (n� k)

(3.37)

gdjeRSSR oznaµcava sumu kvadrata odstupanja ograniµcenog modela, RSSURsumu kvadrata odstupanja neograniµcenog modela, J broj ograniµcenja i (n� k)stupnjeve slobode neograniµcenog modela. Buduci da je RSSR uvijek veciod RSSUR, gornji izraz uvijek ce biti pozitivan.

Ako vrijedi pretpostavka da su odstupanja ei normalno distribuirana,tada

P(yi � yi)2 ; �to skraceno pi�emo

Pe2i , iz Teorema

8C.3 ima �2 distri-buciju. Na temelju Teorema C.4 znamo da zbrajanje i oduzimanje varijablis �2 distribucijom daju varijablu s �2 distribucijom. Stoga ce i razlikaRSSR � RSSUR, tako�er, imati �2 distribuciju. Iz Teorema C.6 znamo dace odnos dviju sluµcajnih varijabli s �2 distribucijom x1=n1

x2=n2imati F distribu-

ciju s (n1; n2) stupnjeva slobode, ili kao u sluµcaju na�e jednadµzbe 3.37 F -testima F distribuciju sa (J; n� k) stupnjeva slobode. F -test je jednostrani testµciju kritiµcnu vrijednost F J�;(n�k) moµzemo de�nirati kao

PrnF > F J�;(n�k)

o= � (3.38)

8Vidi Dodatak C.1

49

gdje � predstavlja razinu znaµcajnosti testa. Drugim rijeµcima velika razlikaizme�u RSSR i RSSUR vodit ce k velikim vrijednostima F statistike iz3.37, a velike vrijednosti F statistike vodit ce na temelju 3.38 odbacivanjunul hipotez·e.

Ekonometrijski paketi µcesto automatski pokraj vrijednosti parametara,standardnih devijacija koe�cijenata, t vrijednosti, koe�cijenata determina-cije itd. prikazuju i rezultate F -testa kojim se za model

y = �0 + �1x1 + �2x2 + � � �+ �k�1xk�1

testira zajedniµcka hipoteza

H0 : �1 = �2 = � � � = �k�1 = 0; (3.39)

odnosno, testira se zajedniµcka hipoteza da su svi parametri, koji se veµzu zanezavisne varijable, jednaki nula, �to znaµci da niti jedna nezavisna varijablanije znaµcajna za obja�njenje zavisne varijable y. U tom se sluµcaju ograniµcenimodel svodi na trivijalan model koji sadrµzi samo konstantni µclan �0

y = �0: (3.40)

Iz Propozicije 3.1 znamo da za model s konstantnim µclanom vrijedi

Var (yi) = Var (yi) +Var (ei) :

Ako pomnoµzimo s (n� 1) dobijemo jednadµzbu 3.5nXi=1

(yi � �y)2 =nXi=1

(yi � �y)2 +nXi=1

e2i

koju moµzemo pojednostavljeno pisati

TSS = ESS +RSS; (3.41)

gdje TSS oznaµcava ukupnu sumu kvadrata odstupanja, ESS obja�njenusumu kvadrata odstupanja, a RSS neobja�njenu sumu kvadrata odstupanjaod sredine uzorka. Buduci da u ograniµcenom modelu 3.40 nemamo ni jednunezavisnu varijablu, tada ce njegova obja�njena suma kvadrata odstupanjabiti ESSR = 0, a iz 3.41 slijedi da za tako ograniµceni model vrijedi

RSSR = TSS: (3.42)

Taj rezultat pretvara F -test, kojim moµzemo testirati hipotezu 3.39, u

F =(RSSR �RSSUR) =JRSSUR= (n� k)

=(TSS �RSSUR) = (k � 1)

RSSUR= (n� k)=ESSUR= (k � 1)RSSUR= (n� k)

(3.43)

50

ili u odnos obja�njene i neobja�njene varijance neograniµcenog mo-dela. Broj ograniµcenja J je (k � 1), tj. broj parametara koji se procjenjujuu modelu manje jedan (konstantni µclan koji nije ograniµcen). Interesantnoje primijetiti da ograniµceni model 3.40 ima koe�cijent determinacije (kori-girani kao i nekorigirani) jednak nuli jer je ESS =

P(yi � �yi)2 = 0: Stoga

je testirati nul hipotezu 3.39 ekvivalentno testiranju nul hipoteze da je po-pulacijski koe�cijent determinacije R2 = 0: Drugim rijeµcima F -test iz 3.43moµzemo interpretirati i kao test kojim se testira znaµcajnost koe�cijentadeterminacije R2.

Kada imamo skup linearnih ograniµcenja u obliku

r11�1 + r12�2 + � � �+ r1k�k = q1r21�1 + r22�2 + � � �+ r2k�k = q2

...

rJ1�1 + rJ2�2 + � � �+ rjk�k = qJ

zgodno ih je prikazati u kompaktnoj matriµcnoj formi

R� = q: (3.44)

Matrica R ima k stupaca koji odgovaraju broju parametara, koji se procje-njuju i J redaka, koji odgovaraju broju linearnih ograniµcenja nad parametri-ma. Broj stupaca mora biti manji od broja redaka (J < k); drugim rijeµcimamoramo imati manje ograniµcenja od procijenjenih parametara. Testiranjenul hipoteze jednog skupa od J linearnih ograniµcenja moµzemo de�nirati sa

H0 : R� � q = 0 (3.45)

nasuprot alternativnoj hipotezi

H1 : R� � q 6= 0: (3.46)

Na ovaj naµcin lako moµzemo de�nirati zajedniµcku nul hipotezu koja sesastoji od mnogih linearnih ograniµcenja kao npr.

H0 : �2 = 2; �3 = �7; �4 + �5 � �6 = 1

putem

R =

24 0 1 0 0 0 0 01 0 0 0 0 0 �10 0 0 1 1 �1 0

35 , q =24 201

35ili hipotezu 3.39 da su svi parametri u modelu osim konstantnog µclana jed-naki nuli

R = [0 : Ik�1] ; q = 0:

51

Za zadane parametre uzorka, dobivene metodom najmanjih kvadrata, mo-µzemo de�nirati vektor nepodudarnosti (eng. discrepancy vector) s

m = Rb� q (3.47)

gdje vektor Rb prikazuje procijenjeno stanje, a q veliµcine koje µzelimo testi-rati. Na temeljuWaldovog kriterija

W =m0Var (m)m (3.48)

nakon supstituiranja varijance populacije �2 procijenjenom varijancom po-pulacije s2, moµzemo dobiti F statistiku9 za testiranje linearne hipoteze 3.45

F =m0nRhs2 (X0X)�1

iR0o�1

m

J: (3.49)

F statistika izraµcunata ovim naµcinom, s (J; n� k) stupnjeva slobode, is-tovjetna je F statistici, koju dobijemo koristeci jednadµzbu 3.37, tj. dajupotpuno isti rezultat. Prednost 3.49 nad 3.37 je relativno jednostavno de�-niranje skupa linearnih ograniµcenja koja ulaze u nul hipotezu.

Primjer 3.12 Pretpostavimo da µzelimo nad parametrima modela10

y = 410:81(162:830)

� 33:75(26:134)

x1+ 3:23(0:989)

x2+ 9:71(0:727)

x3�31:57(1:162)

x4+ 38:39(10:793)

x5

R2UR = 0:9989RSSUR = 6808:58ESSUR = 6394831

(3.50)

testirati s 5% znaµcajnosti sljedece hipoteze:

a)H0 : �1 = �2 = �3 = �4 = �5 = 0 (3.51)

drugim rijeµcimaµzelimo testirati zajedniµcku hipotezu da su svi parametrivezani za nezavisne varijable jednaki nula nasuprot hipotezi H1 : �1 =�2 = �3 = �4 = �5 6= 0: U na�em sluµcaju model iz jednadµzbe 3.50je neograniµceni model, dok ce ograniµceni model, u kojeg ugra�ujemonul hipotezu 3.51, biti model samo s konstantnim µclanom, ili u na�emsluµcaju

y = 3067:82R2R = 0:0000RSSR = 6401640

: (3.52)

Buduci da u ograniµcenom modelu nemamo nezavisnih varijabli, koe�-cijent determinacije R2; kao i korigirani koe�cijent determinacije �R2

9Vidi detaljan izvod u [3] str. 96-97.10Podaci za ovaj model prikazani su u Dodatku D.1.

52

su nula. Vidimo da RSSR ograniµcenog modela 3.52 znatno je veci odRSSUR neograniµcenog modela 3.50. Hipotezom smo ograniµcili 5 para-metara, zato je broj ograniµcenja J = 5, i imamo (n� k) = (25� 6) =19 stupnjeva slobode. Prema tome F test kojim testiramo nul hipotezu3.51 bit ce

F =(RSSR �RSSUR) =JRSSUR= (n� k)

=(6401640� 6808:58) =5

(6808:58) =19= 3569: 1:

Kritiµcna vrijednost F distribucije za 5% znaµcajnosti prikazana je uDodatku, Tablica E.3, i iznosi F 50:05;19 = 2:740. Buduci da je u na�emsluµcaju F > F J�;(n�k), moµzemo na razini od 5% znaµcajnosti odbacitinul hipotezu 3.51. Na temelju Tablice E.4, iz Dodatka, vidimo da nulhipotezu moµzemo odbaciti i s 1% znaµcajnosti, tj. s vjerojatno�cu dasmo pri odbacivanju hipoteze uµcinili gre�ku od samo 1%; buduci da jekritiµcna vrijednost F 50:01;19 = 4:171 manja od testne veliµcine 3569:1.Kada testiramo hipotezu da su svi parametri vezani za nezavisne va-rijable jednaki nula, tada F vrijednost moµzemo dobiti koristeci se ijednadµzbom 3.43

F =ESSUR= (k � 1)RSSUR= (n� k)

=6394831=5

6808:58=19= 3569:1

u koju ulaze podaci samo neograniµcenog modela. Ekonometrijski paketipokraj parametara modela µcesto automatski prikazuju ovu F vrijednost,kojom se testira hipoteza da su svi parametri modela vezani za neza-visne varijable jednaki nula (hipoteza 3.51). U matriµcnoj formi gornjuhipotezu moµzemo testirati pomocu Waldovog kriterija ako de�niramo

R = [0 : I5] ; q = 0:

Vidimo da matricom R ne ograniµcavamo samo konstantni µclan (prvistupac). Broj ograniµcenja je J = 5 dok je broj parametara k = 6; �tozadovoljava uvjet J < k, pa moµzemo izraµcunati vektor nepodudarnostikoji ce u na�em primjeru biti

m = Rb� q =

2666640 1 0 0 0 00 0 1 0 0 00 0 0 1 0 00 0 0 0 1 00 0 0 0 0 1

377775

26666664

410:81�33:753:239:71

�31:5738:39

37777775�26666400000

377775 =266664�33: 753: 239: 71

�31: 5738: 39

377775 :

Vektor nepodudarnosti prikazuje razliku izme�u vrijednosti parameta-ra uzorka i vrijednosti koje testiramo. Buduci da u na�em primjerutestiramo hipotezu da su populacijski parametri vezani za nezavisne

53

varijable jednaki nula, vektor nepodudarnosti svodi se na vrijednostiprocijenjenih parametara na temelju uzorka koji su vezani za neza-visne varijable. �to su vece, u apsolutnoj veliµcini, vrijednosti vektoranepodudarnosti, lak�e ce biti odbaciti nul hipotezu. Kada znamo da jeprocijenjena varijanca populacije na�eg modela s2 = 358:35; i da jesimetriµcna matrica

�X0X

��1=

26666664

73:9891 �9:4129 0:2885 �0:1717 �0:2869 1:2070�9:4129 1:9059 �0:0182 0:0049 0:0404 �0:14520:2885 �0:0182 0:0027 �0:0019 �0:0004 �0:0030

�0:1717 0:0049 �0:0019 0:0015 �0:0003 �0:0014�0:2869 0:0404 �0:0004 �0:0003 0:0038 0:01001:2070 �0:1452 �0:0030 �0:0014 0:0100 0:3251

37777775 ;

imamo sve elemente za izraµcunavanje F vrijednosti pomocu jednadµzbe

F =m0nRhs2 (X0X)�1

iR0o�1

m

J= 3569:1:

b)H0 : �1 = �15 (3.53)

nasuprot H1 : �1 6= �15. U prethodnom smo poglavlju vidjeli da hi-poteze nad jednim parametrom testiramo t-testom. F -test je opcenit,stoga, osim testiranja nad vi�e parametara, dopu�ta nam testiranje inad jednim parametrom. Obje metode morale bi dovesti do istog za-kljuµcka. Ako gornju hipotezu testiramo pomocu t-testa imamo

t1 =b1 � ��1sd (b1)

=�33:75� (�15)

26:134= � 0:71746

(p=0:4818):

Ograniµceni model bit ce

y = �0 � 15x1 + �2x2 + �3x3 + �4x4 + �5x5(y + 15x1) = �0 + �2x2 + �3x3 + �4x4 + �5x5

koji procijenjen izgleda

(y + 15x1) = 318:21(98:061)

+ 3:05(0:945)

x2+ 9:76(0:715)

x3�31:17(1:008)

x4+ 36:97(10:478)

x5R2 = 0:9989RSSR = 6993:03

:

Prema tome F -test, kojim testiramo hipotezu 3.53, bit ce

F =(RSSR �RSSUR) =JRSSUR= (n� k)

=(6993:03� 6808:58) =1

6808:58=19= 0:514 73(p=0:4818)

:

Jasno je da t i F vrijednosti nisu iste, buduci da proizlaze iz razliµcitihdistribucija. Me�utim, toµcne razine znaµcajnosti testa p su identiµcne u

54

oba sluµcaja, p = 0:4818, �to upucuje na identiµcan statistiµcki zakljuµcak,tj. da ne moµzemo odbaciti nul hipotezu. Waldovim kriterijem moµzemotestirati hipotezu 3.53 na temelju matrica ograniµcenja

R =�0 1 0 0 0 0

�, q = �15

koje daju vektor nepodudarnosti m = �18: 75. Kada ukljuµcimo ovevrijednosti u jednadµzbu 3.49 dobijemo vrijednost F = 0:514 73; koja jeistovjetna F vrijednosti dobivenu prethodnom metodom (RSS).

c)H0 : �4 + �5 = 0 (3.54)

nasuprot hipotezi H1 : �4 + �5 6= 0. Iz gornje jednadµzbe slijedi da je�4 = ��5 ili �5 = ��4. Neovisno o tome koristimo li za ograniµcenjemodela 3.50 jednakost �4 = ��5 ili �5 = ��4, moramo dobiti istuvrijednost RSSR. Ako koristimo �4 = ��5; imamo

y = �0 + �1x1 + �2x2 + �3x3 � �5x4 + �5x5= �0 + �1x1 + �2x2 + �3x3 + �5 (x5 � x4)

i kada procijenimo parametre dobijemo ograniµceni model

y = 392:81(157:61)

� 31:70(25:508)

x1+ 3:30(0:970)

x2+ 9:74(0:714)

x3+31:84(1:058)

(x5 � x4)R2 = 0:9989RSSR = 6942:08

:

Ako koristimo �5 = ��4 imamo

y = �0 + �1x1 + �2x2 + �3x3 + �4x4 � �4x5= �0 + �1x1 + �2x2 + �3x3 + �4 (x4 � x5)

i kada procijenimo parametre modela dobijemo ograniµceni model

y = 392:81(157:61)

� 31:70(25:508)

x1+ 3:30(0:970)

x2+ 9:74(0:714)

x3�31:84(1:058)

(x4 � x5)R2 = 0:9989RSSR = 6942:08

s identiµcnim RSSR. Stoga, neovisno o jednakosti koju koristimo zaograniµcenje modela, dobijemo istu F vrijednost

F =(RSSR �RSSUR) =JRSSUR= (n� k)

=(6942:08� 6808:58) =1

(6808:58) =19= 0:372 6(p=0:5489)

:

Iz razine znaµcanost testa p = 0:5489 zakljuµcujemo da ne moµzemo odba-citi ovu hipotezu. Interesantno je primijetiti da pri testiranju ove hi-poteze, iako se u hipotezi pojavljuju dva parametra, imamo samo jednoograniµcenje. Jedno ograniµcenje bilo bi i kada bismo testirali hipotezu:H0 : �1 + 2�2 � �4 + �5 = 0, unatoµc tome �to se pojavljuju 4 para-metra, dok s druge strane, ako npr. testiramo H0 : �1 = 0; �4 = 30;

55

imamo dva ograniµcenja. Znaµci, pri raµcunanju broja ograniµcenja nijevaµzan broj parametara koji se pojavljuje u hipotezi vec broj jednadµz-bi. Ako µzelimo dobiti F vrijednost pomocu Waldovog kriterija matriceograniµcenja, kojima opisujemo hipotezu 3.54, glase

R =�0 0 0 0 1 1

�, q = 0

koje daju vrijednost m =6:8241 i F = 0:3726; identiµcnu vrijednostkoju smo dobili i metodom usporedbe RSS ograniµcenog i neograniµcenogmodela.

d)H0 : �1 = �4; �2 = 3; �4 + �5 = 0 (3.55)

nasuprot alternativnoj hipotezi H1 : �1 6= �4; �2 6= 3; �4+�5 6= 0. Ka-da imamo skup linearnih ograniµcenja, (kao u ovom primjeru) supstitu-cija tih ograniµcenja u neograniµceni model bit ce sloµzen posao da bismodobili ograniµceni model na temelju kojeg moµzemo izraµcunati RSSR,dok ce to isto matriµcnom metodom, na temelju Waldovog kriterija, bi-ti lak�e izvedivo. Matrice ograniµcenja za testiranje gornje hipoteze bitce

R =

24 0 1 0 0 �1 00 0 1 0 0 00 0 0 0 1 1

35 , q =

24 030

35koje daju vektor nepodudarnosti

m =

24 �2:17890:23146:8241

35 :Na temelju jednadµzbe 3.49 za broj ograniµcenja J = 3 dobit cemo Fvrijednost od 0:1578 kojoj odgovara razina znaµcajnosti testa p = 0:9233.Drugim rijeµcima ovu hipotezu ne moµzemo odbaciti.

56

Dodatak A

Izvodi i dokazi

A.1 Izvod parametara modela s jednom nezavis-nom varijablom metodom najmanjih kvadra-ta

Za modelyi = b0 + b1xi + ei (A.1)

treba izabrati parametre b0 i b1 tako da minimizirajuPe2i : Da bi se dobili

parametri s tim svojstvima, mora se parcijalno derivirati izrazPe2i po b0

i b1 i izjednaµciti prve derivacije s nulom kako bi se dobili ekstremi funkcija(minimum)

@

@b0

Pe2i =

@

@b0

P(yi � b0 � b1xi)2 = �2

P(yi � b0 � b1xi) = 0 (A.2)

@

@b1

Pe2i =

@

@b1

P(yi � b0 � b1xi)2 = �2

Pxi (yi � b0 � b1xi) = 0: (A.3)

Ako jednadµzbe A.2 i A.3 podijelimo s �2 i napi�emo u obliku tzv. normal-nih jednadµzbi, imamoP

yi = b0n+ b1Pxi (A.4)P

xiyi = b0Pxi + b1

Px2i : (A.5)

Sada moµzemo simultano rije�iti po b0 i b1 tako da jednadµzbu A.4 pomnoµzimosPxi; a jednadµzbu A.5 s n

PxiPyi = b0n

Pxi + b1 (

Pxi)

2 (A.6)

nPxiyi = b0n

Pxi + b1n

Px2i : (A.7)

57

Oduzimanjem jednadµzbe A.6 od jednadµzbe A.7 dobijemo

nPxiyi �

PxiPyi = b1

hnPx2i � (

Pxi)

2i

(A.8)

iz µcega slijedi

b1 =nPxiyi �

PxiPyi

nPx2i � (

Pxi)

2 : (A.9)

Jednadµzba A.9 moµze se jednostavnije napisati, ako pretpostavimo speci-jalni sluµcaj da je sredina uzoraka jednaka nuli. U tom specijalnom sluµcajumoµzemo dobiti koe�cijent smjera regresijskog pravca (b1) tako da brojnik inazivnik izraza A.9 podijelimo s n2

b1 =

Pxiyin �

�Pxi

�n

�Pyi

�nP

x2in �

�Pxin

�2 =

Pxiyin � �x�yPx2in � �x2

: (A.10)

Buduci da u na�em specijalnom sluµcaju po pretpostavci vrijedi �x = �y = 0jednadµzba A.10 postaje

b1 =

PxiyinPx2in

=

PxiyiPx2i: (A.11)

Pojednostavljena jednadµzba A.11 vrijedi samo za specijalni sluµcaj kadavarijabla x i varijabla y imaju sredinu nula. Me�utim, bilo koju varijablumoµzemo transformirati tako da ima sredinu nula, ako je izrazimo u njezinojdevijacijskoj formi1

~xi = xi � �x ~y = yi � �y:

Ovom transformacijom paralelno pomiµcemo regresijski pravac na ishodi�tekoordinatnog sustava mijenjajuci odsjeµcak na ordinati, ali ostavljajuci nagibpravca nepromijenjenim, stoga se koe�cijent nagiba regresijskog pravca b1moµze izraziti u devijacijskoj formi varijabli

b1 =

P(xi � �x) (yi � �y)P

(xi � �x)2=

P~xi~yiP~x2i: (A.12)

Kada imamo b1; iz jednadµzbe A.4 jednostavno moµzemo dobiti

b0 =

Pyin

� b1Pxin

= �y � b1�x: (A.13)

1Dokaz: ex = P exin

=

P(xi��x)n

=

Pxin

� �x = �x� �x = 0; vidi Svojstvo B.4. operatorazbrajanja u Dodatku B.1.

58

Dodatak B

Matematika

B.1 Neka svojstva operatora zbrajanjaP

Operator zbrajanjaPvrijednosti varijable xnXi=1

xi = x1 + x2 + � � �+ xn

ima sljedeca svojstva:

Svojstvo 1nXi=1

kxi = k

nXi=1

xi (B.1)

gdje je k konstanta jer

nXi=1

kxi = kx1 + kx2 + � � �+ kxn

= k (x1 + x2 + � � �+ xn) = knXi=1

xi:

Svojstvo 2nXi=1

(xi + yi) =

nXi=1

xi +

nXi=1

yi (B.2)

zato jernXi=1

(xi + yi) = x1 + y1 + x2 + y2 + � � �+ xn + yn

= (x1 + x2 + � � �+ xn) + (y1 + y2 + � � �+ yn)

=

nXi=1

xi +

nXi=1

yi:

59

Svojstvo 3nXi=1

k = k + k + � � �+ k = kn (B.3)

Svojstvo 4nXi=1

(xi � �x) = 0 (B.4)

gdje je �x = 1n

Pni=1 xi.

Dokaz. Pni=1 (xi � �x)

n=

Pni=1 xin

� n�xn

=1

n

nXi=1

xi � �x = �x� �x = 0

iz µcega slijedi Pni=1 (xi � �x)

n= 0()

nXi=1

(xi � �x) = 0:

60

Dodatak C

Statistika

C.1 Distribucije vjerojatnosti izvedene iz normal-ne distribucije

Teorem C.1 Ako su z1; z2; : : : ; zn normalno i nezavisno distribuirane slu-µcajne varijable takve da zi � N

��i; �

2i

�, tada je linearna kombinacija

Pkizi;

gdje su ki konstante koje nisu sve nula, tako�er normalno distribuirana sasredinom

Pki�i i varijancom

Pk2i �

2i :

Teorem C.2 Ako su z1; z2; : : : ; zn normalno i zavisno distribuirane sluµcajnevarijable takve da zi � N

��i; �

2i

�, tada je linearna kombinacija

Pkizi;

gdje su ki konstante koje nisu sve nula, tako�er normalno distribuirana sasredinom

Pki�i i varijancom

�Pk2i �

2i + 2

Pkikjcov (xi; xj)

�:

Teorem C.3 Ako su z1; z2; : : : ; zn normalno i nezavisno distribuirane slu-µcajne varijable takve da zi � N (0; 1), tj. standardizirane normalne varijable,tada

Pni=1 z

2i ima �

2 distribuciju s n stupnjeva slobode.

Teorem C.4 Ako su x1; x2; : : : ; xn nezavisno distribuirane sluµcajne varija-ble koje imaju �2 distribuciju s ni stupnjeva slobode, tada zbroj

Pxi ima

tako�er �2 distribuciju saPni stupnjeva slobode.

Teorem C.5 Ako je z standardizirana normalna varijabla [z1 � N (0; 1)] ax ima �2 distribuciju s n stupnjeva slobode i nezavisna je od z, tada odnoszpx=n

ima Studentovu t distribuciju s n stupnjeva slobode.

Teorem C.6 Ako su x1 i x2 dvije nezavisne varijable s �2 distribucijom sodnosnim n1 i n2 stupnjevima slobode, tada odnos

x1=n1x2=n2

ima F distribucijus n1 i n2 stupnjeva slobode.

61

Dodatak D

Podaci

D.1

y x 1 x 2 x 3 x 4 x 52835.9 4.49 287.80 496.1 100.00 0.32022615.0 4.26 292.12 509.2 112.93 ­0.11252556.2 3.83 296.12 510.2 115.61 ­0.32752510.9 3.89 297.14 514.2 117.82 ­0.39742582.6 3.79 298.66 527.9 119.16 ­0.33922586.4 3.79 301.11 527.1 119.16 ­0.80132608.4 3.98 306.48 529.9 119.06 ­1.34132542.7 3.97 310.93 524.6 119.59 ­1.17902598.7 4.02 316.30 528.9 120.79 ­0.81712662.4 3.87 322.14 539.9 122.94 ­0.46662704.3 3.99 327.57 550.3 124.90 ­0.26192767.3 3.90 333.33 563.4 127.73 ­0.43102894.1 3.89 340.24 576.8 129.21 ­0.03252980.6 3.96 347.41 583.9 129.93 ­0.05073022.8 4.03 352.85 591.0 130.56 0.39943088.2 4.12 359.90 594.4 130.60 0.41843207.4 4.18 367.92 603.4 130.60 0.61753360.1 4.20 375.92 612.1 130.22 0.77573513.9 4.19 383.57 624.9 130.46 0.72263641.5 4.17 391.03 634.3 129.69 0.68313840.1 4.20 397.53 650.4 128.74 0.77473888.3 4.21 404.34 659.6 130.12 0.51363920.2 4.25 413.47 671.2 133.57 0.55013816.3 4.47 421.96 676.3 138.70 0.74593951.2 4.77 430.39 696.5 142.58 0.8152

62

Dodatak E

Statistiµcke tablice

Tablica E.1: Kumulativna povr�ina ispod standardne normalne distribucijez 0.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09

0.0 0.5000 0.5040 0.5080 0.5120 0.5160 0.5199 0.5239 0.5279 0.5319 0.53590.1 0.5398 0.5438 0.5478 0.5517 0.5557 0.5596 0.5636 0.5675 0.5714 0.57530.2 0.5793 0.5832 0.5871 0.5910 0.5948 0.5987 0.6026 0.6064 0.6103 0.61410.3 0.6179 0.6217 0.6255 0.6293 0.6331 0.6368 0.6406 0.6443 0.6480 0.65170.4 0.6554 0.6591 0.6628 0.6664 0.6700 0.6736 0.6772 0.6808 0.6844 0.68790.5 0.6915 0.6950 0.6985 0.7019 0.7054 0.7088 0.7123 0.7157 0.7190 0.72240.6 0.7257 0.7291 0.7324 0.7357 0.7389 0.7422 0.7454 0.7486 0.7517 0.75490.7 0.7580 0.7611 0.7642 0.7673 0.7704 0.7734 0.7764 0.7794 0.7823 0.78520.8 0.7881 0.7910 0.7939 0.7967 0.7995 0.8023 0.8051 0.8078 0.8106 0.81330.9 0.8159 0.8186 0.8212 0.8238 0.8264 0.8289 0.8315 0.8340 0.8365 0.83891.0 0.8413 0.8438 0.8461 0.8485 0.8508 0.8531 0.8554 0.8577 0.8599 0.86211.1 0.8643 0.8665 0.8686 0.8708 0.8729 0.8749 0.8770 0.8790 0.8810 0.88301.2 0.8849 0.8869 0.8888 0.8907 0.8925 0.8944 0.8962 0.8980 0.8997 0.90151.3 0.9032 0.9049 0.9066 0.9082 0.9099 0.9115 0.9131 0.9147 0.9162 0.91771.4 0.9192 0.9207 0.9222 0.9236 0.9251 0.9265 0.9279 0.9292 0.9306 0.93191.5 0.9332 0.9345 0.9357 0.9370 0.9382 0.9394 0.9406 0.9418 0.9429 0.94411.6 0.9452 0.9463 0.9474 0.9484 0.9495 0.9505 0.9515 0.9525 0.9535 0.95451.7 0.9554 0.9564 0.9573 0.9582 0.9591 0.9599 0.9608 0.9616 0.9625 0.96331.8 0.9641 0.9649 0.9656 0.9664 0.9671 0.9678 0.9686 0.9693 0.9699 0.97061.9 0.9713 0.9719 0.9726 0.9732 0.9738 0.9744 0.9750 0.9756 0.9761 0.97672.0 0.9772 0.9778 0.9783 0.9788 0.9793 0.9798 0.9803 0.9808 0.9812 0.98172.1 0.9821 0.9826 0.9830 0.9834 0.9838 0.9842 0.9846 0.9850 0.9854 0.98572.2 0.9861 0.9864 0.9868 0.9871 0.9875 0.9878 0.9881 0.9884 0.9887 0.98902.3 0.9893 0.9896 0.9898 0.9901 0.9904 0.9906 0.9909 0.9911 0.9913 0.99162.4 0.9918 0.9920 0.9922 0.9925 0.9927 0.9929 0.9931 0.9932 0.9934 0.99362.5 0.9938 0.9940 0.9941 0.9943 0.9945 0.9946 0.9948 0.9949 0.9951 0.99522.6 0.9953 0.9955 0.9956 0.9957 0.9959 0.9960 0.9961 0.9962 0.9963 0.99642.7 0.9965 0.9966 0.9967 0.9968 0.9969 0.9970 0.9971 0.9972 0.9973 0.99742.8 0.9974 0.9975 0.9976 0.9977 0.9977 0.9978 0.9979 0.9979 0.9980 0.99812.9 0.9981 0.9982 0.9982 0.9983 0.9984 0.9984 0.9985 0.9985 0.9986 0.99863.0 0.9987 0.9987 0.9987 0.9988 0.9988 0.9989 0.9989 0.9989 0.9990 0.99903.1 0.9990 0.9991 0.9991 0.9991 0.9992 0.9992 0.9992 0.9992 0.9993 0.99933.2 0.9993 0.9993 0.9994 0.9994 0.9994 0.9994 0.9994 0.9995 0.9995 0.99953.3 0.9995 0.9995 0.9995 0.9996 0.9996 0.9996 0.9996 0.9996 0.9996 0.99973.4 0.9997 0.9997 0.9997 0.9997 0.9997 0.9997 0.9997 0.9997 0.9997 0.99983.5 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998

Izvor: Vrijednosti su izračunate koristeći Excel funkciju NORMSDIST

63

Tablica E.2: Jednostrane kritiµcne vrijednosti Studentove t distribucije

n¡ k 0.10 0.05 0.25 0.001 0.005

1 3.0777 6.3137 12.7062 31.8210 63.65592 1.8856 2.9200 4.3027 6.9645 9.92503 1.6377 2.3534 3.1824 4.5407 5.84084 1.5332 2.1318 2.7765 3.7469 4.60415 1.4759 2.0150 2.5706 3.3649 4.03216 1.4398 1.9432 2.4469 3.1427 3.70747 1.4149 1.8946 2.3646 2.9979 3.49958 1.3968 1.8595 2.3060 2.8965 3.35549 1.3830 1.8331 2.2622 2.8214 3.2498

10 1.3722 1.8125 2.2281 2.7638 3.169311 1.3634 1.7959 2.2010 2.7181 3.105812 1.3562 1.7823 2.1788 2.6810 3.054513 1.3502 1.7709 2.1604 2.6503 3.012314 1.3450 1.7613 2.1448 2.6245 2.976815 1.3406 1.7531 2.1315 2.6025 2.946716 1.3368 1.7459 2.1199 2.5835 2.920817 1.3334 1.7396 2.1098 2.5669 2.898218 1.3304 1.7341 2.1009 2.5524 2.878419 1.3277 1.7291 2.0930 2.5395 2.860920 1.3253 1.7247 2.0860 2.5280 2.845321 1.3232 1.7207 2.0796 2.5176 2.831422 1.3212 1.7171 2.0739 2.5083 2.818823 1.3195 1.7139 2.0687 2.4999 2.807324 1.3178 1.7109 2.0639 2.4922 2.797025 1.3163 1.7081 2.0595 2.4851 2.787426 1.3150 1.7056 2.0555 2.4786 2.778727 1.3137 1.7033 2.0518 2.4727 2.770728 1.3125 1.7011 2.0484 2.4671 2.763329 1.3114 1.6991 2.0452 2.4620 2.756430 1.3104 1.6973 2.0423 2.4573 2.750040 1.3031 1.6839 2.0211 2.4233 2.704560 1.2958 1.6706 2.0003 2.3901 2.6603

120 1.2886 1.6576 1.9799 2.3578 2.61741 1.2816 1.6449 1.9600 2.3264 2.5758

Izvor: Vrijednosti su izračunate koristeći Excel funkciju TINV

®

64

TablicaE.3:Jednostranekriti µcnevrijednostiFdistribucijeza5postozna µcajnosti

n2

12

34

56

78

910

1215

2025

116

1.44

619

9.49

921

5.70

722

4.58

323

0.16

023

3.98

823

6.76

723

8.88

424

0.54

324

1.88

224

3.90

524

5.94

924

8.01

624

9.26

02

18.5

1319

.000

19.1

6419

.247

19.2

9619

.329

19.3

5319

.371

19.3

8519

.396

19.4

1219

.429

19.4

4619

.456

310

.128

9.55

29.

277

9.11

79.

013

8.94

18.

887

8.84

58.

812

8.78

58.

745

8.70

38.

660

8.63

44

7.70

96.

944

6.59

16.

388

6.25

66.

163

6.09

46.

041

5.99

95.

964

5.91

25.

858

5.80

35.

769

56.

608

5.78

65.

409

5.19

25.

050

4.95

04.

876

4.81

84.

772

4.73

54.

678

4.61

94.

558

4.52

16

5.98

75.

143

4.75

74.

534

4.38

74.

284

4.20

74.

147

4.09

94.

060

4.00

03.

938

3.87

43.

835

75.

591

4.73

74.

347

4.12

03.

972

3.86

63.

787

3.72

63.

677

3.63

73.

575

3.51

13.

445

3.40

48

5.31

84.

459

4.06

63.

838

3.68

83.

581

3.50

03.

438

3.38

83.

347

3.28

43.

218

3.15

03.

108

95.

117

4.25

63.

863

3.63

33.

482

3.37

43.

293

3.23

03.

179

3.13

73.

073

3.00

62.

936

2.89

310

4.96

54.

103

3.70

83.

478

3.32

63.

217

3.13

53.

072

3.02

02.

978

2.91

32.

845

2.77

42.

730

114.

844

3.98

23.

587

3.35

73.

204

3.09

53.

012

2.94

82.

896

2.85

42.

788

2.71

92.

646

2.60

112

4.74

73.

885

3.49

03.

259

3.10

62.

996

2.91

32.

849

2.79

62.

753

2.68

72.

617

2.54

42.

498

134.

667

3.80

63.

411

3.17

93.

025

2.91

52.

832

2.76

72.

714

2.67

12.

604

2.53

32.

459

2.41

214

4.60

03.

739

3.34

43.

112

2.95

82.

848

2.76

42.

699

2.64

62.

602

2.53

42.

463

2.38

82.

341

154.

543

3.68

23.

287

3.05

62.

901

2.79

02.

707

2.64

12.

588

2.54

42.

475

2.40

32.

328

2.28

016

4.49

43.

634

3.23

93.

007

2.85

22.

741

2.65

72.

591

2.53

82.

494

2.42

52.

352

2.27

62.

227

174.

451

3.59

23.

197

2.96

52.

810

2.69

92.

614

2.54

82.

494

2.45

02.

381

2.30

82.

230

2.18

118

4.41

43.

555

3.16

02.

928

2.77

32.

661

2.57

72.

510

2.45

62.

412

2.34

22.

269

2.19

12.

141

194.

381

3.52

23.

127

2.89

52.

740

2.62

82.

544

2.47

72.

423

2.37

82.

308

2.23

42.

155

2.10

620

4.35

13.

493

3.09

82.

866

2.71

12.

599

2.51

42.

447

2.39

32.

348

2.27

82.

203

2.12

42.

074

214.

325

3.46

73.

072

2.84

02.

685

2.57

32.

488

2.42

02.

366

2.32

12.

250

2.17

62.

096

2.04

522

4.30

13.

443

3.04

92.

817

2.66

12.

549

2.46

42.

397

2.34

22.

297

2.22

62.

151

2.07

12.

020

234.

279

3.42

23.

028

2.79

62.

640

2.52

82.

442

2.37

52.

320

2.27

52.

204

2.12

82.

048

1.99

624

4.26

03.

403

3.00

92.

776

2.62

12.

508

2.42

32.

355

2.30

02.

255

2.18

32.

108

2.02

71.

975

254.

242

3.38

52.

991

2.75

92.

603

2.49

02.

405

2.33

72.

282

2.23

62.

165

2.08

92.

007

1.95

526

4.22

53.

369

2.97

52.

743

2.58

72.

474

2.38

82.

321

2.26

52.

220

2.14

82.

072

1.99

01.

938

274.

210

3.35

42.

960

2.72

82.

572

2.45

92.

373

2.30

52.

250

2.20

42.

132

2.05

61.

974

1.92

128

4.19

63.

340

2.94

72.

714

2.55

82.

445

2.35

92.

291

2.23

62.

190

2.11

82.

041

1.95

91.

906

294.

183

3.32

82.

934

2.70

12.

545

2.43

22.

346

2.27

82.

223

2.17

72.

104

2.02

71.

945

1.89

130

4.17

13.

316

2.92

22.

690

2.53

42.

421

2.33

42.

266

2.21

12.

165

2.09

22.

015

1.93

21.

878

314.

160

3.30

52.

911

2.67

92.

523

2.40

92.

323

2.25

52.

199

2.15

32.

080

2.00

31.

920

1.86

632

4.14

93.

295

2.90

12.

668

2.51

22.

399

2.31

32.

244

2.18

92.

142

2.07

01.

992

1.90

81.

854

334.

139

3.28

52.

892

2.65

92.

503

2.38

92.

303

2.23

52.

179

2.13

32.

060

1.98

21.

898

1.84

434

4.13

03.

276

2.88

32.

650

2.49

42.

380

2.29

42.

225

2.17

02.

123

2.05

01.

972

1.88

81.

833

354.

121

3.26

72.

874

2.64

12.

485

2.37

22.

285

2.21

72.

161

2.11

42.

041

1.96

31.

878

1.82

436

4.11

33.

259

2.86

62.

634

2.47

72.

364

2.27

72.

209

2.15

32.

106

2.03

31.

954

1.87

01.

815

374.

105

3.25

22.

859

2.62

62.

470

2.35

62.

270

2.20

12.

145

2.09

82.

025

1.94

61.

861

1.80

638

4.09

83.

245

2.85

22.

619

2.46

32.

349

2.26

22.

194

2.13

82.

091

2.01

71.

939

1.85

31.

798

394.

091

3.23

82.

845

2.61

22.

456

2.34

22.

255

2.18

72.

131

2.08

42.

010

1.93

11.

846

1.79

140

4.08

53.

232

2.83

92.

606

2.44

92.

336

2.24

92.

180

2.12

42.

077

2.00

31.

924

1.83

91.

783

Izvo

r:Vr

ijedn

osti 

su iz

raču

nate

 kor

isteći

 Exc

el fu

nkci

ju F

INV.

 n1

=st

upnj

evi s

lobo

de b

rojn

ika,

 n2=

stup

njev

i slo

bode

 naz

ivni

ka

n1

65

TablicaE.4:Jednostranekriti µcnevrijednostiFdistribucijeza1postozna µcajnosti

n2

12

34

56

78

910

1215

201

4052

.185

4999

.340

5403

.534

5624

.257

5763

.955

5858

.950

5928

.334

5980

.954

6022

.397

6055

.925

6106

.682

6156

.974

6208

.662

298

.502

99.0

0099

.164

99.2

5199

.302

99.3

3199

.357

99.3

7599

.390

99.3

9799

.419

99.4

3399

.448

334

.116

30.8

1629

.457

28.7

1028

.237

27.9

1127

.671

27.4

8927

.345

27.2

2827

.052

26.8

7226

.690

421

.198

18.0

0016

.694

15.9

7715

.522

15.2

0714

.976

14.7

9914

.659

14.5

4614

.374

14.1

9814

.019

516

.258

13.2

7412

.060

11.3

9210

.967

10.6

7210

.456

10.2

8910

.158

10.0

519.

888

9.72

29.

553

613

.745

10.9

259.

780

9.14

88.

746

8.46

68.

260

8.10

27.

976

7.87

47.

718

7.55

97.

396

712

.246

9.54

78.

451

7.84

77.

460

7.19

16.

993

6.84

06.

719

6.62

06.

469

6.31

46.

155

811

.259

8.64

97.

591

7.00

66.

632

6.37

16.

178

6.02

95.

911

5.81

45.

667

5.51

55.

359

910

.562

8.02

26.

992

6.42

26.

057

5.80

25.

613

5.46

75.

351

5.25

75.

111

4.96

24.

808

1010

.044

7.55

96.

552

5.99

45.

636

5.38

65.

200

5.05

74.

942

4.84

94.

706

4.55

84.

405

119.

646

7.20

66.

217

5.66

85.

316

5.06

94.

886

4.74

44.

632

4.53

94.

397

4.25

14.

099

129.

330

6.92

75.

953

5.41

25.

064

4.82

14.

640

4.49

94.

388

4.29

64.

155

4.01

03.

858

139.

074

6.70

15.

739

5.20

54.

862

4.62

04.

441

4.30

24.

191

4.10

03.

960

3.81

53.

665

148.

862

6.51

55.

564

5.03

54.

695

4.45

64.

278

4.14

04.

030

3.93

93.

800

3.65

63.

505

158.

683

6.35

95.

417

4.89

34.

556

4.31

84.

142

4.00

43.

895

3.80

53.

666

3.52

23.

372

168.

531

6.22

65.

292

4.77

34.

437

4.20

24.

026

3.89

03.

780

3.69

13.

553

3.40

93.

259

178.

400

6.11

25.

185

4.66

94.

336

4.10

13.

927

3.79

13.

682

3.59

33.

455

3.31

23.

162

188.

285

6.01

35.

092

4.57

94.

248

4.01

53.

841

3.70

53.

597

3.50

83.

371

3.22

73.

077

198.

185

5.92

65.

010

4.50

04.

171

3.93

93.

765

3.63

13.

523

3.43

43.

297

3.15

33.

003

208.

096

5.84

94.

938

4.43

14.

103

3.87

13.

699

3.56

43.

457

3.36

83.

231

3.08

82.

938

218.

017

5.78

04.

874

4.36

94.

042

3.81

23.

640

3.50

63.

398

3.31

03.

173

3.03

02.

880

227.

945

5.71

94.

817

4.31

33.

988

3.75

83.

587

3.45

33.

346

3.25

83.

121

2.97

82.

827

237.

881

5.66

44.

765

4.26

43.

939

3.71

03.

539

3.40

63.

299

3.21

13.

074

2.93

12.

780

247.

823

5.61

44.

718

4.21

83.

895

3.66

73.

496

3.36

33.

256

3.16

83.

032

2.88

92.

738

257.

770

5.56

84.

675

4.17

73.

855

3.62

73.

457

3.32

43.

217

3.12

92.

993

2.85

02.

699

267.

721

5.52

64.

637

4.14

03.

818

3.59

13.

421

3.28

83.

182

3.09

42.

958

2.81

52.

664

277.

677

5.48

84.

601

4.10

63.

785

3.55

83.

388

3.25

63.

149

3.06

22.

926

2.78

32.

632

287.

636

5.45

34.

568

4.07

43.

754

3.52

83.

358

3.22

63.

120

3.03

22.

896

2.75

32.

602

297.

598

5.42

04.

538

4.04

53.

725

3.49

93.

330

3.19

83.

092

3.00

52.

868

2.72

62.

574

307.

562

5.39

04.

510

4.01

83.

699

3.47

33.

305

3.17

33.

067

2.97

92.

843

2.70

02.

549

317.

530

5.36

24.

484

3.99

33.

675

3.44

93.

281

3.14

93.

043

2.95

52.

820

2.67

72.

525

327.

499

5.33

64.

459

3.96

93.

652

3.42

73.

258

3.12

73.

021

2.93

42.

798

2.65

52.

503

337.

471

5.31

24.

437

3.94

83.

630

3.40

63.

238

3.10

63.

000

2.91

32.

777

2.63

42.

482

347.

444

5.28

94.

416

3.92

73.

611

3.38

63.

218

3.08

72.

981

2.89

42.

758

2.61

52.

463

357.

419

5.26

84.

396

3.90

83.

592

3.36

83.

200

3.06

92.

963

2.87

62.

740

2.59

72.

445

367.

396

5.24

84.

377

3.89

03.

574

3.35

13.

183

3.05

22.

946

2.85

92.

723

2.58

02.

428

377.

374

5.22

94.

360

3.87

33.

558

3.33

43.

167

3.03

62.

930

2.84

32.

707

2.56

42.

412

387.

353

5.21

14.

343

3.85

83.

542

3.31

93.

152

3.02

12.

915

2.82

82.

692

2.54

92.

397

397.

333

5.19

44.

327

3.84

33.

528

3.30

53.

137

3.00

62.

901

2.81

42.

678

2.53

52.

382

407.

314

5.17

84.

313

3.82

83.

514

3.29

13.

124

2.99

32.

888

2.80

12.

665

2.52

22.

369

Izvo

r:Vr

ijedn

osti 

su iz

raču

nate

 kor

isteći

 Exc

el fu

nkci

ju F

INV.

 n1

=st

upnj

evi s

lobo

de b

rojn

ika,

 n2=

stup

njev

i slo

bode

 naz

ivni

ka

n1

66

Tablica E.5: Jednostrane kritiµcne vrijednosti �2 distribucije

n¡ k 0.995 0.990 0.975 0.95 0.9 0.5 0.1 0.05 0.025 0.01 0.005

1 0.000 0.000 0.001 0.004 0.016 0.455 2.706 3.841 5.024 6.635 7.8792 0.010 0.020 0.051 0.103 0.211 1.386 4.605 5.991 7.378 9.210 10.5973 0.072 0.115 0.216 0.352 0.584 2.366 6.251 7.815 9.348 11.345 12.8384 0.207 0.297 0.484 0.711 1.064 3.357 7.779 9.488 11.143 13.277 14.8605 0.412 0.554 0.831 1.145 1.610 4.351 9.236 11.070 12.832 15.086 16.7506 0.676 0.872 1.237 1.635 2.204 5.348 10.645 12.592 14.449 16.812 18.5487 0.989 1.239 1.690 2.167 2.833 6.346 12.017 14.067 16.013 18.475 20.2788 1.344 1.647 2.180 2.733 3.490 7.344 13.362 15.507 17.535 20.090 21.9559 1.735 2.088 2.700 3.325 4.168 8.343 14.684 16.919 19.023 21.666 23.589

10 2.156 2.558 3.247 3.940 4.865 9.342 15.987 18.307 20.483 23.209 25.18811 2.603 3.053 3.816 4.575 5.578 10.341 17.275 19.675 21.920 24.725 26.75712 3.074 3.571 4.404 5.226 6.304 11.340 18.549 21.026 23.337 26.217 28.30013 3.565 4.107 5.009 5.892 7.041 12.340 19.812 22.362 24.736 27.688 29.81914 4.075 4.660 5.629 6.571 7.790 13.339 21.064 23.685 26.119 29.141 31.31915 4.601 5.229 6.262 7.261 8.547 14.339 22.307 24.996 27.488 30.578 32.80116 5.142 5.812 6.908 7.962 9.312 15.338 23.542 26.296 28.845 32.000 34.26717 5.697 6.408 7.564 8.672 10.085 16.338 24.769 27.587 30.191 33.409 35.71818 6.265 7.015 8.231 9.390 10.865 17.338 25.989 28.869 31.526 34.805 37.15619 6.844 7.633 8.907 10.117 11.651 18.338 27.204 30.144 32.852 36.191 38.58220 7.434 8.260 9.591 10.851 12.443 19.337 28.412 31.410 34.170 37.566 39.99721 8.034 8.897 10.283 11.591 13.240 20.337 29.615 32.671 35.479 38.932 41.40122 8.643 9.542 10.982 12.338 14.041 21.337 30.813 33.924 36.781 40.289 42.79623 9.260 10.196 11.689 13.091 14.848 22.337 32.007 35.172 38.076 41.638 44.18124 9.886 10.856 12.401 13.848 15.659 23.337 33.196 36.415 39.364 42.980 45.55825 10.520 11.524 13.120 14.611 16.473 24.337 34.382 37.652 40.646 44.314 46.92826 11.160 12.198 13.844 15.379 17.292 25.336 35.563 38.885 41.923 45.642 48.29027 11.808 12.878 14.573 16.151 18.114 26.336 36.741 40.113 43.195 46.963 49.64528 12.461 13.565 15.308 16.928 18.939 27.336 37.916 41.337 44.461 48.278 50.99429 13.121 14.256 16.047 17.708 19.768 28.336 39.087 42.557 45.722 49.588 52.33530 13.787 14.953 16.791 18.493 20.599 29.336 40.256 43.773 46.979 50.892 53.67231 14.458 15.655 17.539 19.281 21.434 30.336 41.422 44.985 48.232 52.191 55.00232 15.134 16.362 18.291 20.072 22.271 31.336 42.585 46.194 49.480 53.486 56.32833 15.815 17.073 19.047 20.867 23.110 32.336 43.745 47.400 50.725 54.775 57.64834 16.501 17.789 19.806 21.664 23.952 33.336 44.903 48.602 51.966 56.061 58.96435 17.192 18.509 20.569 22.465 24.797 34.336 46.059 49.802 53.203 57.342 60.27536 17.887 19.233 21.336 23.269 25.643 35.336 47.212 50.998 54.437 58.619 61.58137 18.586 19.960 22.106 24.075 26.492 36.336 48.363 52.192 55.668 59.893 62.88338 19.289 20.691 22.878 24.884 27.343 37.335 49.513 53.384 56.895 61.162 64.18139 19.996 21.426 23.654 25.695 28.196 38.335 50.660 54.572 58.120 62.428 65.47540 20.707 22.164 24.433 26.509 29.051 39.335 51.805 55.758 59.342 63.691 66.766

Izvor: Vrijednosti su izračunate koristeći Excel funkciju CHIINV.

®

67

Bibliogra�ja

[1] Baltagi, B.H., (2011), Econometrics, peto izdanje, Springer Text in Bu-siness and Economics.

[2] Davidson, R., J.G. MacKinnon, (2004), Econometric Theory and Met-hods, Oxford University Press, New York.

[3] Greene, W.H., (2003), Econometric Analysis, peto izdanje, Prentice Hall,New Jersey.

[4] Gujarati, D.N., (2004), Basic Econometrics, µcetvrto izdanje, McGraw-Hill, New York.

[5] Hayashi, F., (2000), Econometrics, Princenton University Press, NewJersey.

[6] Kennedy, P., (2003), A Guide to Econometrics, peto izdanje, MIT Press,Cambridge, Massachusetts.

[7] Pindyck R.S., D.C. Rubenfeld, (1998), Econometric Models and Econo-mic Forecasts, µcetvrto izdanje, McGraw-Hill, New York.

[8] Verbeek, M., (2005), A Guide to Modern Econometrics, drugo izdanje,John Wiley & sons, West Sussex, England.

[9] Wooldridge, J., (2006), Introductory Econometrics: A Modern Approach,trece izdanje, South-Western Pub.

68