Download pdf - osnove statistike-regresija

OSNOVE STATISTIKE

Regresijska i korelacijska analiza


z Dio statistike koji prouava povezanost i uzajamni odnos meu pojavama, koristei pri tomu matematike relacije, naziva se korelacija.

z Veze meu pojavama mogu biti funkcionalne (ili deterministike) i statistike ( ili stohastine).

z Glavna zadaa korelacijske analize je otkrivanje zakonitosti i pravilnosti koje vladaju u odnosima meu masovnim statistikim pojavama, te kreiranje matematikih modela koji pomou simbola opisuju ponaanje pojava u stvarnim uvjetima funkcioniranja.

z Korelacijska analiza ukljuuje konstrukciju grafikona za prikaz kovarijacije pojava (varijabli) i utvrivanje brojanih pokazatelja jakosti i smjera veze izmeu varijabli.


z Kada se u analizi meuzavisnosti definira koja je varijabla zavisna a koja nezavisna onda se koriste metode regresijske analize.

z Zavisnost pojava se utvruje prema prethodnim teorijskim i empirijskim saznanjima o prirodi pojava i njihovim odnosima.

z Matematiki izraz koji pokazuje kako na vrijednost zavisne varijable utjee vrijednost jedne ili vie nezavisnih varijabli naziva se regresijski model.

z Regresijski model predstavlja matematiku funkciju kojom se opisuje zavisnost jedne (zavisne) varijable o jednoj ili vie nezavisnih varijabli.

Modeli regresijez Opi oblik modela regresije je:

z Model se sastoji od deterministikog dijela, koji predstavlja matematiku funkciju kojom se izraava zavisnost zavisne varijable od odreenog broja nezavisnih varijabli, i stohastinog dijela koji predstavlja odstupanje od funkcionalne zavisnosti

z Modele regresije moemo podijeliti s obzirom na broj nezavisnih varijabli ukljuenih u model i s obzirom na oblik matematike funkcije deterministikog dijela modela

H ),...,,( 21 kXXXfY

Modeli regresije

zS obzirom na broj nezavisnih varijabli u modelu, modeli regresije se dijele na modele jednostavne regresije i modele viestruke regresije.zModel jednostavne linearne regresije ima

jednu zavisnu i jednu nezavisnu varijablu.zModel viestruke regresije ima jednu

zavisnu i vie nezavisnih varijabli

Modeli regresije

z Prema obliku matematike funkcije deterministikog modela, modele regresije dijelimo na linearne i nelinearne ili krivolinijske modele.z Veza meu varijablama kod linearnog modela

predoena je linearnom funkcijom, iji je graf pravac.z Veza izmeu varijabli kod krivolinijske regresije

ima oblik neke druge matematike funkcije, iji je graf neka kriva linija.

Modeli regresije

z Cilj regresijske analize je utvrditi smjer, oblik i jainu veze izmeu analiziranih pojava.

z Smjer veze moe biti pozitivan i negativan. z Oblik veze definiran je oblikom matematike funkcije koja

predstavlja deterministiki dio modela regresije. Tako postoje linearni i krivolinijski modeli.

z Jaina veze se odreuje analizom sluajne varijable regresijskog modela. Sluajnom varijablom se predouju nesistemski utjecaji, odnosno utjecaji pojava koje nisu ukljuene u model.

z Kao prvi korak u analizi zavisnosti dviju sluajnih varijabli uobiajeno se empirijski podaci prikazuju grafiki. U koordinatni sustav se ucrtavaju toke odreene parovima vrijednosti . Tako dobiveni dijagram se naziva dijagram rasipanja (scatter diagram).

ii yx ,

Karakteristini oblici dijagrama rasipanja

Pozitivna, linearna funkcionalna veza

y i

x iNegativna, linearna funkcionalna veza

x i

y i

Pozitivna,linearna jaka stohastina veza

x i

y i

Negativna, linearna umjerena stohastina vezax i

y i

Karakteristini oblici dijagrama rasipanja

Pozitivna, linearna slaba statistika veza

x i

y i

Negativna, linearna slaba stohastina vezax i

y i

Nepostojanje veze x i

y i

Krivolinijska stohastina veza

x i

yi

Modeli regresije jednostavna linearna regresijaz Model jednostavne linearne regresije, opi oblik

modela je:

z U modelu jednostavne linearne regresije vrijednost zavisne varijable Y je linearna kombinacija vrijednosti nezavisne varijable X, parametara modela i sluajne varijable.

z Funkcionalni dio modela odreen je ako su poznate vrijednosti parametara

z Vrijednost parametara se procjenjuje empirijski ili pomou izmjerenih n parova vrijednosti varijable X i Y

iii exbby 10

10 bib

Modeli regresije jednostavna linearna regresija

z Analiza modela u domeni deskriptivne statistike vri se izraunavanjem vrijednosti parametara i pokazatelja reprezentativnosti modela, a to su varijanca, standardna devijacija, koeficijent varijacije i koeficijent determinacije.

z Vrijednost procijenjenih parametara se izraunava iz n izmjerenih parova vrijednosti x i y.

z Prema tome i vrijednosti pokazatelja se odnose samo na n izmjerenih parova podataka.

Modeli regresije jednostavna linearna regresijaz Parametri procijenjenog modela se odreuju tako da

odstupanja izmjerenih vrijednosti od procijenjene vrijednosti zavisne varijable pomou modela budu to manja.

z Postoji vie metoda procjene parametara, a najee se koristi metoda minimalnih kvadrata odstupanja. Parametri procijenjeni metodom minimalnih kvadrata odstupanja opisuju pravac za koji je zbroj rezidualnih kvadrata odstupanja minimalan.

z Parametri se izraunavaju pomou izraza:

2

1

2

11

xnx

yxnyxb n

ii

n

iii

xbyb 0

Modeli regresije jednostavna linearna regresijaz Parametar predstavlja konstantni lan modela, a

parametar je regresijski koeficijent.z Konstantan lan je vrijednost zavisne varijable kada

je vrijednost nezavisne varijable jednaka nuli. Za veinu primjera nema konkretno znaenje.

z Regresijski koeficijent predstavlja linearnu promjenu zavisne varijable za jedinino poveanje nezavisne varijable.

z Regresijske vrijednosti se dobivaju uvrtavanjem odgovarajuih vrijednosti nezavisne varijable x u model regresije.

z Rezidualna odstupanja su odstupanja izmjerenih vrijednosti zavisne varijable od regresijskih vrijednosti.

0b

0b1b

1b

Modeli regresije jednostavna linearna regresija

Podaci o cijeni i prodaji proizvoda A

0

5

10

15

20

0 2 4 6 8 10

Cijena

Prod

aja

Empirijski podaci Linearni model regresije

(x, y )

(0, b 0 )

Modeli regresije jednostavna linearna regresijaz Razlike vrijednosti izmjerenih vrijednosti zavisne varijable

i regresijskih vrijednosti predstavljaju rezidualna odstupanja i oznaavaju se sa .

z Ovako dobivena odstupanja su izraena u mjernim jedinicama zavisne varijable Y i nazivaju se apsolutna rezidualna odstupanja, .

z Relativna rezidualna odstupanja su izraena u postotcima i dobiju se tako to se apsolutno odstupanje podijeli izmjerenom vrijednosti varijable, zatim omjer pomnoi sa 100,

z Rezidualna odstupanja se mogu izraziti i u standardnim devijacijama, pa se nazivaju standardizirana rezidualna odstupanja. Dobivaju se tako da se apsolutna odstupanja podijele standardnom devijacijom modela regresije,

ie

iii yye

y

iii

yye VV

,

100

,

i

iireli y

yye

Modeli regresije jednostavna linearna regresijaz Model regresije je reprezentativniji to su manja rezidualna

odstupanja.z Kakvoa modela se mjeri odgovarajuim pokazateljima, a

najznaajniji su:- Varijanca ili prosjeno kvadratno odstupanje, dobiva se tako

da se zbroj kvadrata rezidualnih odstupanja podijeli brojem podataka.

- Standardna greka modela ili prosjeno odstupanje podataka od regresijskih vrijednosti, dobiva se kao pozitivni drugi korijen iz varijance.

- Koeficijent varijacije je omjer standardne devijacije i prosjene vrijednosti zavisne varijable, pomnoeno sa 100.

n

iiiy yyn 1

22

1V

100 yVy

y

V

Modeli regresije jednostavna linearna regresijaz U analizi reprezentativnosti regresijskog pravca koristi se

koeficijent determinacije.z Koeficijent determinacije je relativna mjera prilagoenosti

regresijskog pravca empirijskim podacima.z Dobiva se kao omjer protumaenog dijela zbroja kvadrata

odstupanja i ukupnog zbroja kvadrata odstupanja.z Ukupno odstupanje empirijskih podataka (varijabla y) od

prosjene vrijednosti varijable y se rastavlja na dio odstupanja protumaen modelom regresije (razlika regresijske vrijednosti i prosjene vrijednosti) i dio ne protumaen modelom (razlika izmeu izmjerene i regresijske vrijednosti)

z Koeficijent determinacije uzima vrijednosti iz intervala 0 i 1.

n

ii

n

ii

yy

yyr

1

2

1

2

2

Nelinearni regresijski modeli

z Povezanost dvije pojave ne moe se uvijek izraziti linearnim modelom. Zbog toga se u izgradnji modela regresije koriste razliiti oblici funkcija, pa se takvi modeli zovu nelinearni ili krivolinijski modeli regresije.

z U praksi se najee koriste modeli koji se postupkom transformacije mogu prevesti u modele jednostavne linearne regresije i modeli polinomske regresije.

z Od modela koji se mogu transformirati u modele jednostavne linearne regresije najee se koriste:

- eksponencijalni modeli,- multiplikativni model,- logaritamski model i- reciproni model.


z Kod svih modela regresije radi se o statistikoj meuzavisnosti pojava, pa modeli imaju funkcionalni dio i sluajnu promjenjivu. z Analiza funkcionalnog dijela zavisi od oblika

funkcije koji se koristi, a analiza rezidualnih odstupanja se provodi na isti nain bez obzira na oblik funkcije. Zbog toga je kod krivolinijskihmodela navedena analiza samo funkcionalnog dijela.z Analiza rezidualnih odstupanja provodi se

izraunavanjem istih pokazatelja reprezentativnosti kao kod linearnog modela.


z Funkcionalni dio eksponencijalni model ima oblik:

z Logaritmiranjem izraza dobiva se linearizirani model:

z Analiza transformiranog modela provodi se na isti nain kao kod linearnih modela, uz napomenu da je kod interpretacije rezultata nuno voditi rauna koje su varijable ili parametri transformirani.

z U navedenom modelu izvrena je transformacija zavisne varijable i koriste se logaritamske vrijednosti varijable .

z Vrijednosti parametara koji se procjenjuju pomou empirijskih vrijednosti se dobivaju u logaritamskim vrijednostima.

ixi bby 10

ii xbby 10 logloglog

iylog


z Vrijednost parametara, odnosno njihovih logaritamskih vrijednosti se dobiva pomou izraza:

n

ii

n

iii

xnx

yxnyxb

1

22

11

logloglog xbyb 10 logloglog

Nelinearni regresijski modeliz Vrijednost parametara originalnog modela dobiva

se antilogaritmiranjem. z Parametar predstavlja vrijednost zavisne

varijable kada nezavisna varijabla ima vrijednost nula. Kao i kod linearnog modela uglavnom nema stvarno znaenje.

z Vrijednost parametra pokazuje relativnu promjenu zavisne varijable za jedinino relativno poveanje nezavisne varijable. Tumai se uglavnom kao postotna promjena. Znai, ako se nezavisna varijabla povea za 1% zavisna varijabla e se promijeniti u postotcima za iznos pomnoen sa sto.

0b

1b

10011 b


z Logaritamski model koristi transformaciju nezavisne varijable ( ), a opi oblik regresije je:

z Model s procijenjenim parametrima se dobiva pomou izmjerenih n parova vrijednosti zavisne i nezavisne varijable,

z Vrijednosti parametara procijenjenog modela se izraunavaju pomou izraza:

ixlog ii xbby log 10

ii yx ,

n

ii

n

iii

xnx

yxnyxb

1

22

11

loglog

loglogxbyb log10


z Parametar predstavlja vrijednost zavisne varijable kada je nezavisna varijabla jednaka jedan .

z Parametar pokazuje prosjeno linearno poveanje zavisne varijable kada se logaritam nezavisne varijable povea za jedan (vrijednost logaritma 0, 1, 2, 3, 4, imaju redom brojevi 1, 10, 100, 1000, 10000,)

z Reciproni model regresije ima oblik:

z Koritenjem reciprone vrijednosti za zavisnu varijablu , model se transformira u linearni oblik:

0b 01log

1b

ii xbb

y10

1

iy1

ii

xbby 101

Model polinomske regresije

z U izboru tipa krivulje koja je najbolje prilagoena tokama u dijagramu rasipanja moe se poi od modela polinomskeregresije. Opi oblik polinomske regresije je:

z Koeficijenti polinoma , su parametri modela regresije kojetreba procijeniti. Procjena parametara vri se pomou izmjerenih n parova vrijednosti zavisne i nezavisne varijable ,

kik

jijiii xbxbxbxbby ........ 2210

jb

ii yx ,


z U modelu polinomske regresije vrijednost zavisne varijable je kombinacija nepoznatih parametara , numerikih vrijednosti nezavisne varijable s razliitim stupnjevima i nepoznatih vrijednosti sluajne varijable.

Ovdje je prikazan samo funkcionalni dio modela, a analiza sluajne varijable ili rezidualnih odstupanja se provodi na isti nain kao kod modela jednostavne linearne regresije.

Procjena parametara se provodi metodom minimalnih kvadrata odstupanja, slino kao kod modela jednostavne linearne regresije, samo je broj normalnih jednadbi jednak broju nepoznatih parametara.

iyjb kj ,...,2,1


z U zavisnosti od vrijednosti k imamo polinome razliitog stupnja. Za imamo polinom prvog stupnja ili linearnu funkciju; za polinom je drugog stupnja ili kvadratna funkcija iji graf je parabola; za polinom je treeg stupnja

z Teorijski k moe uzeti bilo koju vrijednost iz skupa prirodnih brojeva, ali se u praksi koriste uglavnom polinomi drugog i treeg stupnja.

z Porastom stupnja polinoma, procjena parametara modela polinomske regresije postaje matematiki znatno sloenija, a javlja se i problem tumaenja izraunatih parametara.

1 k2 k

3 k


z Za model kvadratne regresije procijenjeni model ima oblik:

z Graf kvadratne funkcije je parabola, a procjena regresijskih koeficijenata , i se dobiva rjeavanjem sustava normalnih jednadbi:

2210 iii xbxbby

n

i

n

iiii

n

i

n

iii

n

i

n

i

n

iiiii

n

ii

n

i

n

i

n

iiii

yxxbxbxb

yxxbxbxb

yxbxbnb

1 1

242

1 1

31

20

1 1 1

32

21

10

1 1 1

2210

0b 1b 2b

Korelacijski analiza

zKorelacijskom analizom se utvruje postojanje i jaina statistike veze meu pojavama. Za dvije pojave predoene kvantitativnim varijablama jaina veze se mjeri koeficijentom korelacije.zAko su pojave predoene varijablama

ranga, stupanj statistike povezanosti se mjeri koeficijentom korelacije ranga.


z Polazna veliina za izraunavanje koeficijenta korelacije izmeu dvije numerike varijable je kovarijanca. Ako je za dvije numerike varijable X i Y izmjereno n parova njihovih vrijednosti , kovarijanca predstavlja prvi mjeoviti moment vrijednosti varijabla oko njihovih sredina. Izraz za kovarijancu je:

z Kovarijanca je aritmetika sredina umnoaka odstupanja vrijednosti varijable X od njezine aritmetike sredine i odstupanja vrijednosti varijable Y od njezine aritmetike sredine. Moe uzimati pozitivne i negativne vrijednosti i ovisna je o mjernim jedinicama varijable X i Y, pa se njome prosuuje postojanje i smjer veze, ali ne i stupanj veze.

ii yx , ni ,...,2,1

n

iii yyxxn

M1

111


z Stupanj veze se mjeri Pearsonovim koeficijentom linearne korelacije koji se dobiva tako da se prvi mjeoviti moment podijeli sa standardnim devijacijama varijabla X i Y. Izraz za koeficijent korelacije je:

z ili u razvijenom obliku navedeni izraz ima oblik:

yx

Mr VV11 11 dd r

n

ii

n

ii

n

iii

ynyxnx

yxnyxr

1

22

1

22

1


z Spearmanov koeficijent korelacije ranga se izraunava pomou parova modaliteta rang-varijabla ili numerikih varijabla transformiranih u rang-varijable.

z Spearmanov koeficijent korelacije je dan izrazom:

z Koeficijent korelacije ranga poprima vrijednosti iz zatvorenog intervala od minus jedan do plus jedan.

nn

dr

n

ii

s 3

1

261 iii yrxrd

11 dd sr