Regresija i Korelacija

REGRESIJSKA I KORELACIJSKA REGRESIJSKA I KORELACIJSKA REGRESIJSKA I KORELACIJSKA REGRESIJSKA I KORELACIJSKA REGRESIJSKA I KORELACIJSKA REGRESIJSKA I KORELACIJSKA REGRESIJSKA I KORELACIJSKA REGRESIJSKA I KORELACIJSKA

ANALIZAANALIZAANALIZAANALIZAANALIZAANALIZAANALIZAANALIZA

REGRESIJSKA I KORELACIJSKA ANALIZAREGRESIJSKA I KORELACIJSKA ANALIZAREGRESIJSKA I KORELACIJSKA ANALIZAREGRESIJSKA I KORELACIJSKA ANALIZA

Neke pojave u poslovanju, gospodarstvu i drugim područjima djelatnosti međusobno su povezane i uvjetovanepovezane i uvjetovane, npr. povećanje opsega proizvodnje povećava ukupne troškove; osobna potrošnja stanovništva ovisi o raspoloživom dohotku i dr.

Cilj istraCilj istražživanja odnosa među pojavamaivanja odnosa među pojavamaje utvrditi statističku ovisnost i pokazatelje jakosti takve ovisnosti. U tu svrhu koriste se metode regresijske i korelacijske analize (regresijaregresija =statistički odnos među pojavama; korelacijakorelacija = uzajamna ovisnost).

Funkcionalne i statistiFunkcionalne i statistiFunkcionalne i statistiFunkcionalne i statističčččke vezeke vezeke vezeke veze

Odnosi (veze) među pojavama mogu biti funkcionalni i statistički (stohastički):

�� Funkcionalni odnosi (veze) Funkcionalni odnosi (veze) su postojani, izražavaju zakonitosti koje se iskazuju analitički (formulom, jednadžbom). Svakoj vrijednosti jedne pojave odgovara točno određena vrijednost druge pojave. Primjer:Primjer: površina kvadrata ovisi o njegovoj stranici. Odnos je funkcionalan, jer se izražava jednadžbom (P=a2).

�� StatistiStatističčki ili stohastiki ili stohastiččki odnosi (veze) ki odnosi (veze) su slabiji od funkcionalnih. Svakoj vrijednosti jedne pojave odgovara više različitih vrijednosti druge pojave. Takva odstupanja su u praksi češća.Primjer:Primjer: zaposlenici iste stručne spreme imaju različite (a ne iste) plaće; kućanstva s istim dohotkom imaju različitu (a ne istu) razinu potrošnje; sve osobe iste visine nemaju jednaku težinu i dr.

REGRESIJSKA ANALIZAREGRESIJSKA ANALIZAREGRESIJSKA ANALIZAREGRESIJSKA ANALIZA

Za statističku analizu potrebno je izabrati:

�� empirijske vrijednosti empirijske vrijednosti za varijable XX i YY�� oblik modelaoblik modela, tj. funkciju f(X)f(X)

Pomoćno sredstvo za izbor funkcije je dijagram rasipanjadijagram rasipanja (grafički prikaz empirijskih vrijednosti).


Dijagram rasipanja Dijagram rasipanja u pravokutnom koordinatnom sustavu točkama prikazuje parove vrijednosti dviju promatranih numeričkih varijabli.

yi

xi

(a) (a) pozitivna funkcionalnapozitivna funkcionalna

vezaveza

yi

xi

((bb) pozitivna statisti) pozitivna statističčkaka

vezaveza


(c) (c) negativna funkcionalnanegativna funkcionalna

vezaveza

yi

xi

yi

xi

(d) (d) negativna statistinegativna statističčkaka

vezaveza


(e) (e) pozitivna funkcionalnapozitivna funkcionalna

krivolinijska vezakrivolinijska veza

yi

xi

yi

xi

(f) (f) pozitivna statistipozitivna statističčkaka

krivolinijska vezakrivolinijska veza


Uzastopne vrijednosti ne kovariraju, tj. nisu međusobno korelirane:

(g)(g) nema veze među nema veze među

pojavamapojavama

yi

xi


�Pod pojmom korelacijakorelacija podrazumijeva se međuzavisnost ili povezanost slučajnih varijabli.

� Po smjerusmjeru korelacija može biti pozitivna i negativna. � Pozitivna korelacija je prisutna kada rast jedne varijable prati rast druge promatrane varijable, odnosno kada pad jedne prati pad druge varijable.

� Negativna korelacija prisutna je kada rast jedne varijable prati pad druge varijable i obratno.

�Za razliku od korelacijske analize zadaća regresijske regresijske analizeanalize je da pronađe analitičko-matematički oblik veze između jedne ovisne ili regresand varijable i jedne ili više neovisnih ili regresorskih varijabli.

Model jednostavne linearne regresijeModel jednostavne linearne regresijeModel jednostavne linearne regresijeModel jednostavne linearne regresije

Ako su u analizi prisutne samo dvije varijable tada se radi o jednostavnoj regresijijednostavnoj regresiji. Na temelju uzorka parova vrijednosti varijabli X i Y crta se dijagram rasipanja:

y

xxi

yi


Y Y –– zavisna varijablazavisna varijabla, vrijednost pojave čije se varijacije objavarijacije objaššnjavaju njavaju modelommodelom (npr. broj kupljenih proizvoda A)

X X –– nezavisna varijablanezavisna varijabla, stvarne vrijednosti pojave kojom se objaobjaššnjavaju varijacije zavisne varijablenjavaju varijacije zavisne varijable (npr. spol, dob)

Jednostavna linearna regresija Jednostavna linearna regresija predstavlja odnos između dvije pojave i to takav da promjenu jedne pojave prati približno linearna promjena druge:

Y = f(X) + e

f(X) = a + b X

Deterministički dio modela glasi:

Y = deterministička komponenta + slučajna pogreška

iii ebXaY ++=

y

xxi

yi

ei

bXaY +=ˆ

eeii –pogrepogrešška relacijeka relacije, varijabla koja izražava nepoznate i apstrahirane utjecaje na varijaciju varijable Y

• Svaka točka dijagrama rasipanja zadovoljava jednadžbu:

odnosno svaka tosvaka toččka Yka Yii odstupa od linije pravca za pozitivnu odstupa od linije pravca za pozitivnu ili negativnu razliku eili negativnu razliku eii.


1. Regresijska funkcija1. Regresijska funkcija1. Regresijska funkcija1. Regresijska funkcija

gdje je:

�� aa konstantni konstantni ččlanlan, tj. otj. oččekivana vrijednost zavisne ekivana vrijednost zavisne varijable kada je nezavisna varijabla jednaka nulivarijable kada je nezavisna varijabla jednaka nuli::

bXaY +=ˆ

Ya =

Ocijenjeni model Ocijenjeni model glasi:

•• Regresijski koeficijent Regresijski koeficijent bb pokazujepokazuje prosjeprosječčnu promjenu nu promjenu zavisne varijable kada se nezavisna varijabla promjeni zavisne varijable kada se nezavisna varijabla promjeni za jedinicu mjereza jedinicu mjere. Ovaj parametar interpretira se i kao koeficijent smjera, odnosno nagiba regresijskog pravca koji može imati pozitivni i negativni predznak, ovisno o smjeru veze između promatranih varijabli.

(kada je X=0). Ovaj parametar interpretira se i kao odsječak na osi koordinata u kojoj regresijski pravac siječe os, uz pretpostavku da je apscisa te točke X=0.

2. Regresijska funkcija2. Regresijska funkcija2. Regresijska funkcija2. Regresijska funkcija

Može se postaviti i suprotna ovisnost u modelusuprotna ovisnost u modelu, na način da je varijabla X sada ovisna ili varijabla X sada ovisna ili regresorska varijablaregresorska varijabla:

Xi = a’ + b’Yi + ei

Ocjena parametara u ovom slučaju vrši se na jednak način kao kod početnog modela , samo što je sada X ovisna varijabla, pa u izrazima za izračunavanje parametara (metoda najmanjih kvadrata), X i Ymijenjaju mjesta.

Procjena parametara modelaProcjena parametara modelaProcjena parametara modelaProcjena parametara modela

∑

∑

=

=

−

−=

n

i

i

n

i

ii

xnx

yxnyx

b

1

22

1

Parametri Parametri modela jesu:

xbya −=

ModelModel jednostavne linearne regresije (regresijska funkcija) s procijenjenim parametrima glasi:

bxay +=ˆ

Regresijske jednadRegresijske jednadRegresijske jednadRegresijske jednadžžžžbebebebe

Za dvije varijable (X i Y) moguće je postaviti dva regresijska modela:

�� XX nezavisna varijabla, a YY zavisna varijabla

�� YY nezavisna varijabla, a XX zavisna varijabla

Prva regresijska jednadPrva regresijska jednadPrva regresijska jednadPrva regresijska jednadžžžžbabababa

ubxay ++=ˆ

yyu iiˆ−=

( )bxayu ii +−=

∑

∑

=

=

−

−=

n

i

i

n

i

ii

xnx

yxnyx

b

1

22

1 xbya −=

Parametri regresijske jednadžbe:

ui ⇒ pogreška relacije

Prva regresijska jednadžba (yy zavisna varijabla):

Druga regresijska jednadDruga regresijska jednadDruga regresijska jednadDruga regresijska jednadžžžžbabababa

'''ˆ uybax ++=

xxu iiˆ' −=

( )ybaxu ii ''' +−=

∑

∑

=

=

−

−=

n

i

i

n

i

ii

yny

yxnyx

b

1

22

1' ybxa '' −=

'

iu

Parametri regresijske jednadžbe:

⇒ pogreška relacije

Druga regresijska jednadžba (xx zavisna varijabla):

Reprezentativnost linearne regresijeReprezentativnost linearne regresijeReprezentativnost linearne regresijeReprezentativnost linearne regresije

Nakon ocjene parametara regresijskog modela postavlja se pitanje reprezentativnostireprezentativnosti, odnosno sposobnosti modela da objasni kretanje ovisne varijable Y uz pomoć odabrane neovisne varijable X.

Varijanaca regresije Varijanaca regresije je aritmetička sredina kvadrata rezidualnih odstupanja:

( )

n

yyn

i

ii

y

∑=

−= 1

2

2

ˆ

ˆ

σ

( )

n

yyn

i

ii

y

∑=

−= 1

2

ˆ

ˆ

σ

Standardna devijacija regresijeStandardna devijacija regresije je apsolutni pokazatelj reprezentativnosti regresijskog modela, a pokazuje prosječni stupanj varijacije stvarnih vrijednosti ovisne varijable u odnosu na očekivane regresijske vrijednosti:


�Relativni pokazatelj reprezentativnosti regresijskog modela je koeficijent varijacije regresijekoeficijent varijacije regresije, koji predstavlja postotak standardne pogreške regresije od aritmetičke sredine varijable Y.

�Što je koeficijent varijacije regresijskog modela bliži nuli, to je model reprezentativniji.

�Često se uzima dogovorena granica reprezentativnosti od 10%. Dakle ako je koeficijent varijacije manji od 10% kaže se da je model reprezentativan (dobar).

100ˆ

ˆ ⋅=y

Vy

y

σ


Odstupanja protumaOdstupanja protumaččena modelom ena modelom (SP = ST – SR):

( )∑=

−=n

i

i yySP1

2ˆ

( )∑=

−=n

i

i yyST1

2

( )∑=

−=n

i

i yySR1

2ˆ

Ukupna odstupanjaUkupna odstupanja:

NeprotumaNeprotumaččena odstupanjaena odstupanja:


Koeficijent determinacije Koeficijent determinacije –– RR22 predstavlja omjer protumačenih i ukupnih odstupanja:

ST

SPR =2

10 2 ≤≤ R

Visina koeficijenta determinacije govori o reprezentativnosti modela – model je reprezentativniji što je R2 bliži 1:

Procjena koeficijenta korelacije Procjena koeficijenta korelacije Procjena koeficijenta korelacije Procjena koeficijenta korelacije

Najpoznatija mjera linearne korelacije između slučajnih varijabli je Pearsonov koeficijent linearne korelacije Pearsonov koeficijent linearne korelacije (r)(r).

Vrijednost koeficijenta korelacije kreće se u intervalu:

-1≤ r ≤1

Koeficijent korelacije (r) Koeficijent korelacije (r) predznak dobiva prema predznaku parametra bb, a može se izračunati iz koeficijenta determinacije:

2Rr =


U skladu s veličinom ovog koeficijenta može se zaključiti smjer i intenzitet linearne korelacije među promatranim varijablama:

Chadockova ljestvicaChadockova ljestvica

R2 r Objašnjenje

0 0 Odsutnost veze

0,00-0,25 0,00-0,50 Slaba veza

0,25-0,64 0,50-0,80 Veza srednje jakosti

0,64-1 0,80-1 Čvrsta veza

1 1 Potpuna veza


NAPOMENA:NAPOMENA:

� prije donošenja zaključka provjeriti koeficijent varijacije koeficijent varijacije regresijske funkcije (je li zaista riječ o linearnoj funkciji)

� kod donošenja zaključka treba tumačiti i koeficijent determinacije koeficijent determinacije i koeficijent koeficijent korelacije korelacije


Primjer 1.Primjer 1.Tablica 1. Godine obrazovanja i prosječne plaće

zaposlenika u trgovini «Z» u 2009. god.

Godine obrazovanja (xi)

Prosječna neto mjesečna plaća u kn (yi)

6 3.5008 3.60010 3.60012 4.10012 4.20014 4.90014 4.70015 4.90016 5.80018 6.500125 45.800

Izvor: Podaci trgovine «Z», 2010. god.

Zadatak je:a) nacrtati dijagram rasipanjab) ocijeniti parametre jednadžbi

pravaca linearne regresijec) izračunati koeficijent

determinacijed) izračunati Pearsonov

koeficijent linearne korelacijee) izračunati koeficijent

varijacije regresije

Dijagram rasipanjaDijagram rasipanjaDijagram rasipanjaDijagram rasipanja

0

1.000

2.000

3.000

4.000

5.000

6.000

7.000

5 7 9 11 13 15 17 19

Mje

sečna p

laća

Godine obrazovanja

Izvor: Podaci trgovine «Z», 2010.god.

Grafikon 1. Godine obrazovanja i prosječne plaćezaposlenika u trgovini «Z» u 2009. god.

Primjer 1.Primjer 1.

(xi) (yi)

6 3.5008 3.60010 3.60012 4.10012 4.20014 4.90014 4.70015 4.90016 5.80018 6.500125 45.800

xiyi

21.00028.80036.00049.20050.40068.60065.80073.50092.800117.000603.100

36641001441441961962252563241.685

2

ix JednadJednadžžba prvog pravca regresije:ba prvog pravca regresije:

8,2495,12101685

45805,12106031002

1

22

1 =⋅−

⋅⋅−=

−

−=

∑

∑

=

=n

i

i

n

i

ii

XnX

YXnYX

b

6,14575,128,2494580 =⋅−=−= XbYa

XbXaY 8,2495,1457ˆ +=+=

Regresijski koeficijent (b) pokazuje da se mjesečna neto plaća povećava u prosjeku za 249,8 kn kada se dužina obrazovanje produži za 1 godinu.

458010

458001 ===∑

=

n

y

y

n

i

i

5,1210

1251 ===∑

=

n

x

x

n

i

i


(xi) (yi)

6 3.5008 3.60010 3.60012 4.10012 4.20014 4.90014 4.70015 4.90016 5.80018 6.500125 45.800

xiyi

21.000

28.800

36.000

49.200

50.400

68.600

65.800

73.500

92.800

117.000603.100

12.250.000

12.960.000

12.960.000

16.810.000

17.640.000

24.010.000

22.090.000

24.010.000

33.640.000

42.250.000218.620.000

2

iy JednadJednadžžba drugog pravca regresije:ba drugog pravca regresije:

Regresijski koeficijent (b’) pokazuje da se obrazovanje produžilo u prosjeku za 0,0035 godine ukoliko se mjesečna neto plaća povećala za 1 kn.

0035,0458010218620000

45805,1210603100'

2

1

22

1 =⋅−⋅⋅−

=−

−=

∑

∑

=

=n

i

i

n

i

ii

YnY

YXnYX

b

53,345800035,05,12'' −=⋅−=−= YbXa

YYbaX 0035,053,3''ˆ +−=+=

4580=y5,12=x

Primjer 1.Primjer 1.�� Koeficijent determinacijeKoeficijent determinacije

ST

SPR =2

( )∑=

−=n

i

yySP1

2

1ˆ

( )∑=

−=n

i

i yyST1

2

(xi) (yi)

6 3.500

8 3.600

10 3.600

12 4.100

12 4.200

14 4.900

14 4.700

15 4.900

16 5.800

18 6.500

125 45.800

2.956

3.456

3.956

4.455

4.455

4.955

4.955

5.204

5.454

5.954

45.800

iy

2636316

1263560

389988

15600

15600

140395

140395

389987

764375

1887539

7643754

1166400

960400

960400

230400

144400

102400

14400

102400

1488400

3686400

8856000

XY 8,2492,1457ˆ +=

( )2ˆ yyi − ( )2

yyi −

7643754=SP

8856000=ST

863,08856000

76437542 ==R

�� Pearsonov koeficijent korelacijePearsonov koeficijent korelacije 2Rr = 93,0863,0 ==r


(xi) (yi)

6 3.5008 3.60010 3.60012 4.10012 4.20014 4.90014 4.70015 4.90016 5.80018 6.500125 45.800

295.58120.760

126.387126.09765.0772.991

64.86992.714

119.519298.250

1.212.245

Varijanca regresije:Varijanca regresije:

Koeficijent varijacije regresije manji je od 10% pa je ocijenjeni model regresije reprezentativan.

�� Koeficijent varijacije regresijeKoeficijent varijacije regresije

( )

n

yyn

i

ii

y

∑=

−= 1

2

2

ˆ

ˆ

σ

( )∑=

−=n

i

ii yySR1

2ˆ

5,12122410

12122452

ˆ ==yσ

1212245=SR

2

ˆˆ yy σσ =

Standardna devijacija regresije:Standardna devijacija regresije:

17,3485,121224ˆ ==yσ

Koeficijent varijacije regresije:Koeficijent varijacije regresije:

100ˆ

ˆ ⋅=y

Vy

y

σ%6,7100

4580

17,348ˆ =⋅=yV

( )2ˆ

ii yy −

KOEFICIJENT KORELACIJE RANGA

Koeficijent korelacije rangaKoeficijent korelacije rangaKoeficijent korelacije rangaKoeficijent korelacije ranga

� Koeficijent korelacije ranga koristi se za ispitivanje stupnja veze između pojava ispitivanje stupnja veze između pojava danih u obliku modaliteta ordinalne (redoslijedne, ordinalne (redoslijedne, rang) varijablerang) varijable.

� Najpoznatija mjera korelacije ranga između dviju varijabli je Spearmanov koeficijent Spearmanov koeficijent korelacije ranga (rkorelacije ranga (rSS)).

Spearmanov koeficijent korelacije Spearmanov koeficijent korelacije Spearmanov koeficijent korelacije Spearmanov koeficijent korelacije

Postupak:kreiraju se parovi vrijednosti varijabli ranga:r(xr(xii), r(y), r(yii)), i=1,2,...,n

za modalitete varijabli ranga, pretpostavlja se da poprimaju vrijednosti prvih n prirodnih brojeva, izračunavaju se razlike rangova:ddii = r(x= r(xii) ) –– r(yr(yii)), i=1,2,...,n

pri potpunom slaganju varijacija varijabli ranga (perfektna rang-korelacija) razlika rangova varijable X i varijable Y jednaka je 0utjecaj predznaka razlika rangova uklanja se njihovim kvadriranjem

Spearmanov koeficijent korelacijeSpearmanov koeficijent korelacijeSpearmanov koeficijent korelacijeSpearmanov koeficijent korelacije

Može poprimiti vrijednosti iz intervala: --11≤≤ rrs s ≤≤11

�� rrssće biti --11 ako je redoslijed modaliteta varijable X obrnut od

redoslijeda modaliteta varijable Y

� ako dva modaliteta jedne varijable imaju jednaki rang, oba modaliteta pridružuju aritmetičku sredinu rangova

nn

d

r

n

i

i

s −−=∑

=3

1

26

1

Spearmanov koeficijent korelacije ranga glasi:

Primjer korelacije rangaPrimjer korelacije rangaPrimjer korelacije rangaPrimjer korelacije rangaPrimjer korelacije rangaPrimjer korelacije rangaPrimjer korelacije rangaPrimjer korelacije ranga


Vlasnik velikog salona automobila «Z»želi utvrditi odnos između postignutih bodova na testu koji su prodavači ispunjavali prilikom prijema na posao i prodanih automobila, koje su ti prodavači uspjeli prodati tijekom svoje prve godine rada u tom salonu. Slučajni uzorak od 10 prodavača dao je sljedeće rezultate:

Tablica 2. Bodovi postignuti na testu i broj prodanih automobila

10 prodavača (N=10) autosalona “Z”, 2009. godine

Prodavač Bodovi na testu (xi)

Broj prodanih automobila (yi)

A 51 35

B 65 46

C 49 33

D 66 45

E 50 29

F 64 42

G 68 47

H 72 50

I 77 52

J 75 53

Izvor: Podaci autosalona “Z”, 2010. god.

Zadatak je izračunati Spearmanov koeficijent korelacije ranga.

Prvo se rangiraju vrijednosti varijabli:

Prodavač Bodovi na testu (xi)

Broj prodanih automobila (yi)

Rangirane varijable

r(xi) r(yi)

A 51 35 8 8

B 65 46 6 5

C 49 33 10 9

D 66 45 5 6

E 50 29 9 10

F 64 42 7 7

G 68 47 4 4

H 72 50 3 3

I 77 52 1 2

J 75 53 2 1



Prodavač Rangirane varijable

di = r(xi)-r(yi) di2

r(xi) r(yi)

A 8 8 0 0

B 6 5 1 1

C 10 9 1 1

D 5 6 -1 1

E 9 10 -1 1

F 7 7 0 0

G 4 4 0 0

H 3 3 0 0

I 1 2 -1 1

J 2 1 1 1

Nakon rangiranja varijabli, izračunavaju se razlike rangova vrijednosti varijabli X i Y (d):

∑=

=N

i

id1

2 6


gdje N = broj parova vrijednosti varijabli X i Y

OOččita je jaka veza između postignutih bodova na testu i ita je jaka veza između postignutih bodova na testu i broja prodanih automobila.broja prodanih automobila.

96,01010

661

6

133

1

2

=−⋅

−=−

⋅−=

∑=

NN

d

r

N

i

i

s

Spearmanov koeficijent korelacije ranga Spearmanov koeficijent korelacije ranga iznosi:

∑=

=N

i

id1

2 6

Documents

Regresija i Korelacija