Curs 2. econometrie (2)

ECONOMETRIE

IAŞI- 2013-

CURS 2

2

Structurarea pe cursuri a tematicii Regresia liniară simplă

(C2)1. Scurt istoric al regresiei. Tipuri de modele de regresie

2. Prezentarea modelului de regresie liniară simplă

3. Estimarea parametrilor modelului liniar

4. Estimarea indicatorilor de corelaţie

(C3)5. Testarea parametrilor modelului liniar

6. Testarea indicatorilor de corelaţie

7. Testarea modelului liniar

3

1.Scurt istoric al regresiei (I)

1805 - A.M. Legendre, Nouvelles méthodes pour la détermination des orbites des comètes. "Sur la Méthode des moindres quarrés" apare ca anexă.

1809 - C.F. Gauss, Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum.

1821/1823 - C.F. Gauss. Theoria combinationis observationum erroribus minimis obnoxiae

1869 - Charles Darwin, The Variation of Animals and Plants under Domestication. (Capitolul XIII descrie ceea ce era cunoscut ca reversie in perioada lui Galton. Darwin utilizează termenul de "reversie".)

1877 - Francis Galton, "Typical laws of heredity", Nature 15, pp. 492 495, 512-514, 532-533. (Galton utilizează termenul de "reversie" în articolele sale, în care tratează mărimea boabelor de mazăre.)

4

1.Scurt istoric al regresiei (II)

1885 - Francis Galton, Presidential address, Section H, Anthropology. (Galton utilizează termenul de "regresie" în lucrările sale, în care abordează problema înălţimii oamenilor)

1886 - Francis Galton,. "Regression Towards Mediocrity in Hereditary Stature," Journal of the Anthropological Institute, nr. 15, pp. 246-263. (Facsimile at: [2])

1897 - G. U. Yule, "On the Theory of Correlation", Journal of the Royal Statistical Society , pp. 812-54.

1903 - Karl Pearson, G. U. Yule, Norman Blanchard, and Alice Lee. "The Law of Ancestral Heredity", Biometrika

1922 - R.A. Fisher, "The goodness of fit of regression formulae, and the distribution of regression coefficients", Journal of the Royal Statistical Society, pp. 85, 597-612

1925 - R.A. Fisher, Statistical Methods for Research Workers

5

2. Prezentarea modelului de regresie liniară simplă (1)

Analiza de regresie studiază legătura statistică între două sau mai multe variabile statistice sub aspectul formei acesteia.

În legăturile statistice utilizăm variabile aleatoare (stohastice), ceea ce înseamnă că variabilelor le corespund distribuţii de probabilitate.

În legăturile de tip funcţional sau deterministic unei valori i se asociază o altă valoare şi nu o distribuţie de probabilitate.

Analiza de corelaţie studiază legătura statistică între două sau mai multe variabile statistice sub aspectul intensităţii acesteia.

6

Interpretarea geometrică şi statistică a regresiei (1)

Interpretarea geometricăExemplu Se consideră repartiţia a 50 de firme după profitul realizat (Y,

variabilă dependentă, sute mil. lei) şi cheltuielile cu publicitatea (X, variabilă independentă, mil. lei).

Pe baza datelor de mai sus, putem construi 5 repartiţii condiţionate

7


8


Mediile condiţionate corespunzătoare celor 5 repartiţii:

9


Interpretarea statistică

Regresia este o medie condiţionată, definită prin relaţia:

M(Y/X=xi) = f(xi) sau M(Y/X)=f(x)

Pentru cazul liniar, regresia este o funcţie liniară:

M(Y│X) = β0+β1X

Prin urmare, regresia liniară este:

yi = M(Y/X=xi) = β0+β1xi

10


Forma generală a unui model de regresie este: M(Y│X)=f(x).

Pentru modelul de regresie liniară simplă forma modelului devine:

M(Y│X) = β0+β1X ,unde M(Y│X) – media condiţionată corespunzătoare variabilei stohastice Y iar β0 şi β1 sunt parametrii modelului.

În cele mai multe cazuri, valorile reale yi diferă de valorile aşteptate sau teoretice M(Y│X=xi).

Abaterea valorilor reale faţă de valorile teoretice reprezintă valorile variabilei stohastice, ε, denumită eroare de modelare.

εi = yi - M(Y│X=xi) => yi = M(Y│X=xi) + εi = β0+ β1xi + εi sau

Y= β0+ β1X + ε

11


Componentele modelului de regresie liniar sunt:1. Componenta deterministă este reprezentată de media condiţionată M(Y│X=xi) = β0+ β1xi

2. Componenta aleatoare ε depinde de: natura fenomenului, specificarea modelului şi erorile de măsurare.

a. Natura imprevizibilă a fenomenului dă naştere la erori de modelare.b. Specificarea incompletă a modelului determină apariţia erorilor de modelare.c. Erorile de măsurare sunt şi ele surprinse prin eroarea de modelare.

12


Parametrii modelului de regresie liniar sunt:.

1. β0 - reprezintă constanta sau termenul liber al modelului şi reprezintă valoarea medie a variabilei Y atunci când X=0.

Grafic parametrul β0 reprezintă intersecţia dreptei de regresie liniară cu axa OY (engl. intercept).

2. β1- reprezintă variaţia medie a variabilei dependente, Y, la o creştere cu o unitate a variabilei independente, X. β1 mai poartă denumirea şi de tangentă a pantei dreptei sau simplu pantă a dreptei (engl. slope) şi arată cu cât variază Y dacă X creşte cu o unitate.

Dacă β1>0 => există o legătură directă între variabila Y şi variabila X, dacă β1<0 => există o legătură inversă între variabila Y şi variabila X iar dacă β1=0 nu există legătură între Y şi X.

X

Y

dX

dY

∆∆==1β

13


Ipoteze clasice ale modelului de regresie

1. Ipoteze cu privire la eroarea de modelare

- normalitatea erorilor: , adică variabila reziduală urmează o lege de repartiţie normală de medie zero şi varianţă σ2;

- homoscedasticitate: ,adică varianţa erorii este constantă la nivelul distribuţiilor condiţionate de tipul ;

- necorelarea erorilor: ,adică erorile nu se influenţează reciproc;

- lipsa corelaţiei dintre variabila independentă şi variabila eroare: .

),0(N~ 2i σε

22ii )(M)(V σεε ==

ii xXY =nji ,1ji, j;i ,0),cov( =≠=εε

0)x,cov( ii =ε

14


2. Ipotezele cu privire la variabila independentă:- variabila independentă X este observabilă (nestochastică);- variabila independentă are o variaţie finită şi posibil de calculat;- variabilele independente (pentru cazul regresiei multiple) nu trebuie să fie coliniare.

Modelul la nivelul unui eşantion poate fi scris pe baza estimatorilor sau .

unde:

- este estimatorul mediei condiţionate M(Y│X=xi);

- este estimatorul parametrului

- este estimatorul parametrului

- este estimatorul erorii stohastice εi

Particular, pentru un eşantion observat, modelul de regresie liniară simplă poate fi scris:

iε)

iii xy εββ ˆˆˆ10 ++= iii yy ε̂ˆ +=

0β̂ 0β

1β̂ 1β

iii xy εββ ++= 10

ii xy 10ˆˆˆ ββ +=

ii10i exbby ++=

15

3. Estimarea parametrilor modelului liniar (1)1. Estimarea punctuală a parametrilor modelului liniar

Estimarea parametrilor modelului de regresie poate fi făcută utilizând metoda celor mai mici pătrate (MCMMP).

Criteriul care stă la baza metodei celor mai mici pătrate constă în minimizarea pătratelor erorii de modelare:

Rezolvarea acestei probleme de minim presupune îndeplinirea a două condiţii:

1. Anularea derivatelor parţiale de ordinul I ale lui S în raport cu

şi : şi

2. Matricea derivatelor parţiale de

ordinul doi să fie pozitiv definită:

( ) ( ) ( ) .minˆˆ)ˆˆ(ˆˆ2

1 1 1 110

2

1022 =−−=+−=−== ∑ ∑ ∑ ∑

= = = =

n

i

n

i

n

i

n

iiiiiiii xyxyyyS ββββε

0ˆ

0

=∂∂βS

0β̂

1β̂ 01̂

=∂∂βS

0

ˆˆˆ

ˆˆˆdet

12

2

10

210

2

02

2

>

∂∂

∂∂∂

∂∂∂

∂∂

βββ

βββSS

SS

16

1. Anularea derivatelor parţiale de ordinul I ale lui S în raport cu şi :

2. Matricea derivatelor parţiale de ordinul doi să fie pozitiv definită:

Este pozitiv definită deoarece

3. Estimarea parametrilor modelului liniar (2)

( ) 22 2 2i in x x n 0σ− = >∑ ∑

⇒( )( )

( )( ) ∑ ∑∑∑

∑ ∑∑

= ===

= ==

=+=−−−=∂∂

=+=−−−=∂∂

n

i

n

iiii

n

ii

n

iiii

n

i

n

iii

n

iii

xyxxxxyS

yxnxyS

1 1

21

10

110

1

1 110

110

0

ˆˆ0ˆˆ2

ˆˆ01ˆˆ2ˆ

βββββ

βββββ

( ) ( )∑ ∑∑ ∑ ∑

∑ ∑∑ ∑ ∑ ∑

−

−=

−

−= 22122

2

0ˆ,ˆ

ii

iiii

ii

iiiii

xxn

yxyxn

xxn

yxxxyββ

∑∑∑

2ii

i

xx

xn

0β̂1β̂

xy 10ˆˆ ββ −=

17


Estimatorii parametrilor modelului de regresie sunt variabile de selecţie care:

-urmează o distribuţie normală: ~ , ~

- sunt nedeplasaţi:

- convergenţi:

- eficienţi: dintre toţi estimatorii posibili pentru , are varianţa cea mai mică

0β̂ ( )2ˆ00

, βσβN 1β̂ ( )2ˆ11

, βσβN

( ) ( ) 1100ˆ,ˆ ββββ == MM

( ) ( ) 1100ˆ,ˆ ββββ →→ ∈∈ NnNn

1β 1̂β

18


2. Estimarea prin interval de încredere a parametrilor modelului liniar

Atât pentru , cât şi pentru , intervalele de încredere se vor construi pentru un nivel de încredere de (1-α):

Pe baza datelor de la nivelul unui eşantion se vor utiliza estimaţiile parametrilor:

unde k = numărul parametrilor estimaţi în model (pentru modelul liniar k=2),

n = volumul eşantionului pe baza căruia se fac estimările.

0β 1β

]ˆˆ[0

ˆ,2/00 βα σββ knt −±∈ ]ˆˆ[1̂

,2/11 βα σββ knt −±∈

[ ]0

ˆ,2/00 βαβ stb kn−±∈ [ ]1

ˆ,2/11 βαβ stb kn−±∈

19

Abaterile standard ale estimatorilor şi estimaţiile acestora se determină după relaţiile:

, respectiv

, respectiv ,

unde este estimatorul varianţei erorii de modelare, iar s2 este estimaţia acestuia:

, respectiv


( )

−+==

∑i

i xx

x

nsss

2

222

ˆˆ

100 ββ

∑=

−== n

ii xx

sss

1

2

22ˆˆ

)(11 ββ

∑=

−== n

ii xx

1

2

22ˆ

)(

ˆˆˆ

11

σσσ ββ

2σ̂

( )

−+==

∑i

i xx

x

n 2

222

ˆ

1ˆˆ

00σσσ ββ

2

)ˆˆ(

2

ˆˆ

210

22

−−−

=−

= ∑∑n

xy

niii ββε

σ 2

)(

2

210

22

−−−

=−

= ∑∑n

xbby

n

es iii

20

4. Estimarea indicatorilor de corelaţie (1)1. Coeficientul de corelaţie (se foloseşte doar pentru modelul

liniar):

, -1≤ρ≤+1

2. Raportul de determinaţie:

, cu 0<η2<1

O estimaţie a raportului de determinaţie se obţine prin relaţia:

yx

N

iyixi

yx N

yxYX

YXσσ

µµ

σσρ

∑=

−−== 1

))((),cov(

),(

∑∑∑ ∑−

∑∑∑ −=

∑ −−=≅

=== =

====n

1i

2i

n

1i

2i

n

1i

n

1i

2i

2i

n

1ii

n

1ii

n

1iii

yx

n

1iii

])y(yn][)x(xn[

yxyxn

sns

)yy)(xx(r)Y,X(ρ̂

T

R

T

E

ii

ii

V

V

V

V

yy

yy −==

−

−=

∑∑

1)(

)ˆ(

2

2

2η

TSS

RSS

TSS

ESS

yy

yxbb= R

ii

i −==−

−+

∑∑

1)(

)(

2

210

2

21

4. Estimarea indicatorilor de corelaţie (2)

, reprezintă variaţia totală (TSS);

, reprezintă variaţia explicată (ESS);

, reprezintă variaţia reziduală (RSS).

Variaţia totală este egală cu suma celorlalte două variaţii

componente: VT=VE +VR

3. Raportul de corelaţie:2ηη =

)y - y( = V 2iT ∑

∑i

2iE )y - y( =V ˆ

)y - y( =V 2iiR ˆ∑

22

5. Exemple de modele liniare simple în teoria economică

Funcţia de consum-cererea sau consumul populaţiei în funcţie de venit: , unde parametrul β1 arată cu cât creşte consumul unui anumit produs ( ) la o creştere cu o unitate a venitului şi este de regulă pozitiv.

Legea cererii-cererea populaţiei în funcţie de preţul acestor produse: , unde parametrul β1 este de regulă negativ şi arată cu cât scade cererea la o creştere a preţului cu o unitate.

iii VC εββ ++= 10

iC

iii PC εββ ++= 10

23

EXEMPLU

Se consideră datele cu privire la Valoarea vânzărilor şi Cheltuielile cu publicitatea pentru un eşantion de 4 firme. Datele sunt prezentate în tabelul următor.

xi yi

102050100

2500410050007500

180 19100

24

Coefficientsa

-45.163 15.015 -3.008 .095 -109.766 19.439

.019 .003 .977 6.422 .023 .006 .032

(Constant)

chelt_publicitate

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig. Lower Bound Upper Bound

95% Confidence Interval for B

Dependent Variable: Val_vanzaria.

Model Summary

.977a .954 .931 10.64486Model1

R R SquareAdjustedR Square

Std. Error ofthe Estimate

Predictors: (Constant), chelt_publicitatea.

Correlations

1 .977*

.023

4 4

.977* 1

.023

4 4

Pearson Correlation

Sig. (2-tailed)

N

Pearson Correlation

Sig. (2-tailed)

N

vanzari

chelt_publ

vanzari chelt_publ

Correlation is significant at the 0.05 level (2-tailed).*.

Documents

Curs 2. econometrie (2)