D2 Mco Multiple

8/15/2019 D2 Mco Multiple

1/29

1

Regresión LinealMúltiple

y i = 0 + 1 x 1i + 2 x 2i + . . .

k x ki + ui

A. Estimación

Javier Aparicio

División de Estudios Políticos, CIDE

[email protected]

Curso de Verano ENCUP

ttp!""pu#licecono$ics.%ordpress.co$"verano&''(

Julio &''(

http://www.cide.edu/investigadores/aparicio/mailto:[email protected]://publiceconomics.wordpress.com/verano2009http://publiceconomics.wordpress.com/verano2009mailto:[email protected]://www.cide.edu/investigadores/aparicio/


2/29

2

Similitudes con regresión

simple β 0 es el intercepto β 1 a β k son k parámetros de pendiente u es el término de error o residual El supuesto de media condicional cero se

mantiene:E(u|x 1,x 2 , …,x k ) = 0

Igual que antes, minimizamos la suma deresiduales cuadrados, de modo que tenemosk+1 condiciones de primer orden (o k+1parámetros a estimar)


3/29


4/29

4

β interpretada como una“derivada parcial”

( )

2201

1

2

111

22110

ˆˆˆˆ :auxiliar regresiónunaderesidualeslosson

sonˆdonde,ˆˆˆ

entonces,ˆˆˆˆ

i.e.,2dondecasoelConsidere

x x

r r yr

x x y

k

iiii

γ γ

β

β β β

+=

=

++=

=

∑∑


5/29

5

“derivada parcial”

a ecuaci!n anterior implica que "regresar y

en x 1 # x 2 $ tiene el mismo estimador para x 1

que regresar y en los residuales de una

regresi!n de x 1 en x 2

Es decir, al relacionar x 1 con y, solamente

capturamos la in%ormaci!n de x i1 que no está

relacionada con x i2 & Estimamos el e%ecto de x 1 en y después de

controlar o aislar el e%ecto de x 2


6/29

!

Estimación simple vs.

múltiple

muestra.laenalgunancorrelaciótengannoy bieno

)ivosigniicat parcialeectountengano!i.e.0ˆ

:quemenosaˆ" general,#n

ˆˆˆˆmultipleregresiónlacon

""" simpleregresiónlaCompare

21

22

11

22110

110

x x

x

x x y

x y

=

≠

++=

+=

β

β β

β β β

β β


7/29

"

Suma de cuadrados#

$erminolog%a

( )( )

$$% $$#$$& queimplicacual'o

$$% :cuadradosde%esidual$umalaesˆ

$$#:cuadradosde#xplicada$umalaesˆ

$$&:cuadradosde&otal$umalaes

:siguientelodeinir podemosquemodo(e ˆˆ

:explicadonocomponenteunyco)!sistemtiexplicado

componenteunennobservaciócadaseparar*odemos

2

2

2

+=

∑

∑∑

−

−

+=

i

i

i

iii

u

y y

y y

u y y

'' es la suma de "desiaciones al cuadrado$ de las o*seraciones

de la muestra: es proporcional, más no igual, a -(y )&


8/29

&

'ondad de a(uste# ) 2

./!mo sa*er qué tan *ueno es el austeentre la regresi!n # los datos de la muestra

2odemos calcular la proporci!n de la 'uma

de cuadrados totales ('') que es"e3plicada$ por el modelo&

Esto es la llamada -4cuadrada de unaregresi!n: -5 = ''E6'' = 1 7 ''-6''


9/29

*

'ondad de a(uste# ) 2

( ) ( )[ ]

( )( ) ( )( )∑∑

∑

−−

−−=

22

2

2

2

ˆˆ

ˆˆ

:ˆ predic+os,valoreslosy,,observados

valoreslosentrencorrelaciódeecoeicientdel

cuadradoelcomodeinirse puedetambin

y y y y

y y y y R

y y

R

ii

ii

ii


10/29

1+

R,cuadrada# discusión

R 5 nunca decrecerá con%orme inclu#amos más

aria*les e3plicatias a la regresi!n, # por lo general

aumentará (as8 sea marginalmente)&

.2or qué Incluir aria*les adicionales aumenta la''E aunque no sean signi%icatias&

9ado que R 5 t8picamente aumenta con el nmero

de aria*les independientes, no es por s8 sola un

*uen criterio para comparar modelos&


11/29

11

β no sesgadas:

supuestos -auss/arov1& ;odelo po*lacional es lineal en sus parámetros: y = 0 + 1 x 1 + 2 x 2 +…+ k x k + u

5& ;uestra aleatoria de tama& ?inguna aria*le x es constante ni tiene una

correlaci!n lineal e3acta con otra (nomulticolinealidad)&


12/29

12

-emasiadas vs. pocas variales .'i incluimos aria*les que "no pertenecen

al modelo po*lacional$ en nuestra

especi%icaci!n o modelo

?o tiene impacto en el resto de las β estimadas: ;/@ permanece sin ses)o&

.'i e3cluimos aria*les que "sí pertenecen

al modelo$ En general, los estimadores ;/@ tendrán un

ses)o de varia#le o$itida&


13/29


14/29

14

Sesgo de variale omitida/continuación0

( ) ( )

( ) ( ) ( ) iiiii

iiii

iiii

u x x x x x x x

u x x x x

u x x y

∑∑∑

∑

−+−+−=

+++−

+++=

112112

2

111

2211011

22110

:es!5)denumeradorelquemodode

,

:verdadero66modeloel%etomando

β β

β β β

β β β


15/29

15

( )

( )( )( )

( )( )

( ) ( )

( )( )∑∑

∑∑

∑∑

−

−+=

=

−

−+

−

−+=

2

11

211211

2

11

11

2

11

211

21

"

tenemosesperado,alorcalcular val

0,)#!quedado

"

x x

x x x E

u

x x

u x x

x x

x x x

i

ii

i

i

ii

i

ii

β β β

β β β



16/29

1!


( )

( )( )

( )sesgo.untiene" i.e.,

""

quemodode

endeimpactoeldenota"

" donde

"""

:enderegresiónlaosConsiderem

1

1211

211

2

11

211

11102

12

β δ β β β

δ

δ δ δ

+=

−

−=+=

∑

∑

E

x x

x x

x x x x x

x x

i

ii


17/29


18/29

1&

Sesgo de variale omitida#resumen 9os casos donde el sesgo es igual a cero:

β 2 = 0, es decir, x 2 no pertenec8a al modelo po*lacional

x 1 # x 2 no están correlacionados en la muestra

'i la correlaci!n entre ( x 2 , x 1) # entre ( x 2 , y ) es delmismo signo, el sesgo es positio&

'i omites una aria*le x 2 que se muee en el mismo

sentido que x 1, # ésta a%ecta positiamente a y , 1

capturará parte de dicCo impacto (so*re4 estimada)& 'i la correlaci!n entre ( x 2 , x 1) # entre ( x 2 , y ) es de

signo opuesto, el sesgo es negatio&


19/29

1*

El caso ms general#sesgo en todas las β i écnicamente, s!lo podemos anticipar el signo de

este sesgo cuando el resto de las aria*lese3plicatias incluidas no est*n correlacionadasentre s8 ni con la aria*le omitida

'i esto no se cumple, el sesgo a%ecta a todas las β i estimadas, dependiendo de las coarianzas entrelas aria*les incluidas # con la aria*le omitida&

n as8, resulta til calcular el sesgo de aria*le

omitida asumiendo que las otras x no estáncorrelacionadas, an cuando este supuesto no secumpla&


20/29

2+

ariana de los estimadores6 Da imos que la "distri*uci!n muestral$ de los

estimadores está centrada en torno a los"erdaderos$ parámetros (insesgamiento)&

.ué tan dispersa será la distri*uci!n de losestimadores

2ara analizar esto, requerimos el FG supuestoHauss4;arko:

Var+u|x 1, x 2 ,…, x k - &

conocido como o$oscedasticidad (Comoskedasticit#): arianza constante&


21/29

21

ariana de 6 /cont.0

'ea x igual al ector de aria*les ( x 1, x 2 ,…x k )

'uponer que ar(u x ) = σ 5 tam*ién implicaque ar(y x ) = σ 5

os > supuestos requeridos para

insesgamiento, más el supuesto de

Comoscedasticidad son los llamadossupuestos auss/0ar1ov&


22/29

22

ariana de 6 /cont.0

( )( )

( ) x x

R R x xSST

RSST Var

j

j jij j

j j

j

otraslasen todasderegresiónunade

laesy

donde,1

ˆ

:/arov-ausssupuestos7los(ados

222

2

2

∑ −=

−=

σ β

Es decir, SST j captura la arianza de x i , mientras que R 2 j

captura la correlaci!n entre x j # las otras x del modelo&


23/29

23

omponentes de la arianade 6 arianza del error: a ma#or σ 5, ma#or arianza de

los estimadores ;/@& arianza muestral: a ma#or SST j , menor arianza

de los estimadores ;/@& ma#or tama


24/29

24

Error de especi7cación 8e7ciencia de los estimadores

6 ( )

( )( )

( ) ( )nados)correlacioestnnoyquemenos!a

ˆ" :generalenque,modo(e

,1

ˆ :correcto66modeloel paraque/ientras

" donde,

""" :6incorrecto6modeloelComparemos

21

11

2

2

1

2

1110

x x

Var Var

RSST Var

SST Var x y

j j

j

β β

σ β

σ β β β

<

−=

=+=

Estimar el modelo incorrecto produce una β 1 sesgada (por la aria*le

omitida) Jpero de menor arianza (ma#or precisi!n)K

Ln modelo con aria*les omitidas puede ser enga


25/29

25

Trade-of entre sesgo 8e7ciencia a arianza del estimador es menor en el modelo

"incorrecto$ pero, a menos que β 5 = 0, este modeloserá sesgado&

Ln modelo con varia#les o$itidas puede ser

enga


26/29

2!

Estimación de la variana delerror ?o conocemos la arianza del error, σ 5, porque no

o*seramos los errores de la po*laci!n, ui o que o*seramos son los residuales (estimados)

del modelo muestral:

2ero podemos usar los residuales estimados para

construir un estimador de la arianza del error&

kik iii x x yu β β β ˆ...ˆˆˆ 110 −−−−=


27/29

2"

ariana del error /cont0

( ) ( )

( ) ( )[ ]

212

22

1ˆˆ t+us,

1ˆˆ

j j j

i

RSST se

df SSRk nu

−=

≡−−= ∑

σ β

σ

)l - n 5 +k 6 7, o *ien )l - n 5 k 5 7 gl (i&e& grados de li*ertad) son el (nmero de

o*seraciones) 7 (nmero de parámetrosestimados)

ma#ores grados de li*ertad, ma#or precisi!n delos estimadores&


28/29


29/29

2*

$eorema 9auss,ar:ov

9ados los F supuestos Hauss4;arko, puededemostrarse que ;/@ es ";EI$ (B!" ):

;eor Estimador ineal Insesgado

Best inear !n#iased "stimator 9e modo que, si los supuestos H4; se

sostienen, usar ;/@ es una *uena idea&

'i, además de estos F supuestos,u M ?(0, σ5) ;/@ es el meor estimador(lineal o no lineal) insesgado&

Documents

D2 Mco Multiple