Estimación por mínimos cuadrados generalizados · 2008. 1. 28. · Los estimadores de mínimos cuadrados generalizados siguen una ley Normal 2. Los valores estimados de Y siguen

Universidade

de Vigo

Modelo de regresión lineal Generalizado:

Generalización del modelo de regresión lineal

clásico

Estimación por mínimos cuadrados

generalizados

Universidade

de Vigo

Universidade

de VigoIntroducción a los estimadores MCG

Dados los fallos que ocurren en las propiedades de los

estimadores MCO, surge la conveniencia de buscar

estimadores alternativos que verifiquen mejores

propiedades que los de MCO.

Este es el caso de los estimadores de Mínimos cuadrados

generalizados (MCG).

Para construirlos basta observar una propiedad del nuevo

modelo, que depende de la descomposición de la matriz de

varianzas de las perturbaciones.

Universidade

de Vigo

Universidade

de Vigo

Descomposición de la matriz de

varianzas de las perturbaciones

La matriz de varianzas-covarianzas de las perturbaciones

viene dada por

S=s2W

Como W es definida positiva se puede descomponer

como potencia de una matriz simétrica invertible P tal

que

P’P=P2=W

Universidade

de Vigo

Universidade

de Vigo

Transformación del modelo de

regresión lineal generalizado

Consideremos la inversa de esa matriz P, denotada por P-1.

Entonces premultiplicando las ecuaciones del modelo de regresión generalizado obtenemos que

Cambiando los nombres de las variables, el modelo quedará de la siguiente forma

Por tanto, de nuevo tenemos un modelo de regresión lineal donde cambian las variables pero no los parámetros de la regresión.

Falta ver si cambia la ley de distribución de las nuevas perturbaciones.

P y P X P- - -= +1 1 1

y X* * *= +

Universidade

de Vigo

Universidade

de Vigo

La ley de distribución de las nuevas

perturbaciones

Es Normal por ser una transformación lineal de una normal.

Su esperanza es nula pues

E(u*)=P-1 E(u)=0

Su varianza vendrá dada por

Var(u*)=P-1 Var(u) P-1 = P-1s2W P-1=

=s2P-1W P-1 = s2I

Por consiguiente, las nuevas perturbaciones son esféricas, lo que significa que el nuevo modelo transformad es un modelo de regresión lineal normal donde las variables son diferentes de las originales.

Universidade

de Vigo

Universidade

de VigoConsecuencias

El modelo de regresión lineal generalizado se obtiene a

partir del modelo de regresión lineal clásico

transformando las variables por una matriz simétrica

invertible.

Por lo tanto todas las propiedades el MRLC se

verificarán una vez transformado el modelo de partida.

Los estimadores de MCG se obtendrán como los

estimadores MCO en ese modelo transformado.

Las propiedades de los estimadores MCG serán las que

tenían los estimadores MCO en el MRLN

Universidade

de Vigo

Universidade

de Vigo

Estimadores MCG en el modelo

transformado

Consideremos el modelo y X* * *= +

Donde las perturbaciones siguen leyes normales esféricas.

El estimador MCO de en ese modelo será

bMCG=(X’P-1 P-1X)-1 X’P-1 P-1y=(X’W-1X)-1 X’W-1y

bMCG=(X*’X*)-1X*’y*

Que puesto en función de las variables del modelo original será:

Universidade

de Vigo

Universidade

de VigoEstimadores de MCG en el MRLG

Generalizando la transformación al espacio residual se puede definir el estimador de la siguiente forma:

Encontrar el mínimo en de SCEG() siendo

SCEG() = u'W-1u = (Y-X)'W-1(Y-X)

Partiendo de ese modelo se obtendrían las Ecuaciones normales generalizadas

(X'W-1X) = X'W-1Y

Y, como consecuencia los estimadores

bMCG = (X'W-1X)-1 X'W-1Y

que coinciden con los obtenidos previamente.

Universidade

de Vigo

Universidade

de VigoEstimadores MV en el MRLG

La función de verosimilitud ahora será:

F(y1,…,yT/X)= (2p)-T/2|S|-1exp[-(yt-Xt)’S-1(yt-Xt)/2]

Se demuestra que al maximizar esta función en y S los

estimadores son independientes y por consiguiente se puede

maximizar en y luego en S, por consiguiente maximizar en b

coincide con maximizar el exponente o lo que es lo mismo

minimizar el termino del paréntesis que coincide con

minimizar el exponente en lo que equivale a obtener el

estimador de MCG, por lo tanto los estimadores de MV y

MCG coinciden para el parámetro .

Universidade

de Vigo

Universidade

de VigoEstimadores de MCG de la varianza

Para estimar la parte común de la matriz de varianzas

covarianzas de las perturbaciones, se haría directamente

partiendo del modelo transformado, pero teniendo en cuenta

que los residuos obtenidos ahora no coinciden con los MCO

Se e

T k

u P P u

T k

u u

T kRMCG

2

1 1 1

1 1 1=

- -=

- -=

- -

- - -*' * ' 'W

Siendo los residuos ahora calculados como

u=y-XbMCG

Universidade

de Vigo

Universidade

de VigoPropiedades de los estimadores

Dado que son una generalización de los estimadores

MCO, sus propiedades van a generalizar estas.

Para facilitar su exposición las dividiremos en tres

bloques:

Propiedades geométricas de los estimadores de los

coeficientes de regresión que se derivan directamente de

las de MCO en el modelo transformado.

Propiedades de las varianzas.

Propiedades derivadas de la normalidad.

Universidade

de Vigo

Universidade

de VigoPropiedades geométricas

1. El estimador de mínimos cuadrados generalizados es el mejor estimador lineal insesgado (ELIO). Esto nos va a permitir afirmar que los estimadores MCO no van a ser ELIO con seguridad en el MRLG.

2. Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz de proyección.

3. Por tanto los valores estimados de la Y son una combinación lineal de las propias observaciones de la variable dependiente. Esto coincide con MCO, pero ahora la matriz H es diferente.

4. Los residuos se definen como valor observado menos estimado y

vienen dados en forma matricial por M1Y, siendo M1 la nueva matriz

de proyección sobre el espacio residual.

5. Tanto H1 como M1 son matrices idempotentes y su producto es nulo.

Sin embargo no son simétricas como ocurría en el caso del MRLC.

Universidade

de Vigo

Universidade

de Vigo

Demostración de las propiedades

geométricas

Todas ellas se van a derivar de las propiedades de los estimadores

MCO en el modelo transformado.

Sus propiedades se deducen del teorema de Aitken que es la

generalización del teorema de Gauss-Markov al caso del MRLG.

En él se demuestra que los estimadores MCG son ELIO, lo que

implica que los estimadores de MCO dejan de ser los mejores,

puesto que su varianza no coincide con la de los estimadores

MCG.

Por consiguiente remitiremos a él en todos los cálculos y después

se deshará la transformación.

Universidade

de Vigo

Universidade

de VigoDemostración del Teorema de Aitken

El estimador MCG se puede escribir en el modelo

transformado como

bMCG=+(X*’X*)-1X*’u*

De ahí se deriva directamente que es insesgado y lineal pues la

transformación P-1 es lineal.

Todos los estimadores lineales e insesgados en el MRLG son

también lineales e insesgados en el modelo transformado. Esto se comprueba de modo similar a como se vio que los estimadores

MCO eran lineales e insesgados en el MRLG

Como el estimador MCG es óptimo en los ELI del modelo transformado, y todos los ELI del MRLG están en el transformado, será óptimo en el MRLG

Universidade

de Vigo

Universidade

de VigoProyecciones

Sobre el espacio de las X

Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz de

proyección. Por tanto los valores estimados de la Y son una combinación

lineal de las propias observaciones de la variable dependiente.

En el espacio residual

Los residuos se definen como valor observado menos estimado y vienen dados en

forma matricial por M1Y, siendo M1 la nueva matriz de proyección sobre el

espacio residual

( ' ) 'y Xb X X X X y H yMCG= = =- - -W W1 1 1

1

u y y y Xb

y X X X X y I H y

M y

MCG= - = - =

= - = - =

=

- - -

( ' ) ' ( )W W1 1 1

1

1

Universidade

de Vigo

Universidade

de Vigo

Propiedades de las matrices de

proyección

H1 es idempotente

Si H1 es idempotente, entonces M1 también lo es por ser su

complementaria

H1 y M1 son ortogonales

Sin embargo no son simétricas como ocurría en el caso del MRLC.

H X X X X

H X X X X X X X X

X X X X H

1

1 1 1

1

2 1 1 1 1 1 1

1 1 1

1

=

= =

= =

- - -

- - - - - -

- - -

( ' ) '

( ' ) ' ( ' ) '

( ' ) '

W W

W W W W

W W

H M H I H H H H H1 1 1 1 1 1

2

1 1 0= - = - = - =( )

Universidade

de Vigo

Universidade

de VigoPropiedades de las varianzas

1. La varianza de los estimadores depende de la inversa de la matriz

de diseño por su traspuesta ponderadas por la inversa de la

matriz de varianzas-covarianzas.

Var(bMCG)=s2(X'W-1X)-1

2. La varianza de los valores estimados depende de la parte común

de la varianza de las perturbaciones pero ya no depende

directamente de la matriz de proyecciones.

Var(YE)= s2X(X'W-1X)-1X's2H1

3. La varianza de los residuos depende directamente de la parte

común de la varianza de las perturbaciones pero no de la matriz

M1 de proyecciones sobre el espacio ortogonal a las X.

Var(u)=s2(W-X(X'W-1X)-1X') s2M1

Universidade

de Vigo

Universidade

de VigoANOVA en el MRLG

La suma ponderada por la inversa de la matriz de varianzas-

covarianzas de cuadrados de la variable dependiente se puede

descomponer en dos sumandos: la SCEG y otra cantidad que

denominaremos suma generalizada de cuadrados debida a la

regresión

SCYG = SCRegG + SCEG

siendo

SCYG=Y'W-1Y

SCEG=u'W-1u

SCRegG=YE'W-1YE

Universidade

de Vigo

Universidade

de Vigo

El coeficiente de determinación en el

MRLG

A partir de esta descomposición se puede obtener una medida de

la bondad de ajuste de la regresión, desde un punto de vista

puramente geométrico, pues

que denominaremos Coeficiente de determinación de Buse R2.

SCYG

SCEG

SCYG

gGSC

SCYG

SCEG

SCYG

gGSC-=+= 1

ReRe1

Este coeficiente -multiplicado por 100- nos da el porcentaje de variación

total de la variable Y - en el sentido de su suma de las desviaciones

respecto del origen - explicado por la regresión de la variable Y respecto de

las X, utilizando una distancia matricial generalizada

Universidade

de Vigo

Universidade

de VigoPropiedades bajo normalidad

1. Los estimadores de mínimos cuadrados generalizados siguen

una ley Normal

2. Los valores estimados de Y siguen una ley Normal

3. Los residuos de la regresión de mínimos cuadrados

ordinarios siguen una ley Normal

4. Los estimadores MCG de los coeficientes, bajo normalidad

coinciden con los estimadores MV en el MRLG, y por lo

tanto serán eficientes dentro de todos los insesgados y

suficientes.

Universidade

de Vigo

Universidade

de VigoLeyes de distribución

Por consiguiente tendríamos las siguientes leyes de

distribución:

bMCG siguen una ley N (,s2(X'W-1X)-1)

Y estimado siguen una ley Normal de parámetros

(X,s2(X(X'W-1X)-1X'))

Los residuos MCG siguen una ley normal de parámetros

(0,s2(W-X(X'W-1X)-1X'))

Universidade

de Vigo

Universidade

de VigoEjemplo

Los beneficios (después de impuestos) suelen ser una parte de las ventas, cuyo cociente nos da el margen neto de la empresa. Para calcular cual es en promedio en una serie de empresas del sector de la alimentación se tienen datos de las ventas y los beneficios durante el año 2004.

Calcular cual seria ese margen promedio estimado

Si se sabe que el tamaño de la empresa afecta generando una variabilidad mayor en las empresas grandes que en las pequeñas. El efecto del tamaño sobre la variabilidad se conoce que s del 20%. Calcular si el margen promedio seguiría siendo el mismo.

Comparar ambos estimadores, ¿Cuál seria mas eficiente?

Universidade

de Vigo

Universidade

de VigoModelo de solución

Los beneficios son una parte de las ventas, por tanto:

Beneficios=*ventas+e

Se estima por MCO.

Si la varianza depende linealmente de las ventas

Var(e )=0,2*ventas

Se estima por MCG.

Universidade

de Vigo

Universidade

de VigoCalculo por MCO

XX

3525.000

IXX

0.2836879E-03

B

0.3631206

DATA PDF CDF 1-CDF

TB 21.025 0.28555E-05 0.99998 0.15123E-04

Estimador de

MCO, nos mide el

margen neto

Universidade

de Vigo

Universidade

de Vigo

Calculo por MCG: matriz de varianzas covarianzas de

las perturbaciones

OMEGA

5 BY 5 MATRIX

6.400000 0.000000 0.000000 0.000000 0.000000

0.000000 4.800000 0.000000 0.000000 0.000000

0.000000 0.000000 6.000000 0.000000 0.000000

0.000000 0.000000 0.000000 4.000000 0.000000

0.000000 0.000000 0.000000 0.000000 5.000000

IOMEGA

5 BY 5 MATRIX

0.156250 0.000000 0.000000 0.000000 0.000000

0.000000 0.208333 0.000000 0.000000 0.000000

0.000000 0.000000 0.166666 0.000000 0.000000

0.000000 0.000000 0.000000 0.250000 0.000000

0.000000 0.000000 0.000000 0.000000 0.200000

Universidade

de Vigo

Universidade

de VigoCalculo por MCG

XOX

655.0000

IXOX

0.001526718

BG

0.3587786

DATA PDF CDF 1-CDF

TBG 8.8850 0.0001915 0.99956 0.00044329

Estimador de

MCG, nos mide el

margen neto

Universidade

de VigoComparación entre ambos

Parámetros MCO MCG

B 0.3631206 0.3587786

SB 0.01727063 0.04038048

TB 21.02532 8.884951

S2 1.051418 1.068032

Comparación de residuos

EMCO EMCG

0.3801418 0.5190840

0.2851064 0.3893130

1.106383 1.236641

-1.262411 -1.175573

-1.078014 -0.9694656

Universidade

de Vigo

Estimación MCG cuando la

varianza es desconocida

Estimadores de mínimos cuadrados generalizados factibles

Universidade

de Vigo

Universidade

de VigoEstimación MCGF

Cuando la varianza no es conocida necesitamos estimarla previamente.

En general, a este tipo de estimadores, los denominaremos de mínimos

cuadrados generalizados factible (MCGF).

El estimador tiene la forma genérica

Puesto que los escalares de la matriz de covarianzas no afectan al

estimador.

En cada caso se trata de encontrar un estimador consistente de W.

Por consiguiente el método de estimación se suele hacer en dos pasos:

1. Se estima la matriz de covarianzas W

2. Se calcula el estimador de MCGF sustituyendo el valor de W por su

estimador

1 1 1ˆ ˆ( ' ) 'MCGb X X X y- - -= W W

Universidade

de Vigo

Universidade

de VigoMétodos de estimación MCGF

Una vez obtenido el estimador de W, lo normal para calcular el estimador MCGF consiste en buscar la transformación que nos permita hacer uso de los estimadores MCO, es decir se busca una matriz P de tal forma que

W =P’P

Se toma el estimador de P y se transforma el modelo mediante esa matriz.

Se calcula el estimador MCO en el modelo transformado.

Ese suele ser el estimador MCGF en dos pasos.

Lo calcularemos para los diferentes casos, es decir autocorrelación y heterocedasticidad, peor antes veamos las propiedades genéricas de estos estimadores.

Universidade

de Vigo

Universidade

de Vigo

Propiedades de los estimadores

MCGF

Las propiedades de este tipo de estimadores dependen de las

propiedades del estimador de la varianza. Normalmente si se

consigue que este sea consistente se verifican las siguientes

propiedades:

Consistentes

Asintóticamente normales

Asintóticamente insesgados

Asintóticamente eficientes

Puesto que estos estimadores convergen asintóticamente al

estimador MCG.

Pero no verifican propiedades exactas en pequeñas muestras.

Universidade

de Vigo

Tratamiento de la autocorrelación

Estimadores MCGF: Método de Cochran-Orcutt, Prais-Wisten,

Malla

Estimadores e MV

Universidade

de Vigo

Universidade

de VigoTratamiento de la autocorrelación

Como, en general, no conocemos los parámetros que caracterizan

la matriz de varianzas-covarianzas de las perturbaciones tendremos

que estimarlos, lo que nos hará perder eficiencia en pequeñas

muestras.

Vamos a considerar diferentes casos, según estimemos por MCGF o

por MV.

Para los estimadores MCG, la idea básica consiste en buscar cual es

la matriz de transformaciones que nos transforma el modelo

generalizado en un modelo clásico. Esa transformación se conoce

con el nombre de transformación de Cochran-Orcutt.

Universidade

de Vigo

Universidade

de Vigo

Forma matricial del modelo lineal con

autocorrelación

Escribiendo en forma matricial lo anterior tendríamos que

Y=X+n; siendo n una N(0, S)

=

-

-

-

1......

............

...1

...1

1

2

1

2

n

n

n

s

Por consiguiente estaríamos en un caso particular del modelo de

regresión lineal generalizado. Sus efectos serán consecuencia de ello.

Universidade

de Vigo

Universidade

de Vigo

Estimador de MCGF bajo

autocorrelación

El estimador de MCGF tiene la forma genérica de

El único parámetro que interviene en dicha matriz es el

parámetro r, por consiguiente debemos encontrar un

estimador consistente de él.

Después debemos buscar una matriz P que permita

descomponer la matriz W en P’P.

Una forma de conseguir esa matriz consiste en hacer uso de

la transformación de Cochran-Orcutt.

1 1 1ˆ ˆ( ' ) 'MCGb X X X y- - -= W W

Universidade

de Vigo

Universidade

de Vigo

Matriz de transformación de Cochrane-

Orcutt

Si fuera conocido la matriz S-1 se comprueba que se descompone en

S-1 =s-2 G’G(1-2 )-1

Siendo G la matriz siguiente, que a su vez se puede particionar en dos

submatrices:

-

=

--

-

-

-

= *

0..01

1...

......

0..10

0..01

0...01

2

2

GG

Universidade

de Vigo

Universidade

de VigoLa submatriz de Cochrane-Orcutt

Se descompone de esa forma puesto que es interesante analizar el comportamiento de la matriz G*, que es propiamente la transformación de C-O. Dicha matriz tiene la diagonal principal todo 1. La diagonal secundaria inferior todo . El resultado de multiplicar G* por una variable cualquiera z nos daría la diferencia

entre el valor actual y el valor retardado multiplicado por .

G*z=zt-zt-1

Esto nos permite obtener una transformación directa sobre las variables originales del modelo, es decir, se le aplica a la variable dependiente a cada una de las independientes obteniendo de forma directa el modelo transformado.

Como en el cálculo de la matriz inversa de S, además de G aparecen solo escalares, al modelo obtenido mediante las transformaciones anteriores se le puede aplicar la estimación de MCO para obtener el estimador MCG correspondiente.

Universidade

de Vigo

Universidade

de Vigo

Transformación de Cochrane-Orcutt

Las transformaciones de cada variable serían en conjunto:

Para la dependiente

Para las independientes

Que se puede observar que coincide con la transformación de C-O

salvo en el primer elemento.

-=

-==

-1

*

1

2*

1* 1

tt

tt

yyy

yyGyy

t

* 2

1 1*

*

1

1j j

t t

jt jt jt

x xx Gx

x x x

-

= -=

= -

T=2,...T

T=2,...T

Universidade

de Vigo

Universidade

de VigoModelo resultante

Fruto de la transformación de C-O (sin contar la primera

observación), nos quedaría el siguiente modelo

Es decir la variable dependiente depende de las independientes, de

las independientes retardadas un periodo y de la dependiente

retardada un periodo.

Este modelo es el mismo que se obtiene directamente del modelo

de autocorrelación de orden 1, sustituyendo las perturbaciones

autocorreladas, lo que nos sirve también para comprobar la validez

de la transformación.

1 1(1 )t t t t ty x x y e- - = - + - + +

Universidade

de Vigo

Universidade

de Vigo

Procedimiento de Cochrane-Orcutt en

dos pasos

Cuando es desconocido, el problema es determinar el valor de

en la práctica. Este procedimiento consiste en dos etapas

En la primera se estima mediante MCO o un método alternativo

En la segunda etapa se estima el modelo transformado, sustituyendo

el parámetro por sus estimadores de la primera etapa.

El modelo resultante sería:

Perdiendo la primera observación

+

-

-

-

=

-

-

-- TTTTT xx

xx

yy

yy

e

e

:)1(

:

1

:

1

:

2

1

12

1

12

Universidade

de Vigo

Universidade

de Vigo

Procedimiento de Cochrane-Orcutt en

dos pasos (2)

Por tanto, se estima en la primera etapa y perdiendo la

primera observación, se hacen las transformaciones de C-O,

esto es

Una vez hecha la transformación se aplica de nuevo MCO a

la regresión de la Y transformada respecto a las X

transformadas.

1

**

1

**

ˆ

ˆ

-

*

-

*

-==

-==

ttttt

tttt

xxxxGx

yyyyGyt

Universidade

de Vigo

Universidade

de Vigo

Estimación inicial del coeficiente de

autocorrelación

La estimación del coeficiente de autocorrelación se puede hacer de diferentes formas.

Todas ellas asintóticamente equivalentes, pero con algunas diferencias en pequeñas muestras.

Van a depender de los siguientes factores: La eficiencia del estimador

La capacidad de cálculo

La robustez del modelo

Consideramos cuatro opciones:1. El coeficiente de autocorrelación simple

2. El coeficiente de autocorrelación simple corregido

3. El método de Durbin-Watson

4. La estimación conjunta

Universidade

de Vigo

Universidade

de Vigo

El coeficiente de autocorrelación

simple

Las dos primeras opciones son muy similares, puesto que se trata de estimar mediante el coeficiente de autocorrelacion muestral, puesto que es un estimador consistente. La diferencia está en el número de observaciones utilizado, pero no afecta cuando la muestra es grande.

El coeficiente de autocorrelación simple de primer orden, es decir se calcula la suma de los productos cruzados de los residuos por los residuos retardados, y se divide entre la suma de residuos al cuadrado

Se subestima en parte, al haber mas sumandos en el denominador que en el numerador

==

-=T

i

i

T

i

ii eee1

2

2

1̂

Universidade

de Vigo

Universidade

de Vigo

El coeficiente de autocorrelación simple

corregido

Para paliar el problema anterior, se hace uso del coeficiente de autocorrelación simple de primer orden, pero corrigiendo el denominador, para que tenga el mismo numero de observaciones que el numerador.

El problema que e plantea es que las correcciones podrían haberse eliminando el último residuo en vez del primero o combinando ambas. No existe una regla que nos diga que este es mejor.

Se utiliza en muestras pequeñas, pero dado que sus propiedades son asintóticas su efecto es prácticamente indiferente.

=

-

=

-=T

i

i

T

i

ii eee2

2

1

2

1̂

Universidade

de Vigo

Universidade

de VigoMétodo de Durbin-Watson

El estimador que se obtiene a partir del estadístico de Durbin-Watson, ya que vimos que éste era una aproximación de una función del coeficiente de autocorrelación simple.

Como el estimador d es un estimador consistente del calor teórico del estadístico, el estimador de r de este modo también será un estimador consistente.

Entonces el estimador, siendo d el estadístico DW, será:

r= 1- d/2

Este método es una aproximación, pero tampoco se puede demostrar que sea mas eficiente que los otros métodos

Universidade

de Vigo

Universidade

de VigoEstimación conjunta

Se estima a partir de la ecuación de regresión transformada

restringida a 1 = 2

Es el método mas eficiente pero también el que exige mas

cálculo

En la práctica solo se utiliza cuando se buscan estimadores

MV que busca la estimación de todos los parámetros

conjuntamente.

ttttt yxxy e ++-+-= -- 1121)1(

Universidade

de Vigo

Universidade

de VigoEstimación de RHO

?ols y x1 x2/resid=e predict=ye rstat dwpvalue noanova

gen1 N=$N

gen1 DW=$DW

gen1 rhodw=1-dw/2

gen1 rho1=$rho

g elag=lag(e)

g ee1=(e*elag)

g e2=e*e

stat e2/sum=se2a beg=1 end=40

stat e2/sum=se2b beg=1 end=39

stat ee1/sum=se1 beg=2 end=40

gen1 rho1a=se1/se2a

gen1 rho1b=se1/se2b

|_auto y x1 x2 / dn ml noanova iter=2

Conjunta

MAXIMUM LIKELIHOOD ESTIMATION 40 OBSERVATIONS

BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100

ITERATION RHO LOG L.F. SSE

1 0.00000 -4.43019 2.9227

2 0.65818 8.56528 1.5046

LOG L.F. = 8.56528 AT RHO = 0.65818

RHO1= 0.6563030

RHODW= 0.6690766

RHO1A= 0.6521211

RHO1B= 0.6563030

RHOCJ = 0.65818

Universidade

de Vigo

Universidade

de VigoProcedimiento de C-O iterativo

1: Se estiman los residuos, generalmente por OLS.

2: Se estima a partir de la correlación entre los residuos.

3: Se transforman los datos según C-O utilizando la matriz G* (por tanto, se elimina el primer término)

4: Se estiman por OLS los coeficientes en el modelo transformado

5: Se reestiman los residuos por OLS entre las variables

transformadas.

6: Se repiten de la Fase 2 a la 4 hasta que los residuos no presenten

autocorrelación.

La iteración mejora la eficiencia de los estimadores por lo que los

estimadores iniciales son secundarios, siempre y cuando estén

todos en un entorno cercano al óptimo.

Universidade

de VigoProblemas de óptimo de

SCE()Mínimo

global

Mínimo

parcial

0

Iniciando ahí

converge al mínimo

local parcial

Iniciando ahí

converge al mínimo

global

*

Universidade

de Vigo

Universidade

de VigoEstimación por CO para las telas|_auto y x1 x2/drop noanova

REQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000

DEPENDENT VARIABLE = Y

..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS

LEAST SQUARES ESTIMATION 39 OBSERVATIONS



1 0.00000 -4.81313 2.9227

2 0.65630 9.06698 1.4343

3 0.70292 9.15983 1.4275

4 0.70428 9.15991 1.4275

5 0.70433 9.15991 1.4275

LOG L.F. = 9.15991 AT RHO = 0.70433

ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC

ESTIMATE VARIANCE ST.ERROR T-RATIO

RHO 0.70433 0.01292 0.11367 6.19627

R-SQUARE = 0.9832 R-SQUARE ADJUSTED = 0.9823

VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.39654E-01

STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19913

SUM OF SQUARED ERRORS-SSE= 1.4275

MEAN OF DEPENDENT VARIABLE = 14.330

LOG OF THE LIKELIHOOD FUNCTION = 9.15991

VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY

NAME COEFFICIENT ERROR 36 DF P-VALUE CORR. COEFFICIENT AT MEANS

X1 0.50315 0.8772E-02 57.36 0.000 0.995 0.9737 0.2455

X2 0.11461 0.1126E-01 10.18 0.000 0.861 0.1737 0.0574

CONSTANT 10.032 0.1466 68.44 0.000 0.996 0.0000 0.7001

Universidade

de Vigo

Universidade

de VigoProcedimiento de Prais-Winsten

Consiste en una mejora del procedimiento anterior trabajando con la matriz G en vez de G*

Por tanto, se tiene en cuenta la primera observación

Esto mejora la eficiencia en pequeñas muestras.

En muestras grandes apenas se nota.

Universidade

de Vigo

Universidade

de VigoEstimación por PW para las telas|_sample 1 40

|_read Y X1 X2

3 VARIABLES AND 40 OBSERVATIONS STARTING AT OBS 1

|_auto y x1 x2/noanova







1 0.00000 -4.43019 2.9227

2 0.65630 8.55719 1.5054

3 0.70231 8.67597 1.4921

4 0.70320 8.67661 1.4920

LOG L.F. = 8.67661 AT RHO = 0.70320



RHO 0.70320 0.01264 0.11242 6.25532









X1 0.50342 0.8848E-02 56.90 0.000 0.994 0.9742 0.2456

X2 0.11307 0.1130E-01 10.01 0.000 0.855 0.1714 0.0567

CONSTANT 9.9919 0.1441 69.35 0.000 0.996 0.0000 0.6973

Universidade

de Vigo

Universidade

de VigoProcedimiento de malla

Es un procedimiento iterativo, que se puede aproximar hasta el error que se desee.

Normalmente se prefija inicialmente.

Los pasos que se dan son los siguientes1. Se va variando el valor de desde -1 a +1 con incremento de 0,1 y realizar

para cada uno el primer paso del procedimiento C-O, y calcular la suma de cuadrados de los residuos.

2. Elegiremos las dos estimaciones consecutivas que minimicen dicha suma.3. Se repite el procedimiento tomando el paso con incrementos de 0,01 en los

estimadores obtenidos en el paso 2 hasta una nueva minimización de la suma de cuadrados

4. Este proceso se repite hasta obtener el error deseado.

Normalmente exige mucho cálculo y no mejora la aproximación

No obstante sirve para ver si el valor inicial de r nos acerca al máximo global, ya que cubrimos todo el espectro de valores de

Universidade

de Vigo

Universidade

de Vigo

Estimación por malla para las telas: 1ª

mallaREQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000




BY GRID SEARCH TO ACCURACY OF .01


1 -0.90000 -26.5475 8.4728

2 -0.80000 -24.1327 7.6300

3 -0.70000 -21.7917 6.8466

4 -0.60000 -19.4405 6.1219

5 -0.50000 -17.0538 5.4548

6 -0.40000 -14.6215 4.8439

7 -0.30000 -12.1396 4.2872

8 -0.20000 -9.60824 3.7825

9 -0.10000 -7.03329 3.3281

10 0.00000 -4.43019 2.9227

11 0.10000 -1.82998 2.5657

12 0.20000 0.713450 2.2576

13 0.30000 3.11662 1.9993

14 0.40000 5.26304 1.7923

15 0.50000 7.00736 1.6379

16 0.60000 8.19174 1.5377

17 0.70000 8.67402 1.4925

18 0.80000 8.35471 1.5034

19 0.90000 7.15689 1.5709

Maximización de la

función de

verosimilitud

Minimización de la

suma de cuadrados

de los errores

Universidade

de Vigo

Universidade

de Vigo

Estimación por malla para las telas: 2ª

mallaITERATION RHO LOG L.F. SSE

20 0.61000 8.27360 1.5306

21 0.62000 8.34827 1.5242

22 0.63000 8.41565 1.5183

23 0.64000 8.47561 1.5129

24 0.65000 8.52805 1.5081

25 0.66000 8.57286 1.5039

26 0.67000 8.60995 1.5002

27 0.68000 8.63923 1.4971

28 0.69000 8.66061 1.4945

29 0.70000 8.67402 1.4925

30 0.71000 8.67937 1.4911

31 0.72000 8.67659 1.4902

32 0.73000 8.66563 1.4899

33 0.74000 8.64642 1.4901

34 0.75000 8.61890 1.4909

35 0.76000 8.58302 1.4923

36 0.77000 8.53871 1.4942

37 0.78000 8.48593 1.4967

38 0.79000 8.42462 1.4998

39 0.73000 8.66563 1.4899

Maximización de la

función de

verosimilitud

Minimización de la

suma de cuadrados

de los errores

Universidade

de Vigo

Universidade

de VigoEstimación por malla para las telas

LOG L.F. = 8.66563 AT RHO = 0.73000



RHO 0.73000 0.01168 0.10806 6.75535









X1 0.50340 0.8729E-02 57.67 0.000 0.994 0.9742 0.2456

X2 0.11341 0.1115E-01 10.17 0.000 0.858 0.1719 0.0568

CONSTANT 9.9888 0.1495 66.80 0.000 0.996 0.0000 0.6970

Universidade

de Vigo

Universidade

de VigoEstimador de máxima verosimilitud

Normalmente el estimador MCG y el de MV coinciden, bajo normalidad, puesto que la matriz de varianzas covarianzas es conocida.

No ocurre lo mismo cuando se habla de MCGF y MV, aunque ambos son asintóticamente equivalentes.

Aun suponiendo normalidad al incluir la autocorrelación, maximizar la función de logverosimilitud no es equivalente a minimizar la suma de cuadrados.

La causa es que aparece un término que depende de que no se tiene en cuenta al utilizar MCO, por lo tanto no van a salir exactamente los mismo estimadores, aunque son equivalentes asintóticamente

Universidade

de Vigo

Universidade

de VigoEstimador de máxima verosimilitud

La función viene dada por

Esto hace que los estimadores no coincidan.

Beach y McKinnon (1978) usan un procedimiento para maximizar esta función, similar al de C-O iterativo, que denominaremos de MV.

Generalmente los estimadores son mas eficientes, si el valor inicial está bien definido

2 2

2 2

1 1ln ( ) ln ln(1 )

2 2 2 (1 )

TL u e

e

s e es

- + - --

Término que diferencia la

minimización de cuadrados y

la maximización de la

función

Universidade

de Vigo

Universidade

de VigoEstimación por ML para las telas|_auto y x1 x2 / dn ml noanova




DN OPTION IN EFFECT - DIVISOR IS N

MAXIMUM LIKELIHOOD ESTIMATION 40 OBSERVATIONS



1 0.00000 -4.43019 2.9227

2 0.65818 8.56528 1.5046

3 0.71056 8.67943 1.4910

4 0.71158 8.67947 1.4909

5 0.71160 8.67947 1.4909

LOG L.F. = 8.67947 AT RHO = 0.71160



RHO 0.71160 0.01234 0.11109 6.40570







ASYMPTOTIC


NAME COEFFICIENT ERROR -------- P-VALUE CORR. COEFFICIENT AT MEANS

X1 0.50342 0.8473E-02 59.42 0.000 0.995 0.9742 0.2456

X2 0.11318 0.1082E-01 10.46 0.000 0.864 0.1716 0.0567

CONSTANT 9.9910 0.1400 71.34 0.000 0.996 0.0000 0.6972

Universidade

de Vigo

Comparación de los estimadores del

coste variable de la tela

MCO 0.50688

CO2 0.50314

PW2 0.50347

ML2 0.50347

COI 0.50315

PWI 0.50342

Malla 0.50340

MLI 0.50342

Universidade

de Vigo

Universidade

de Vigo

Estimación para modelos

autocorrelados de orden superior

El método que as fácilmente se generaliza es el de máxima

verosimilitud, pues únicamente consiste en cambiar los parámetros

del modelo que se quiere estimar y el propio ordenador se encarga

de la optimización y búsqueda de soluciones, por ese motivo es el

mas usado en la práctica.

En SHAZAM se hace con la opción ORDER=m.

1 1

2

...

(0, )

t t t

t t m t m t

Y X

sigue N I

n

n n n e

e s

- -

= +

= + + +

Universidade

de Vigo

Universidade

de VigoEstimación para orden 3

|_auto y x1 x2 / dn ml order=3 noanova




AUTOREGRESSIVE ERROR MODEL, ORDER= 3

..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE

ITERATION 0 ESTIMATES AND ERROR SUM OF SQUARES

0.50688 0.92323E-01 10.124 0.0000 0.0000

0.0000 2.9227


0.49993 0.11789 9.9931 -0.78178 0.18927

-0.16251 1.4942

……………….


0.50171 0.11384 9.9286 -0.87009 0.31328

-0.21063 1.4522

Universidade

de Vigo

Universidade






AUTOREGRESSIVE ERROR MODEL, ORDER= 3

..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE


0.50688 0.92323E-01 10.124 0.0000 0.0000

0.0000 2.9227


0.49993 0.11789 9.9931 -0.78178 0.18927

-0.16251 1.4942


0.50166 0.11387 9.9497 -0.82266 0.27993

-0.18358 1.4555


0.50175 0.11377 9.9457 -0.86138 0.31088

-0.20604 1.4528


0.50172 0.11376 9.9340 -0.86145 0.30928

-0.20567 1.4523


0.50171 0.11383 9.9326 -0.86784 0.31242

-0.20946 1.4522


0.50171 0.11382 9.9298 -0.86806 0.31235

-0.20945 1.4522


0.50171 0.11383 9.9295 -0.86963 0.31310

-0.21039 1.4522


0.50171 0.11383 9.9287 -0.86969 0.31308

-0.21039 1.4522


0.50171 0.11384 9.9286 -0.87009 0.31328

-0.21063 1.4522

RESIDUAL CORRELOGRAM

LM-TEST FOR HJ:RHO (J)=0,STATISTIC IS CHI-SQUARE(1)

LAG RHO STD ERR T-STAT LM-STAT

1 -0.0112 0.1581 -0.0710 0.1425

2 0.0062 0.1581 0.0392 0.0313

3 -0.0122 0.1581 -0.0775 0.0154

4 0.0581 0.1581 0.3675 0.3043

5 0.0990 0.1581 0.6263 0.5254

6 0.1291 0.1581 0.8167 0.8280

7 -0.0629 0.1581 -0.3977 0.2222

8 -0.2698 0.1581 -1.7064 4.2576

9 -0.1443 0.1581 -0.9129 1.3788

10 0.0224 0.1581 0.1420 0.0353

11 0.1307 0.1581 0.8267 1.1623

12 -0.0036 0.1581 -0.0229 0.0008

CHISQUARE WITH 12 D.F. IS 5.814

ASYMPTOTIC


RHO 1 0.87009 0.02553 0.15978 5.44562

RHO 2 -0.31328 0.04228 0.20563 -1.52353

RHO 3 0.21063 0.02679 0.16367 1.28688

Universidade

de Vigo

Universidade








ASYMPTOTIC


NAME COEFFICIENT ERROR -------- P-VALUE CORR. COEFFICIENT AT MEANS

X1 0.50171 0.7437E-02 67.46 0.000 0.996 0.9709 0.2448

X2 0.11384 0.8724E-02 13.05 0.000 0.906 0.1726 0.0570

CONSTANT 9.9286 0.1380 71.92 0.000 0.996 0.0000 0.6928

Documents

Estimación por mínimos cuadrados generalizados · 2008. 1. 28. · Los estimadores de mínimos cuadrados generalizados siguen una ley Normal 2. Los valores estimados de Y siguen