Click here to load reader

Maxima Verosimilitud

  • View
    308

  • Download
    1

Embed Size (px)

Text of Maxima Verosimilitud

Maxima VerosimilitudWalter Sosa [email protected] de San Andres1Introduccion Supongamos que Yi N(, 2= 1), i = 1, . . . , n y que Yitoma los siguientes valores: 24, 26, 28, 31, 22, 26. Como justicariamos que 43 es una mala estimacion de? Como justicariamos que 26 no es tan mala?Walter Sosa Escudero. Econometria Avanzada 2El metodo de maxima verosimilitud intenta buscar unestimador para utilizando la siguiente logica:1. Los datos fueron generados con N(, 2= 1).2. Para los datos que dispongo, cual es el valor de quees mas compatible con el hecho de que 1) sea cierto.Estamos intentando recorrer el camino inverso al cual losdatos fueron generados. Para generar los datos primerojamos y luego los generamos. Para estimar , primerovemos los datos y luego buscamos cual fue el que lospudo haber generado.Maxima verosimilitud = maxima compatibilidad entre elmodelo y los datos.Walter Sosa Escudero. Econometria Avanzada 3VerosimilitudX, una variable aleatoria continua f(x; 0). o K.X = (X1, X2, . . . , Xn)

una muestra aleatoria iid f(x; 0). Que mide la funcion de densidad, f(x; 0) : ? La funcion de verosimilitud de X se dene como:L(; x) : K = f(x; )Walter Sosa Escudero. Econometria Avanzada 4Analogamente, la funcion de verosimilitud muestral es:L(, X) = f(X1, . . . , Xn, )= ni=1f(Xi, )= ni=1L(, Xi)Denamos l(, X) ln L(, X). Es trivial mostrar que:l(, X) =ni=1l(, Xi)Ahora necesitamos denir algunos objetos relacionados conestas funcionesWalter Sosa Escudero. Econometria Avanzada 5Score:s(, X) dl(, X)dNotar que se trata de un vector columna de K derivadas.En forma analoga, el score de la muestra aleatoria es:s(, X) = dl(; X)d = dni=1l(, Xi)d =ni=1dl(, Xi)d =ni=1s(, Xi)que tambien es un vector columna de K elementos.Walter Sosa Escudero. Econometria Avanzada 6Matriz de informacion:I(, X) E[s(, X)s(, X)

],la esperanza es tomada con respecto a la distribucion de X.I() es una matriz K K.La matriz de informacion muestral sera:I(, X) = E[s(, X)s(, X)

]= E ni=1s(, Xi)

ni=1s(, Xi)

=ni=1E [s(, Xi)s(, Xi)

] porque?= n I() porque?Walter Sosa Escudero. Econometria Avanzada 7Matriz Hessiana:H(; X) d2l(, X)dd = dS(, X)dNotar que se trata de una matrix K K.Para la muestra, usando el resultado anterior, esta matrizsera:H(, X) = d2l(, X)dd = d[ni=1S(, Xi)]d =ni=1H(, Xi)Walter Sosa Escudero. Econometria Avanzada 8Maxima VerosimilitudDada una muestra aleatoria Xi f(x; 0); i = 1, . . . , n, elestimador maximo-verosmil (MV) de 0, denotado como es aquel que maximiza la verosimilitud muestral: argmax L(, X)Intuitivamente, es el valor de los parametros para loscuales la probabilidad de haber generado la muestraobservada es maxima.Es facil notar que: = argmax l(, X)) Porque?Walter Sosa Escudero. Econometria Avanzada 9 Si l(, X) es diferenciable y tiene un maximo local en unpunto interior el estimador maximo verosmil satisface:s(, X) = 0que es un sistema de K ecuaciones no-lineales cuyasolucion dene implicitamente al estimador maximoverosmil. Si la funcion de verosimilitud es globalmente concava,encontrar el estimador MV equivale a encontrar lasolucion de esta ecuacion.Walter Sosa Escudero. Econometria Avanzada 10Tres ejemplosDistribucion de PoissonY Poisson() si toma valores enteros y positivos(incluyendo el cero) y:f(y) = Pr(Y = y) = eoyoy!Para una muestra aleatoria iid:L(, Y ) =ni=1eyiyi!cuyo logaritmo sera:l(, Y ) =ni=1[ +yi ln ln yi!]Walter Sosa Escudero. Econometria Avanzada 11= n + ln ni=1yini=1ln yi!El score de la muestra sera:s(, Y ) = n + 1ni=1yide modo que el estimador maximo-verosimil de es: = 1nni=1yi = yWalter Sosa Escudero. Econometria Avanzada 12Eleccion binaria:Y Bernoulli(p), p Pr(Y = 1|x) = F(x

). Cuando F(.) esla funcion acumulada de una variable aleatoria normalestandar, corresponde al caso probit, y cuando F(.) es lafuncion de distribucion logistica estandar, corresponde alcaso logit.La funcion de verosimilitud muestral sera:L(, Y ) =i/yi=1pii/yi=0(1 pi) =ni=1pyii (1 pi)1yiWalter Sosa Escudero. Econometria Avanzada 13de modo que:l(, Y ) =ni=1

yi ln F(x

i) + (1 yi) ln (1 F(x

i))

Las condiciones de primer orden para un maximo local son:ni=1(yiFi)fixiFi(1 Fi) = 0,Fi F(x

i), fi f(x

i). Notar que, tanto para el casoprobit como el logit, se trata de un sistema de Kecuaciones no-lineales con K incognitas. Mas aun, no esposible despejar y obtener una solucion explicita.Walter Sosa Escudero. Econometria Avanzada 14Modelo de regresion normal:y = x

0 +u con u N(0, 2) O, alternativamente:y N(x

0, 2) = 12exp12

y x

2l(, 2; Y ) = nln nln2 122ni=1(yix

i)2Cuanto da ?Walter Sosa Escudero. Econometria Avanzada 15Propiedades asintoticas: aspectos preliminaresDesigualdad de la verosimilitud:Sea X una variable aleatoria continua con densidad f(x; 0).Supongamos que: i) Si = o entonces f(x; ) = f(x; o)(supuesto de identicacion), ii) E[|l(X; )|] < . Entonces,E[l(; X)] < E[l(o; X)]La esperanza del log de la funcion de verosimilitud tiene unmaximo unico en 0.Walter Sosa Escudero. Econometria Avanzada 16Prueba:E[l(o)] E[l()] = E[l(o) l()]= Eln f(X, )f(X, o)

> ln E f(X; )f(X; 0)

Desigualdad de Jensen> ln

f(x; )f(x; 0)f(x; o)dx> ln 1> 0Walter Sosa Escudero. Econometria Avanzada 17Lema 1: Sea X una variable aleatoria con densidad f(x; 0).Entonces E (s(0, X)) = 0.Prueba: El resultado a demostrar es:E(s(0, X)) =

s(0; x)f(x, 0) dx = 0 (1)Para cualquier es cierto que :

f(x, ) dx = 1Derivando con respecto a :d[

f(x, )dx)]d = 0Walter Sosa Escudero. Econometria Avanzada 18Si es posible intercambiar las operaciones de integracion ydiferenciacion:

df(x, )d dx = 0De acuerdo a la denicion del score, para una realizacion xde X:s(, X) = d ln f(x, )d = df(x, )/df(x, )por lo quedf(x, )/d = s(; x)f(x, )reemplazando este resultado:

s(; x)f(x; ) dx = 0Porque la prueba NO termina aqui?Walter Sosa Escudero. Econometria Avanzada 19

s(; x)f(x; ) dx = 0Cuando = o, la expresion del lado izquierdo es E(S(o, X)),que es lo que se queria demostrar.Este resultado implica que para 0, la informacion I(0) esigual la varianza del score:V [s(0, X)] = E[s(0, X)s(0, X)

] = I(0, X)Walter Sosa Escudero. Econometria Avanzada 20Lema 2: (Information equality) Si X f(x; 0), entonces:I(0, X) = E(H(0, X))Prueba: del resultado anterior:

s(, x)f(x, )dx = 0Derivando ambos miembros con respecto a , utilizando laregla del producto y omitiendo los argumentos de lasfunciones:

(sf

+s

f)dx = 0

sf

dx +

ns

fdx = 0Walter Sosa Escudero. Econometria Avanzada 21De la prueba del Lema 1, f

= sf, reemplazando f

arriba:

s(, X)s(, X)

f(x, )dx +

s(, X)

f(x, )dx = 0cuando = 0E(s(0, X)s(0, X)

) +

nH(0; x)dx = 0I(0, X) +E(H(0; X)) = 0lo que implica el resultado deseado.Walter Sosa Escudero. Econometria Avanzada 22Desigualdad de Cramer-Rao asintotica: Si X f(x, 0),sea un estimador consistente de 0 y sea V () su varianzaasintotica, entonces V () I(0, X)1= [nI(0, X)]1 Esto establece un limite inferior a la varianza asintoticade un estimador consistente, el cual esta dado por lainversa de la informacion muestral. Si probamos que un estimador consistente tienevarianza igual a I(0, X)1, que es lo que hemosprobado?Walter Sosa Escudero. Econometria Avanzada 23Propiedades asintoticas: consistenciaQueremos probar np0.La prueba se basa en los siguientes cuatro resultados:1. n = argmax l(, X)/n2. l(, X)/n = (1/n)ni=1l(, Xi) pE [l(, X)].3. argmax E [l(, X)] = 04.l()np E [l(, X)] = argmax l()np argmax E [l(, X)]Walter Sosa Escudero. Econometria Avanzada 241. Simplemente la denicion del estimador MV, obtenidocomo maximizador de la funcion l()/n (notar quemaximizar l() es lo mismo.2. La funcion a maximizar tiene un limite E [l(, X)] biendenido. La prueba pasa por usar bien la ley degrandes numeros.3. Esta funcion limite es maximizada por 0. Ya lo probamos...Cuando?4. Si una sucesion de funciones converge a una funcionlimite, entonces la sucesion de maximizadores de estasfunciones converge al maximizador de la funcion limite.Este ultimo es el que es complejo probar. Ver Newey yMcFadden (1994).Walter Sosa Escudero. Econometria Avanzada 25Propiedades asintoticas: normalidad asintotican (n0) dN

0, I(0, X)1

Prueba: Tambien daremos alguna intuicion acerca de laprueba de este resultado. El estimador maximo verosmilsatisface:s(, X) = 0Consideremos una expansion de Taylor de s() en 0:s(, X) s(0, X) +H(0, X)( 0) = 0Esta aproximacion anterior tiende a ser exacta cuando 0, lo cual, de acuerdo al resultado anterior, ocurrecuan

Search related