Miguel Angel Chong R. [email protected] 20 de ... · Hasta ahora hemos considerado las propiedades de los estimadores puntuales usando una muestras aleatorias de taman~o

Inferencia Estadıstica

Miguel Angel Chong [email protected]

20 de octubre del 2011

Miguel Chong CNSF IIMAS-UNAM

Estimador consistente

Hasta ahora hemos considerado las propiedades de los estimadores puntualesusando una muestras aleatorias de tamano n, con n fijo. Parece logico suponerque un estimador sera “mejor” en la medida que el tamano de muestra naumente.Ademas usando el teorema de Glivenko-Cantelli que nos dice que para unamuestra aleatoria X1,X2, . . . ,Xn proveniente de una poblacion con funcion dedistibucion F (x). Si a partir de la muestra calculamos la funcion dedistribucion empirica

Fn(x) =

0 x ∈(−∞,X(1)

)un

x ∈[X(u),X(u+1)

)y u ∈ {1, . . . , n − 1}

1 x ∈[X(n),∞

).

Entonces dn = supx|F (x)− Fn(x)| entonces P

(lım

n→∞dn = 0

)= 1.

Es decir, que cuando el tamano de la muestra es suficientemente grandeentonces la distribucion de la muestra se parece mucho la de la poblacion y porel valor del estimador tiende a coincidir con el valor del parametro.


Sean θ1, θ2, . . . , θn una sucesion de estimadores del parametro θ,obtenidos a partir de muestras de tamano 1, 2, . . . , n,respectivamente, es decir:

θ1 = g (X1)

θ2 = g (X1,X2)...

θn = g (X1,X2, . . . ,Xn) ,

de manera que el estimador basado en la muestra de tamano n lonotaremos por θn, en donde el subındice n lo empleamos parahacer mas evidente la dependencia del tamano muestral. En

general esta sucesion de estimadores se representa por{θn

}.


Definicion Estimador consistente.Diremos que una sucesion de estimadores

{θn

}es consistente, si la

sucesion converge en probabilidad hacia el parametro θ. Es decir, si

lımn→∞

P(|θn − θ| < ε

)= 1

y cada elemento de la sucesion se dira que es un estimadorconsistente.


EjemploSi se lanzara una moneda n veces que tiene probabilidad p de ser aguila,entonces Y , el numero de aguilas en los n lanzamientos, tiene unadistribucion binomial. Si p es desconocido se puede estimar con Y /n.¿Que pasa con esta proporcion muestral si aumenta el numero delanzamientos n? Intuitivamente se pensarıa que Y /n deberıa estar mascerca de p. Esto en terminos de probabilidad se escribe ası

P(|Yn− p| ≤ ε

).

Esta probabilidad deberıa ser cercana a la unidad para valores grandes den. Si la probabilidad de arriba tiende a uno cuando n→∞ entonces Y /nes un estimador consistente de p. En general un estimador θ de θ esconsistente si para cualquier numero positivo ε,

limn→∞

P(|θn − θ| ≤ ε

)= 1.


Suficiencia

Cuando hacer inferencia sobre un parametro θ, usando unamuestra aleatoria (X1, . . . ,Xn) y un estadıstico θ (X1, . . . ,Xn) queresume la informacion proporcionada por la muestra. Podrıamospreguntarnos lo siguiente:¿El resumen que realiza θ (X1, . . . ,Xn) con respecto a (X1, . . . ,Xn)es tal que no se pierde informacion que pudiera contener lamuestra acerca del (los) parametro(s) poblacional(es)?Segun Fisher, un estadıstico es suficiente para hacer inferenciasobre un parametro θ, si resume el conjunto de informacionrelevante suministrada por la muestra y ningun otro estadıstico(otra funcion de la muestra) puede proporcionar informacionadicional a cerca del parametro desconocido θ.


Definicion Estadıstico suficienteUn estadıstico es suficiente respecto al parametro θ si ladistribucion de probabilidad de la muestra (X1, . . . ,Xn)condicionada al estadıstico no depende del parametro θ.Es decir

F(

(X1, . . . ,Xn) |θ (X1, . . . ,Xn))

= t) no depende de θ


Existe otra manera que nos permitira de manera mas facil decir siun estadıstico es suficiente.Teorema de FactorizacionUna condicion necesaria y suficiente para que el estadıstico θ (X )sea suficiente, es que la funcion de verosimilitud de la muestra lapodamos escribir de la siguiente forma

L(θ;X ) = g(θ (X ) ; θ

)· h(X )

donde g(θ (X ) ; θ) depende del parametro y de la muestra, a travesdel estadıstico θ (X ), y h(X ) no depende de θ.


TeoremaSi el estadıstico θ1 (X ) es suficiente y existe una funcion inyectiva tal que

θ2 (X ) = f(θ1 (X )

)entonces el estadıstico θ2 (X ) es tambien suficiente.

DemostracionPor ser f inyectiva tenemos que si θ2 (X ) = f

(θ1 (X )

)entonces esta bien

definida θ1 (X ) = f −1(θ2 (X )

).

Por otro lado como θ1 (X ) es suficiente tenemos que

L(θ; X) = g(θ1 (X ) ; θ

)· h(X )

= g(f −1

(θ2 (X )

); θ)· h(X )

= g1

(θ2 (X ) ; θ

)· h(X ),

donde g1

(θ2 (X ) ; θ

)= g ◦ f −1

(θ2 (X ) ; θ

). Entonces θ2 (X ) es suficiente para

θ.

�

De manera intuitiva podrıamos entender este resultado como, si θ1 (X ) sepuede calcularse a partir de θ2 (X ), entonces el conocimiento de θ2 (X ), debeser al menos tan bueno como el de θ1 (X ).


Notemos que un recıproco al ultimo teorema serıa el siguiente:Si los estadısticos estadisticos θ1 (X ) y θ2 (X ) son suficientes parael parametro θ entonces estan relacionados funcionalmente, esdecir uno se puede ver como una funcion del otro.


Ahora si una distribucion depende de dos parametros θ1 y θ2, tambien podemos

encontrar vıa el criterio de factorizacion estimadores suficientes θ1 (X ) y θ2 (X ) para

θ1 y θ2 respectivamente, esto es lo que nos dice el siguiente resultado.TeoremaLos estadısticos θ1 (X ) y θ2 (X ) son conjuntamente suficientes para θ1 y θ2

respectivamente si solo si

L(θ1, θ2;X ) = g1

(θ1 (X ) ; θ1

)· g2

(θ2 (X ) ; θ2

)· h(X)

dondeg1

(θ1 (X ) ; θ1

)depende del parametro θ1 y de la muestra, a traves del estadıstico

θ1 (X ),

g2

(θ2 (X ) ; θ2

)depende del parametro θ2 y de la muestra, a traves del estadıstico

θ2 (X ) yh(X ) no depende de θ.


Suficiencia Minimal

A continuacion veremos un metodo general para encontrar unestadıstico que resuma la informacion de la muestra lo mas posibley sin perdida de informacion sobre el paramentro θ, y a esteestadıstico lo llamaremos suficiente minimal.Definicion Estadıstico suficiente y minimalUn estimador es suficiente minimal, si es suficiente y cualquierreduccion de la informacion definida por el ya no es suficiente, esdecir desprecia informacion que esta contenida en la muestra,acerca del parametro θ.


Existe un metodo general debido a Lehmann y Sheffe paraencontrar estadıstico(s) suficiente(s) minimal(es), este metodosupone la existencia de dos muestras aleatorias de tamano n,X = (X1 = x1, . . . ,Xn = xn) y Y = (Y1 = y1, . . . ,Yn = yn), y secalcula el cociente de sus verosimilitudes, es decir

∏ni=1 f (xi ; θ)∏ni=1 f (yi ; θ)

=L(θ;X )

L(θ;X )=

g(θ (X ) ; θ

)· h (X )

g(θ (Y ) ; θ

)· h (Y )

.

Para que esta ultima igualdad no dependa del parametro θnecesitamos que

g(θ (X ) ; θ

)= g

(θ (Y ) ; θ

),

y entonces diremos que θ (X ) es suficiente y minimal para θ.


Teorema de Rao-BlackwellSea una poblacion con funcion de densidad f (x ; θ) y sea θ un estimadorinsesgado para el parametro θ y T un estadıstico suficiente del mismoparametro θ. Entonces si hacemos:

g(T ) = E[θ|T

]se verifica:

1 g(T ) es un estadıstico y es funcion del estadıstico suficiente.

2 E [g(T )] = θ.

3 Var (g (T )) ≤ Var(θ)

.

Es decir, el estadıstico g(T ) es funcion del estadıstico suficiente, es unestimador insesgado de θ y su varianza es menor que la del estimadorinsesgado θ.


Completitud

Definicion Familia completaUna familia de distribuciones {F (x ; θ)} es completa si paracualquier funcion h(x) la identidad:

E [h(x)] = 0 entonces P (h(x) = 0) = 1

en todos los puntos para los cuales f (x ; θ) > 0 para algun θ.Esta definicion nos indica que una familia de distribuciones escompleta si el unico estimador insesgado de cero es el mismo cero.


Un estadıstico T es completo si la correspondiente familia dedistribuciones de T es completa. Ası pues se pone de manifiestoque la propiedad de completitud es una propiedad de la familia dedistribuciones.Definicion Estadıstico suficiente completo.Diremos que un estadıstico suficiente T es completo, si la familiade distribuciones del estadıstico suficiente T es completa.


Teorema de Lehmann-ScheffeSi T es un estadıstico suficiente y completo para θ, y si existe unestimador insesgado θ, del parametro θ, entonces existe un unicoestimador UMVUE dado por

g(T ) = E[θ|T

]


La familia exponencialExiste una clase o familia de distribuciones en la que todos losparametros de las distribuciones que la integran tienen estadısticossuficientes. Este grupo de distribuciones recibe el nombre defamilia exponencial de distribuciones, y como veremos serabastante facil obtener estadısticos suficientes para conseguirinformacion acerca del parametro correspondiente.


Definicion Familia exponencial de distribuciones uniparametrica.Diremos que una familia de distribuciones es exponencialuniparametrica si la forma de la funcion de masa de probabilidadP (X = x) en el caso discreto o la densidad densidad f (x ; θ) sepuede factorizar de la siguiente forma

f (x ; θ) = a (θ) b (x) ec(θ)d(x),

donde:

a (θ) y c (θ) son funciones reales de θ y

b (x) y d (x) son funciones reales de x .


A partir de un elemento de la familia exponencial podemos encontrar estimadoressuficientes y minimal usando el metodo de Lehmann y Scheffe para obtener unestadıstico suficiente y minimal de la familia exponencialSupongamos que tenemos dos muestras

(X1, . . . ,Xn) (Y1, . . . ,Yn) .

Notemos que la verosimilitud con respecto a la primera muestra la podemos escribircomo

L (x1, . . . , xn; θ) = f (x1, . . . , xn; θ) =n∏

i=1

f (xi ; θ)

=n∏

i=1

a (θ) b (xi ) ec(θ)d(xi )

= an (θ)n∏

i=1

b (xi ) e

c(θ)

n∑i=1

d(xi )

.

De forma analoga tenemos que para la segunda muestra

L (y1, . . . , yn; θ) = an (θ)n∏

i=1

b (yi ) e

c(θ)

n∑i=1

d(yi )

.


Por lo tanto el cociente de verosimilitudes queda como

L (x1, . . . , xn; θ)

L (y1, . . . , yn; θ)=

an (θ)∏n

i=1 b (xi ) e

c(θ)

n∑i=1

d(xi )

an (θ)∏n

i=1 b (yi ) e

c(θ)

n∑i=1

d(yi )

.

=

∏ni=1 b (xi )∏ni=1 b (yi )

e

c(θ)

n∑i=1

d(xi )−n∑

i=1

d(yi )

,

entonces el cociente de verosimilitudes no dependera de θ, siempre quen∑

i=1

d (xi )−n∑

i=1

d (yi ) = 0, o equivalentemente sin∑

i=1

d (xi ) =n∑

i=1

d (yi ), y por lo tanto

n∑i=1

d (xi ) es el estadıstico suficiente y minimal.


Definicion Estimador invariante.Un estimador θ del parametro θ es invariante si una funcion delestimador θ, es igual a la funcion del estimador del parametro

f (θ) = f (θ).


Documents

Miguel Angel Chong R. [email protected] 20 de ... · Hasta ahora hemos considerado las propiedades de los estimadores puntuales usando una muestras aleatorias de taman~o