Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Curso Inferencia
Estad́ıstica
Miguel
´
Angel Chong R.
24 de septiembre del 2013
Miguel Chong Inferencia
Suficiencia
Cuando hacemos inferencia sobre un parámetro ✓, usando unamuestra aleatoria (X
1
, . . . ,Xn
) y un estad́ıstico
ˆ✓ (X1
, . . . ,Xn
) que
resume la información proporcionada por la muestra. Podŕıamos
preguntarnos lo siguiente:
¿El resumen que realiza
ˆ✓ (X1
, . . . ,Xn
) con respecto a (X
1
, . . . ,Xn
)
es tal que no se pierde información que pudiera contener la
muestra acerca del (los) parámetro(s) poblacional(es)?
Según Fisher, un estad́ıstico es suficiente para hacer inferencia
sobre un parámetro ✓, si resume el conjunto de informaciónrelevante suministrada por la muestra y ningún otro estad́ıstico
(otra función de la muestra) puede proporcionar información
adicional a cerca del parámetro desconocido ✓.
Miguel Chong Inferencia
Definición Estad́ıstico suficiente
Un estad́ıstico es suficiente respecto al parámetro ✓ si ladistribución de probabilidad de la muestra (X
1
, . . . ,Xn
)
condicionada al estad́ıstico no depende del parámetro ✓, es decir
F
⇣(X
1
, . . . ,Xn
) |ˆ✓ (X1
, . . . ,Xn
)
⌘= t) no depende de ✓ .
Miguel Chong Inferencia
Existe otra manera que nos permitirá de manera más fácil decir si
un estad́ıstico es suficiente.
Teorema de Factorización
Una condición necesaria y suficiente para que el estad́ıstico
ˆ✓ (X )sea suficiente, es que la función de verosimilitud de la muestra la
podamos escribir de la siguiente forma
L(✓;X ) =nY
i=1
f (x
i
; ✓)
= g
⇣ˆ✓ (X ) ; ✓
⌘· h(X )
donde g(
ˆ✓ (X ) ; ✓) depende del parámetro y de la muestra, a travésdel estad́ıstico
ˆ✓ (X ), y h(X ) no depende de ✓.
Miguel Chong Inferencia
Teorema Si el estad́ıstico
ˆ✓1
(X ) es suficiente y existe una función inyectiva tal
que
ˆ✓2
(X ) = f⇣ˆ✓1
(X )⌘entonces el estad́ıstico
ˆ✓2
(X ) es también suficiente.
Demostración Por ser f inyectiva tenemos que si ˆ✓2
(X ) = f⇣ˆ✓1
(X )⌘
entonces está bien definida
ˆ✓1
(X ) = f �1⇣ˆ✓2
(X )⌘.
Por otro lado como
ˆ✓1
(X ) es suficiente tenemos que
L(✓;X) = g⇣ˆ✓1
(X ) ; ✓⌘· h(X )
= g⇣f �1
⇣ˆ✓2
(X )⌘; ✓⌘· h(X )
= g1
⇣ˆ✓2
(X ) ; ✓⌘· h(X ),
donde g1
⇣ˆ✓2
(X ) ; ✓⌘= g � f �1
⇣ˆ✓2
(X ) ; ✓⌘. Entonces ˆ✓
2
(X ) es suficiente para
✓.
⇤
De manera intuitiva podŕıamos entender este resultado como, si
ˆ✓1
(X ) sepuede calcularse a partir de
ˆ✓2
(X ), entonces el conocimiento de ˆ✓2
(X ), debeser al menos tan bueno como el de
ˆ✓1
(X ).
Miguel Chong Inferencia
Notemos que un rećıproco al último teorema seŕıa el siguiente:
Si los estad́ısticos estadisticos
ˆ✓1
(X ) y
ˆ✓2
(X ) son suficientes para
el parámetro ✓ entonces están relacionados funcionalmente, esdecir uno se puede ver como una función del otro.
Miguel Chong Inferencia
Ahora si una distribución depende de dos parámetros ✓1
y ✓2
, también podemos
encontrar v́ıa el criterio de factorización estimadores suficientes
ˆ✓1
(X ) y
ˆ✓2
(X ) para
✓1
y ✓2
respectivamente, esto es lo que nos dice el siguiente resultado.
Teorema
Los estad́ısticos
ˆ✓1
(X ) y
ˆ✓2
(X ) son conjuntamente suficientes para ✓1
y ✓2
respectivamente si solo si
L(✓1
, ✓2
;X ) = g
1
⇣ˆ✓1
(X ) , ˆ✓2
(X ) ; ✓1
, ✓2
⌘· h(X)
donde
g
1
⇣ˆ✓1
(X ) ; ✓1
⌘depende del parámetro ✓
1
y de la muestra, a través del estad́ıstico
ˆ✓1
(X ),
g
2
⇣ˆ✓2
(X ) ; ✓2
⌘depende del parámetro ✓
2
y de la muestra, a través del estad́ıstico
ˆ✓2
(X ) y
h(X ) no depende de ✓.
Miguel Chong Inferencia
Suficiencia Minimal
A continuación veremos un método general para encontrar un
estad́ıstico que resuma la información de la muestra lo más posible
y sin pérdida de información sobre el parámentro ✓, y a esteestad́ıstico lo llamaremos suficiente minimal.
Definición Estad́ıstico suficiente y minimal
Un estimador es suficiente minimal, si es suficiente y cualquier
reducción de la información definida por el ya no es suficiente, es
decir desprecia información que está contenida en la muestra,
acerca del parámetro ✓.
Miguel Chong Inferencia
Existe un método general
1
para encontrar estad́ıstico(s)
suficiente(s) minimal(es), este método supone la existencia de dos
muestras aleatorias de tamaño n, X = (X
1
= x
1
, . . . ,Xn
= x
n
) y
Y = (Y
1
= y
1
, . . . ,Yn
= y
n
), y se calcula el cociente de sus
verosimilitudes, es decir
Qn
i=1
f (x
i
; ✓)Qn
i=1
f (y
i
; ✓)=
L(✓;X )
L(✓;X )=
g
⇣ˆ✓ (X ) ; ✓
⌘· h (X )
g
⇣ˆ✓ (Y ) ; ✓
⌘· h (Y )
.
Para que esta última igualdad no dependa del parámetro ✓necesitamos que
g
⇣ˆ✓ (X ) ; ✓
⌘= g
⇣ˆ✓ (Y ) ; ✓
⌘,
y entonces diremos que
ˆ✓ (X ) es suficiente y minimal para ✓.
1
Debido a Lehmann y She↵é
Miguel Chong Inferencia
Teorema de Rao-Blackwell
Sea una población con función de densidad f (x ; ✓) y sea ˆ✓ un estimadorinsesgado para el parámetro ✓ y T un estad́ıstico suficiente del mismoparámetro ✓. Entonces si hacemos:
g(T ) = Ehˆ✓|T
i
se verifica:
1
g(T ) es un estad́ıstico y es función del estad́ıstico suficiente.
2 E [g(T )] = ✓.3
Var (g (T )) Var⇣ˆ✓⌘.
Es decir, el estad́ıstico g(T ) es función del estad́ıstico suficiente, es un
estimador insesgado de ✓ y su varianza es menor que la del estimadorinsesgado ✓.
Miguel Chong Inferencia
Completitud
Definición Familia completa
Una familia de distribuciones {F (x ; ✓)} es completa si paracualquier función h(x) la identidad:
E [h(x)] = 0 entonces P (h(x) = 0) = 1
en todos los puntos para los cuales f (x ; ✓) > 0 para algún ✓.
Esta definición nos indica que una familia de distribuciones es
completa si el único estimador insesgado de cero es el mismo cero.
Miguel Chong Inferencia
Un estad́ıstico T es completo si la correspondiente familia de
distribuciones de T es completa. Aśı pues se pone de manifiesto
que la propiedad de completitud es una propiedad de la familia de
distribuciones.
Definición Estad́ıstico suficiente completo.
Diremos que un estad́ıstico suficiente T es completo, si la familia
de distribuciones del estad́ıstico suficiente T es completa.
Miguel Chong Inferencia
Teorema de Lehmann-Sche↵é
Si T es un estad́ıstico suficiente y completo para ✓, y si existe unestimador insesgado
ˆ✓, del parámetro ✓, entonces existe un únicoestimador UMVUE dado por
g(T ) = Ehˆ✓|T
i
Miguel Chong Inferencia
La familia exponencial
Existe una clase o familia de distribuciones en la que todos los
parámetros de las distribuciones que la integran tienen estad́ısticos
suficientes. Este grupo de distribuciones recibe el nombre de familia
exponencial de distribuciones, y como veremos será bastante fácil
obtener estad́ısticos suficientes del parámetro con esta familia.
Miguel Chong Inferencia
Definición Familia exponencial de distribuciones uniparamétrica.
Diremos que una familia de distribuciones es exponencial
uniparamétrica si la forma de la función de masa de probabilidad
P (X = x) en el caso discreto o la densidad densidad f (x ; ✓) sepuede factorizar de la siguiente forma
f (x ; ✓) = a (✓) b (x) ec(✓)d(x),
donde:
a (✓) y c (✓) son funciones reales de ✓ y
b (x) y d (x) son funciones reales de x .
Miguel Chong Inferencia
A partir de un elemento de la familia exponencial podemos encontrar estimadores
suficientes y minimal usando el método de Lehmann y Sche↵é para obtener un
estad́ıstico suficiente y minimal de la familia exponencial
Supongamos que tenemos dos muestras
(X
1
, . . . ,Xn
) (Y
1
, . . . ,Yn
) .
Notemos que la verosimilitud con respecto a la primera muestra la podemos escribir
como
L (x
1
, . . . , xn
; ✓) = f (x1
, . . . , xn
; ✓) =nY
i=1
f (x
i
; ✓)
=
nY
i=1
a (✓) b (xi
) e
c(✓)d(xi
)
= a
n
(✓)nY
i=1
b (x
i
) e
c(✓)
nX
i=1
d(x
i
)
.
De forma análoga tenemos que para la segunda muestra
L (y
1
, . . . , yn
; ✓) = an (✓)nY
i=1
b (y
i
) e
c(✓)
nX
i=1
d(y
i
)
.Miguel Chong Inferencia
Por lo tanto el cociente de verosimilitudes queda como
L (x
1
, . . . , xn
; ✓)
L (y
1
, . . . , yn
; ✓)=
a
n
(✓)Q
n
i=1
b (x
i
) e
c(✓)
nX
i=1
d(x
i
)
a
n
(✓)Q
n
i=1
b (y
i
) e
c(✓)
nX
i=1
d(y
i
)
.
=
Qn
i=1
b (x
i
)
Qn
i=1
b (y
i
)
e
c(✓)
0
B@
nX
i=1
d(x
i
)�nX
i=1
d(y
i
)
1
CA
,
entonces el cociente de verosimilitudes no dependerá de ✓, siempre quenX
i=1
d (x
i
)�nX
i=1
d (y
i
) = 0, o equivalentemente si
nX
i=1
d (x
i
) =
nX
i=1
d (y
i
), y por lo tanto
nX
i=1
d (x
i
) es el estad́ıstico suficiente y minimal.
Miguel Chong Inferencia
Definición Estimador invariante.
Un estimador
ˆ✓ del parámetro ✓ es invariante si una función delestimador
ˆ✓, es igual a la función del estimador del parámetro
f (
ˆ✓) = df (✓).
Miguel Chong Inferencia