of 21 /21
Estimación puntual de parámetros. Parámetro ( : Característica de la población. ) θ En estadística la forma funcional de ( ) ; f x θ es conocida pero se desconoce θ total o parcialmente. La estimación del parámetro ( ) ˆ θ debe ser función de los datos de la muestra 1 2 , ,..., n x x x , es decir ( 1 2 ˆ , ,..., n ) f x x x θ= , pero los datos i x son cantidades aleatorias por lo tanto es aleatorio, entonces debe tener sentido preguntarse por la distribución de y esta distribución debe describir por completo las propiedades del estimador. ˆ θ ˆ θ Las propiedades más deseables de los estimadores son: Nos gustaría que la distribución de un estimador esté centrada en el parámetro que se desea estimar. Si la media de la distribución de un estimador ˆ θ es igual al parámetro estimado θ , se dice que el estimador está insesgado. Si no es así, se dice que el estimador está sesgado. Además nos gustaría que la distribución de un estimador tuviera varianza mínima; es decir, que la dispersión de la distribución fuera lo más pequeña posible, de modo que las estimaciones tiendan a ser cercanas a θ . Definición: Un estimador de un parámetro θ es insesgado si ˆ θ ( ) ˆ E θ . Si ( ) ˆ E θ ≠θ , se dice que el estimador está sesgado. El sesgo B de un estimador es igual a: ˆ θ ( ) ˆ B E = θ −θ Un estimador insesgado que tiene la varianza más pequeña de todos los estimadores insesgados se denomina: estimador insesgado de varianza mínima (MVUE). Hay ocasiones en las que no podemos lograr la falta de sesgo y también la varianza mínima en el mismo estimador. En un caso así, preferimos el estimador que minimiza el error cuadrado medio (ECM): ( ) ( ) 2 2 ˆ ˆ ECM E V B = θ−θ = θ+ Por lo tanto, si no está sesgado, es decir, si ˆ θ 0 B = , entonces ( ) ˆ ECM V = θ . Si y son estimadores de θ se dice que 1 ˆ θ 2 ˆ θ 1 ˆ θ es más eficiente que si y sólo si , si son insesgados: 2 ˆ θ ( ) ( ) 1 ˆ ECM ECM θ θ 2 ˆ ( ) ( ) 1 2 ˆ ˆ V V θ θ Consistencia. Se dice que (estimador de ˆ θ θ ) es consistente si ˆ lim 1 n n P →∞ θ −θ<ε La “distancia” entre el estimador y el parámetro debe ser pequeña; para n muy grande . ˆ θ≈θ Salvador Iván Márquez Flores 1

Estimación puntual de parámetros - Páginas … · Las propiedades más deseables de los estimadores son: • Nos gustaría que la distribución de un estimador esté centrada en

Embed Size (px)

Text of Estimación puntual de parámetros - Páginas … · Las propiedades más deseables de los...

  • Estimacin puntual de parmetros. Parmetro ( : Caracterstica de la poblacin. )En estadstica la forma funcional de ( );f x es conocida pero se desconoce total o parcialmente. La estimacin del parmetro ( ) debe ser funcin de los datos de la muestra

    1 2, ,..., nx x x , es decir ( 1 2 , ,..., n )f x x x = , pero los datos ix son cantidades aleatorias por lo tanto es aleatorio, entonces debe tener sentido preguntarse por la distribucin de y esta distribucin debe describir por completo las propiedades del estimador.

    Las propiedades ms deseables de los estimadores son: Nos gustara que la distribucin de un estimador est centrada en el parmetro que se

    desea estimar. Si la media de la distribucin de un estimador es igual al parmetro estimado , se dice que el estimador est insesgado. Si no es as, se dice que el estimador est sesgado.

    Adems nos gustara que la distribucin de un estimador tuviera varianza mnima; es decir, que la dispersin de la distribucin fuera lo ms pequea posible, de modo que las estimaciones tiendan a ser cercanas a .

    Definicin: Un estimador de un parmetro es insesgado si ( )E = . Si ( )E , se dice que el estimador est sesgado. El sesgo B de un estimador es igual a: ( )B E= Un estimador insesgado que tiene la varianza ms pequea de todos los estimadores insesgados se denomina: estimador insesgado de varianza mnima (MVUE). Hay ocasiones en las que no podemos lograr la falta de sesgo y tambin la varianza mnima en el mismo estimador. En un caso as, preferimos el estimador que minimiza el error cuadrado medio (ECM):

    ( ) ( )2 2 ECM E V B = = + Por lo tanto, si no est sesgado, es decir, si 0B = , entonces ( )ECM V= . Si y son estimadores de se dice que 1 2 1 es ms eficiente que si y slo si

    , si son insesgados: 2

    ( ) ( )1ECM ECM 2 ( ) ( )1 2 V V Consistencia. Se dice que (estimador de ) es consistente si lim 1nn P

    <

    La distancia entre el estimador y el parmetro debe ser pequea; para n muy grande .

    Salvador Ivn Mrquez Flores 1

  • Ejemplo: Sea 1 2, ,..., nx x x una m.a. de n observaciones. Se desconoce la distribucin de la poblacin muestreada. Demuestre que la varianza de la muestra, s2, es un estimador insesgado de la varianza de la poblacin, . 2 Por la definicin de la varianza de la muestra tenemos que:

    ( )

    2

    212 2 2

    1 1

    1 11 1

    n

    in ni

    i ii i

    xs x x n

    n n n=

    = =

    x = =

    ( ) ( )

    ( ) ( ) ( )

    22 2

    1

    22 2

    1 1

    11

    1 1 1 1

    n

    ii

    n n

    i ii i

    E s E x n xn

    E x E n x E x nE xn n

    =

    = =

    = = =

    2

    Conocemos que:

    ( ) ( ) ( )( ) ( ) ( )22 2 2 2 2V X E X E X E x E x= = = +2 2 Como cada ix ( i = 1, 2 ,..., n) se escogi al azar de una poblacin con media y varianza

    , por lo que: . Adems 2 ( )2 2iE x = + 2 ( ) ( )22 2x xE x = + , pero por el Teorema Central del Lmite, sabemos que:

    2

    ,x Nn

    Entonces: ( ) ( )2

    22 2x xE x n

    = + = + 2

    ( ) ( ) ( ) ( )

    ( ){ } ( ) ( )

    ( )

    22 2 2 2 2 2

    1 1

    2 2 2 2 2 2 2

    2 2

    1 11 1

    1 1 1 11 1 1

    n n

    ii i

    E s E x nE x nn n n

    n n n n nn n n

    E s

    = =

    = = + +

    = + = = =

    =

    2

    Por lo tanto s2 es un estimador insesgado de 2 .

    Salvador Ivn Mrquez Flores 2

  • Ejemplo: Sea 1 2, ,..., nx x x variables aleatorias, ( )2,ix N . Queremos estimar .

    Sean 3

    31 21 2 3

    1

    , , 3 2 3 6

    i

    i

    y yy y y=

    2 = + + = = , cul dar la mejor estimacin.

    son insesgados?

    ( ) ( ) ( ) ( )

    ( ) ( ) ( ) ( ) ( ) ( )

    ( ) ( ) ( )

    3 3 3

    1 11 1 1

    1 2 331 22 2

    3 2 3

    1 1 1 33 3 3 3

    3 2 1

    2 3 6 2 3 6 2 3 6 6

    ii

    i i i

    yE E E y E

    E y E y E yyy yE E E

    E E y E

    = = =

    = = = = = =

    + + = + + = + + = + + = = =

    = = =

    Los tres estimadores son insesgados

    Cul tiene la menor varianza?

    ( ) ( ) ( )

    ( ) ( )

    ( ) ( )

    3 3 32 2 2

    11 1 1

    22 2 2231 2

    2

    23 2

    1 1 1 1 33 9 9 9 3

    9 4 1 72 3 6 4 9 36 36 18

    ii

    i i i

    yV V V y

    yy yV V

    V V y

    = = =

    = = = = =

    + + = + + = + + = =

    = =

    El de menor varianza es 3

    11

    3

    i

    i

    y=

    1 = es el mejor estimador.

    Cmo estimar ?

    No existe una nica manera de estimar un parmetro. No existe un nico estimador de un parmetro un mejor estimador.

    Las principales tcnicas de estimacin son:

    por momentos

    por mxima verosimilitud

    Salvador Ivn Mrquez Flores 3

  • Mxima verosimilitud. Si seleccionamos al azar una muestra de n observaciones independientes e idnticamente distribuidas 1 2, ,..., nx x x de una v.a. x , y si la funcin de densidad ( );f x es funcin de un slo parmetro entonces la funcin de densidad conjunta de los valores 1 2, ,..., nx x x es:

    ( ) ( ) ( ) ( )

    ( )

    1 2 1 2

    1

    , ,..., ;

    ;

    n n

    verosimilitudn

    ii

    f x x x f x f x f x L

    L f x=

    =

    =

    Fisher sugiri que se debera escoger como estimacin de el valor que maximiza L, es decir, debemos encontrar el valor de que maximice la observacin de la muestra conjunta

    1 2, ,..., nx x x . Si la verosimilitud L de la muestra es funcin de dos parmetros 1 y entonces las estimaciones de mxima verosimilitud de

    2

    1 y 2 son los valores que maximizan L. Suponiendo que L es funcin de un slo parmetro , entonces el valor de que maximiza la

    verosimilitud es el valor para el cual 0dLd

    =

    , esta derivada en ocasiones puede ser difcil de

    obtener, ya que L es el producto de varias cantidades que dependen de ; por lo tanto se usa el hecho de que la funcin logaritmo es una funcin montonamente creciente, entonces: L ser mxima con el mismo valor de que maximiza su logaritmo. Por lo que el valor de

    que maximiza la verosimilitud ser el valor para el cual log 0d Ld

    =

    Ojo. L ser funcin slo de , los valores de ix se fijan y lo que importa es el recorrido del parmetro ; por lo que no importa que si ix son v.a. discretas, podemos derivar libremente. Ejemplo: Sea 1 2, ,..., nx x x una m.a. de n observaciones de la variable aleatoria x con funcin de densidad exponencial:

    ( ) 0;0

    xe si xf x

    en los dems puntos

    < =

    Determine el estimador de mxima verosimilitud (MLE) del parmetro .

    Salvador Ivn Mrquez Flores 4

  • ( ) ( ) ( ) ( )1 2

    1 21

    ; inx xx x

    n

    i n ni

    e e e eL f x f x f x f x

    =

    = = = =

    log log log logix

    ixL e n n = =

    21

    n

    ii

    xlog 0 i

    ixd L n n x xn

    =

    d == = =

    =

    es mximo?

    ( ) ( ) ( )2 3 3 3

    3 2 2 2 22 3 2

    log 2 2 2 0 ( i i

    i i ii i

    x xd L n n n n n mximod x x xx x

    n n

    = + = + = + = <

    )

    x = es el MLE de Ejemplo: Sea 1 2, ,..., nx x x una m.a. de n observaciones de la variable aleatoria x con funcin de densidad normal con media y varianza 2 , obtenga los MLEs de y : 2

    ( ) ( )2

    222

    1; , exp22

    xf x

    =

    ( ) ( ) ( ) ( )

    ( ) ( ) ( )

    ( )

    ( )( ) ( )( ) ( )

    1 21

    2 21 2

    2 22 2 2

    2

    2 222 2

    22

    ;

    1 1 1 exp exp exp2 22 2 2

    exp2

    2 exp22

    n

    i ni

    n

    i

    n n inn

    L f x f x f x f x

    x x

    x

    x

    =

    = = =

    = = =

    2

    22x

    ( ) ( )2

    22log log log 22 2 2

    ixn nL

    =

    Salvador Ivn Mrquez Flores 5

  • ( ) ( )2

    2log 0 0 02

    x

    i iii

    i

    xd L x x n xn

    = =n xd

    = = = = =

    ( )( )

    ( )( )

    ( )

    ( )

    2 2 2

    2 22 2 2 22 2

    log 1 10 2 22 2

    i i ix x x xd L n n nd

    = = = =

    sesgado

    22 i

    x xn

    =

    ( )22 , ix xx

    n

    = = son los MLEs de y 2

    Ejemplo: Sea 1 2, ,..., nx x x una m.a. de n observaciones de la variable aleatoria x con funcin de probabilidad Bernoulli: ( ) ( )1; 1 0,1xxf x p p p x= = Determine el estimador de mxima verosimilitud (MLE) del parmetro p.

    ( ) ( ) ( ) ( )( )

    ( ) ( )

    ( ) ( ) ( )

    1 1

    1 1

    ; 1 1 1

    log log log 1

    log 1 0 1 1

    1 1 1

    ix

    n=

    i i ii iin n

    x x n xx xxi

    i i

    i i

    i i ii i

    i

    i

    L f x p p p p p p

    L x p n x p

    n x n x n xx xd L pdp p p p p p x

    n proporcinp x

    p

    = =

    = = = =

    = +

    = = = =

    =

    la proporcin ix

    p es el MLE de p. n

    =

    Problema: cmo garantizar que dentro de los estimadores { } i de una caracterstica de la poblacin se tiene el mejor en algn sentido?

    Cota inferior de Cramr- Rao.

    Sea 1 2, ,..., nx x x m.a. con . Sea ( ,f i ) ( ) ( )1 2 , ,..., nT t x x x = = un estimador insesgado de . Entonces si se cumplen los siguientes supuestos, llamados condiciones de regularidad ( )

    Salvador Ivn Mrquez Flores 6

  • i) ( )log ; y f x x

    ii) ( ) ( )1 2 1 21 1

    ; ;n n

    i n ii i

    nf x dx dx dx f x dx dx dx= =

    =

    iii)

    ( ) ( ) ( ) ( )1 2 1 2 1 2 1 21 1

    , ,..., ; , ,..., ;n n

    n i n n ii i

    t x x x f x dx dx dx t x x x f x dx dx dx= =

    =

    n

    iv) ( )2

    0 log ;E f x <

    <

    tenemos que: ( ) ( )

    ( )

    2

    1 2 2, ,...,

    log ;nV T t x x x

    nE f x

    =

    cota inferior para la varianza de un estimador insesgado de una caracterstica.

    Proporciona el valor mnimo que puede tomar la varianza de un estimador insesgado. Si tenemos varios estimadores insesgados, entonces el que tenga la varianza ms

    cercana a esta cota ser el mejor de ellos. Si tenemos un estimador cuya varianza alcanza la cota: este es el mejor estimador de

    todos. Demostracin:

    ( ) ( )

    ( )

    ( ) ( ) ( )( )

    ( ) ( ) ( )

    11

    1

    ; log log ;

    log log ; ( )

    ; log ; log ; ; ; ;

    ;

    n n

    i iii

    n

    ii

    con

    L f x L f x

    L f x U funcin score de puntajes

    f xE f x f x f x dx f x dx f x dx

    f x

    ==

    =

    = =

    =

    = = =

    =

    =

    ( ) ( )

    ( ) ( ) ( ) ( )

    ( )

    1 1

    ; 1 0

    log ; 0 log ; log ; 0

    dicin ii

    n n

    i ii i

    f x dx

    E f x E U E f x E f x

    = =

    = =

    = = = =

    ( ) 0E U =

    Salvador Ivn Mrquez Flores 7

  • ( ) ( )2

    2

    1

    log ;n

    ii

    E U E f x=

    = i como las x son v.a.i.i.d.

    ( ) ( ) ( )2 2

    2

    1

    log ; log ;n

    i ii

    E U E f x nE f x=

    = =

    Pero ( ) ( ) ( )( ) ( ) ( ) ( )22 2V X E X E X V U E U E U= = ( ) ( )2 2E U=

    ( ) ( ) ( )informaci n

    2

    2

    log ; ...(*)

    de Fish

    i

    er

    V U E U nE f x = =

    Ahora por insesgamiento de ( ) ( )1 2 , ,..., nT t x x x = = :

    ( ) ( )( ) ( ) ( ) ( ) ( )

    ( ) ( ) ( ) ( )

    1 2 1 2

    1 2 1 21

    ; ; ;

    ; ,

    n n

    n

    i ni

    E f x f x f x dx dx

    n

    dx

    f x dx dx dx L x dx dx dx=

    = = =

    = =

    ( ) ( ) ( ) ( ) ( )

    ( ) ( )( ) ( )

    ( ) ( ) ( )( )

    ( )( ) ( )( )22 E U =

    1 2 1 2( )

    1

    21

    2

    1

    , ,

    log , ,

    ;

    n ncondicin iii

    n

    Un

    i ni

    L x dx dx dx L x dx dx dx

    L x L x dx dx dx

    U f x dx dx dx E U=

    = =

    =

    = =

    Ahora bien ( ) ( ) ( ) ( ),Cov X Y E X Y E X E Y= Si ( ) ,X Y U= = , tenemos:

    ( )( ) ( )( ) ( )( ) ( ) ,Cov U E U E E U = ( )( ) ( )( ) ( )( )22 2 ...(,Cov U E U = = **) Por otra parte, sabemos que para v.a.: ( ) ( ) ( )2 ,Cov X Y V X V Y

    ( )( ) ( )( ) ( ) ( )( ) ( )( )( )2

    2 ,

    ,Cov U V V U

    Cov UV

    V U

    Salvador Ivn Mrquez Flores 8

  • entonces, sustituyendo (*) y (**), obtenemos la Cota inferior de Cramr- Rao (CICR):

    ( )( ) ( )( )( ) ( )( )

    ( )

    2 ,

    CoV

    v UV Q

    V U

    2

    1 2 2, ,...,

    log ;. .nT t x x x

    nE f xE D

    =

    Resultado til: ( ) ( )2 2

    2log ; log ;E f x E f x =

    Ejemplo: Existe un estimador p de p (distribucin Bernoulli), que alcance la cota inferior de Cramr-Rao?

    ( )( ) 1p p

    p

    =

    =

    ( ) ( )( ) ( ) ( )

    ( )

    ( )( )

    ( )( )

    ( ) ( )( ) ( ) ( ) ( )

    ( ) ( )

    1

    2

    22 2

    2

    2 2 22 2 2 2

    2

    2

    ; 1

    log ; log 1 log 11log ;1

    1log ;1

    11 1 1log ;1 11 1 1

    log ;1

    xxf x p p p

    f x p x p x px xf x p

    p p px xf x p

    p p p

    E x E xx x p pE f x p E 1 1p p p p p p pp p p

    nnE f x pp p p

    =

    = +

    =

    =

    = + = + = + = + =

    =

    p

    [ ] ( )

    ( )

    ( )

    ( ) ( )

    ( )2 2

    2 2

    2

    11log ;log ; 1

    p p p pV p n n

    nE f xnE f x p p p

    = = =

    [ ] ( ) ( )1 p pV p CICRn

    Salvador Ivn Mrquez Flores 9

  • Ya sabemos que la proporcin ix

    pn

    = es el MLE de p, alcanza la CICR? Primero veamos si es insesgado:

    ( ) ( )1 1

    1 1 n n

    ii

    i i

    x npE p E E x p p pn n n n= =

    = = = = =

    es insesgado

    Ahora

    ( ) ( ) ( ) ( ) ( )2 2 21 1

    11 1 1 1 1 cota

    es el estimador de menor varianza y es el mejor estimador de todos.

    n ni

    ii i

    x p pV p V V x p p np p es la

    n n n n n

    p alcanza la CICR p= =

    = = = = =

    Ejemplo: Normal , con desconocida y ( 2, ) 2 conocida.

    ( ) ( )

    ( ) ( )

    ( ) ( ) ( )

    ( ) ( )

    ( )

    ( )

    ( )

    22

    22

    22 2

    2

    22

    22

    2 2

    22

    2 2

    22

    2 2

    1

    1; , exp22

    1log ; , log 22 2

    log ; ,

    1log ; ,

    1 1log ; ,

    log ; ,

    xf x

    xf x

    xf x

    f x

    E f x E

    nnE f x

    = =

    =

    =

    =

    =

    =

    =

    2=

    [ ] ( )

    ( )

    ( )

    ( )

    2 22

    2 222

    22

    1log ; ,log ; ,

    V n nnE f xnE f x

    = = =

    [ ] ( )2

    V Cn

    ICR

    Salvador Ivn Mrquez Flores 10

  • conocemos un estimador insesgado de cuya varianza sea 2

    n ? Si, ya que por el Teorema

    Central del Lmite, sabemos que:

    2

    ,x Nn

    es decir ( )2

    1

    n

    ii

    xV x x alcanza la CICR

    n n== = =

    x es MVUE.

    Qu pasa para desconocida? 2

    ( ) ( )

    ( ) ( )

    ( ) ( )

    ( ) ( ) ( )

    ( ) ( )( ) ( )

    ( ) ( )

    ( )

    2 2 2

    22

    22

    2

    2

    2

    2 2

    2 2

    22

    2 2 3

    2

    2

    1

    1; , exp22

    1; , exp22

    1log ; , log 22 2

    2 1log ; ,2 2 2 2 2

    1log ; ,2

    log ; ,

    xf x

    Sea

    xf x

    xf x

    x xf x

    xf x

    E f x

    = =

    = =

    =

    =

    = + = +

    = +

    ( ) ( ){ }2

    22 3 2 3

    1 1 12 2

    xE E

    = + = + x

    ( ){ } { } ( ) ( ) ( ) (( ) ( ) ( )( ) ( ) ( ) ( )( )

    ( ){ } ( ) ( )

    2 2 2 2 2 2 2 2 2

    2 22 2 2

    2 2 2 2 2 2 2

    2 2 2

    E x E x x E x E x E x E x

    Pero V X E X E X E x V x E x

    E x E x

    = + = + = + =

    = = + = +

    = = + = =

    ) 22

    Salvador Ivn Mrquez Flores 11

  • ( )2

    2 2 3 2

    1 1 1 1 1log ; ,2 2

    E f x

    2 22 = + = + =

    ( )2

    2 2log ; , 2nnE f x

    =

    ( )

    ( )

    ( )

    ( )

    2 22 4

    2 2

    22

    1 2 2

    log ; ,log ; , 2

    V n n nnE f xnE f x

    = = = =

    ( )4

    2 2V Cn ICR

    Si es conocida ( )

    ( )2

    42 21 2

    n

    ii

    xV alcanza la CICR

    n n=

    = =

    Si es desconocida( )

    ( )2

    42 2 21 2

    1 1

    n

    ii

    x xs V s

    n n=

    = = =

    Slo si n

    Ejemplo:

    Uniforme ( ) ( ) ( )10, ; 0,f x x =

    Bajo las condiciones de regularidad ya demostramos que se debe cumplir

    ( )log ; 0E f x =

    Pero para la funcin Uniforme tenemos que: (0,)

    ( ) ( )

    ( ) ( ) 2 2 200 0

    1log ; log log ;

    1 1 1 1log ; ; 0

    f x f x

    E f x f x dx dx x

    = =

    = = = = =

    1

    La funcin Uniforme ( no cumple las condiciones de regularidad )0, Cla cota inferior de Cramr-Rao).

    Salvador Ivn Mrquez Flores

    se alcanza la CICR

    ICR (No existe

    12

  • Estimemos el parmetro , para la Uniforme ( )0, , usando la tcnica de momentos y la de mxima verosimilitud:

    Momentos Mxima verosimilitud

    ( )

    ( )

    1

    11

    2M x =2

    m mi

    i

    E x xn

    m

    E x x xn

    =

    =

    = =

    1

    1 1 log log

    log 0!!!

    n

    ni

    L L

    nL

    =

    n= = =

    = =

    no podemos maximizar l , pero si L,

    obsrvese que

    og L1

    n es una funcin decreciente

    de . Pero debe ocurrir que ,i ix x en particular ( )nx (mximo de la muestra).

    ( ) ( )

    ( ) ( ) V nx1 1 1 1

    n n Mn n

    MLEx x

    =

    cul de los dos estimadores es el mejor

    son insesgados?

    ( ) ( ) ( ) 2 2 2 2 2 2 2i iM Mnx E x

    E E x En n n n

    = = = = = =

    es insesgado.

    Ahora para determinar la esperanza del estimador mximo verosmil, primero necesito conocer la funcin de densidad de ( )nx :

    ( ) ( )1 1 ,0

    n

    nxf x n x

    =

    Entonces,

    ( ) ( )( ) ( ) ( )1 1

    0 0

    1 1

    0 0

    1

    es sesgado1 1 1

    n n

    MV n n

    n nn

    MVn n n

    x x xE E x xf x dx xn dx n dx n dx

    n n x n nx dxn n n

    + +

    = = = = =

    = = = = + + +

    0

    nx

    Salvador Ivn Mrquez Flores 13

  • Aunque el estimador MV es sesgado observamos que fcilmente podemos obtener el

    estimador insesgado: ( )1

    MV nn x

    n+

    = es insesgado

    Por lo que ya tenemos dos estimadores insesgados 2M x = y ( )1

    MV nn x

    n+

    =

    Cul tiene la menor varianza?

    ( ) ( ) ( )2 2

    2 2 2

    4 4 4 2 412 12 3

    iM i

    x nV V x V V xn n n n

    2

    n

    = = = = = =

    ( ) ( ) ( )( ) ( )( ) ( )( )( )2 2 2

    21 1 1MV n n n

    n n nV V x V x E x E xn n n+ + +

    n = = =

    Pero ya determinamos ( )( ) 1nnE x

    n

    =+

    Y adems:

    ( )( ) ( ) ( )

    12 2 2

    0 0

    2 21

    0 0

    1

    2 2

    n n

    n n

    n nn

    n n n

    x xE x x f x dx x n dx nx dx

    n n x nx dxn n

    + ++

    = = = 2

    2nn

    = = = = + +

    +

    ( ) ( )( ) ( )( )( )( ) ( ) ( )

    ( )( )( )

    ( )( )

    2 2 222

    2 2 2 22 222 2

    2 2

    22

    1 12 1

    1 1 1 1 1

    2 1 2 2

    1 1

    2

    MV n nn n n nV E x E x

    n n n n

    n n n nn nn n n n n n n n

    nnn n

    + + 2

    = = = + + + + + + = = = + + + +

    += =

    +

    ( )( )

    =

    ( )

    2 2 22

    2 1 22 2

    n n nn n n n

    + + = + +

    Entonces tenemos que:

    ( )2

    3M

    Vn

    = ( ) ( ) y

    2

    2MVV

    n n

    =+

    por lo que el de menor varianza es el estimador mximo

    verosmil MV

    ( )1

    MV nn x

    n+

    = es mejor estimador para la funcin Uniforme ( )0, , aunque no existe la cota inferior de Cramr-Rao.

    Salvador Ivn Mrquez Flores 14

  • Estadsticas suficientes. Habamos definido una estadstica ( )1 2, ,..., nT t x x x= , como una medida descriptiva numrica calculada a partir de datos de la muestra. Una estadstica condensa o reduce las n v.a. en una v.a., por lo que debemos preguntarnos si lo mismo que decan n v.a. sobre , lo dice ahora

    ? habremos perdido informacin en esta reduccin?

    ( 1 2, ,..., nT t x x x= ) Estadstica suficiente. Sean 1 2, ,..., nx x x una m.a. de una densidad ( );f i . Una estadstica

    es suficiente para ( 1 2, ,..., nT t x x x= ) si y slo si, la distribucin condicional de 1 2, ,..., nx x x dado T = ti no depende de para ningn valor ti de T.

    Basta conocer los valores de la estadstica suficiente T para conocer . Lo dems que no sea T no aporta informacin sobre . T (una estadstica suficiente) condensa o reduce el rango de valores de una manera

    que no haya perdida de informacin sobre .

    Ejemplo: Sean 1 2 3, ,x x x tres ensayos Bernoulli y

    una estadstica. ( ) ( )1; 1 0,1xxf x p p p x= =

    ( ) ( )1 2 3 1 2 3, ,T t x x x x x x= = +

    Sea el rango de valores de la tripleta ( )1 2 3, ,x x x : ( ) ( ) ( ) ( )

    ( ) ( ) ( ) ( )0,0,0 , 0,0,1 , 0,1,0 , 1,0,01,1,1 , 0,1,1 , 1,0,1 , 1,1,0

    =

    ( ) ( ) { }( ) ( ) ( ) ( )

    ( ) ( ) ( ) ( )( )

    1 2 3

    1 2 3 1 2 3

    0 , , 0,0,0 , 1,0,0 , 0,1,0, , 0,1, 2 1 1,1,0 , 0,0,1 , 0,1,1 , 1,0,1

    2 1,1,1

    x x xT t x x x x x x

    == = + = =

    La distribucin condicional de 1 2 3, ,x x x dado T = t, ser:

    ( ) ( )( )1 1 2 2 3 3

    1 1 2 2 3 3

    , ,, ,

    P X x X x X xP X x X x X x T t

    P T t= = =

    = = = = ==

    Para T = 0: tomando la tripleta ( ) 0,0,0

    Salvador Ivn Mrquez Flores 15

  • ( ) ( )( )( ) ( ) ( )

    ( )( )

    ( ) ( ) ( )( )

    ( ) ( )( )

    1 2 3 1 2 31 2 3

    3 3

    3 2 2 3 2

    0, 0, 0 0 0 00, 0, 0 0

    0 0

    1 1 1 21 1 1 1 2 1 11

    P X X X P X P X P XP X X X T

    P T P T

    p ppp p p p p p p pp

    = = = = = == = = = = = =

    = =

    = =

    + + + +

    =

    depende de p, por lo tanto ( ) ( )1 2 3 1 2 3, ,T t x x x x x x= = + no es una estadstica suficiente para p, lo que indica que se ha perdido informacin. Ejemplo: Para 1 2, ,..., nx x x una m.a. de n observaciones de la variable aleatoria x con funcin de probabilidad Bernoulli: ( ) ( )1; 1 0,1xxf x p p p x= =

    Sabemos que el estimador de mxima verosimilitud del parmetro p, es ix

    pn

    = , ser una estadstica suficiente para p? iT t x= =

    Tenemos que: ( ) ( , )i ix Bernoulli p t x Binomial n p = , por lo tanto, la distribucin condicional de 1 2 3, ,x x x dado iT t x= = , ser

    ( ) ( )( )( )

    ( )

    ( )

    ( )

    ( )

    ( )

    1

    1 1 2 2 11 1 2 2

    1, ,...,, ,...,

    1

    1 1 1 1 1

    ii

    ii

    nxx

    n n in n i

    n tti

    n x n tx t

    in t n tt t

    p pP X x X x X xP X x X x X x T x t

    nP T x t p pt

    p p p pno depende de p T x es suficiente para p

    n n np p p p

    t t t

    =

    = = =

    = = = = = = = = =

    = = = =

    =

    ix

    pn

    = es una funcin 1 a 1 de la estadstica suficiente, no hay perdida de informacin sobre p. Estadsticas conjuntamente suficientes. Sea 1 2, ,..., nx x x una m.a. de densidad . Las estadsticas son conjuntamente suficientes, si la distribucin condicional de

    ( ;f i )1 2, ,..., kS S S

    1 2, ,..., nx x x dado no dependen de 1 1 2 2, ,..., kS s S s S s= = = k . Habr una forma ms econmica de decidir si una estadstica es suficiente para un parmetro ? Criterio de factorizacin.

    Salvador Ivn Mrquez Flores 16

  • Criterio de factorizacin. Sea 1 2, ,..., nx x x una m.a. de densidad ( );f i . Una estadstica es suficiente si y slo si la densidad conjunta de ( 1 2, ,..., nS s x x x= ) 1 2, ,..., nx x x se puede

    factorizar como: ( ) ( )( ) ( ) ( ) ( )1 2 1 2 1 2 1 2, ,..., , ,..., ; , ,..., ; , ,...,x n n n nf x x x g s x x x h x x x g S h x x x= = Equivalentemente, para estadsticas conjuntamente suficientes:

    ( ) ( ) ( ) ( )( ) ( )( ) ( )

    1 2 1 1 2 2 1 2 1 2 1 2

    1 2 1 2

    , ,..., , ,..., , , ,..., ,..., , ,..., ; , ,...,

    , ,..., ; , ,...,x n n n k n

    k n

    nf x x x g s x x x s x x x s x x x h x x x

    g S S S h x x x

    =

    =

    h es una funcin no negativa que no depende de g es no negativa y depende de 1 2, ,..., nx x x slo a travs de ( ) (1 1 2 1 2, ,..., ,..., , ,...,n ks x x x s x x x )n Ejemplo: Sea 1 2, ,..., nx x x una m.a. de n observaciones de la variable aleatoria x con funcin de probabilidad Bernoulli: ( ) ( )1; 1 0,1xxf x p p p x= =

    ( ) ( ) { }( ) ( ) { }

    ( ) ( ) (

    ( ) { }( )

    ( ) ( )

    11 2 1 20,1 0,1

    1

    1 2 0,1

    , ,..., 1 1 1 1 ; , ,...,

    , ,..., 1 .

    ; 1

    i iii ii

    i

    ii

    nx n xxx xx

    x n ni

    xn

    in xx

    )f x x x p p p p g S p h x x x

    h x x xS x es la estadistica suficiente para p

    g S p p p

    =

    = = =

    = = =

    Ejemplo: Sea 1 2, ,..., nx x x una m.a. Normal ( )2,

    ( ) ( )2

    222

    1; , exp22

    xf x

    =

    ( ) ( ) ( )

    ( )

    { }( )

    2 221 2 2

    1

    22 2

    2

    22

    0,1 2

    1 1, ,..., ; , exp2 2

    1 1 exp 22 2

    1 1 1 exp2 2

    i

    nnn

    x n ii

    nn

    i i

    nx n

    i

    f x x x f x x

    x x n

    x

    =

    = = =

    = + =

    =

    ( )2

    1 2

    22

    ; ,,

    1exp 22 i

    g S S

    x n

    +

    Salvador Ivn Mrquez Flores 17

  • ( ) { }( )

    ( ) ( )

    2

    1 2 0,12

    1 22 2 2

    1 2 2 2

    1, ,..., 12 ;

    1 1, ; , exp exp 22 2

    i

    nx

    n

    i in

    i i

    h x x xS x S

    g S S x x n

    = = +

    x= =

    )

    ( 2,i ix x son conjuntamente suficientes para ( )2, y por lo tanto:

    ( )222 2 y

    1

    ii

    i

    xxx nx s

    n n

    = = = =

    son funciones 1 a 1 de la estadstica suficiente.

    Un mtodo para deducir un estadstico suficiente y minimal es el de Lehmann y Scheff, que emplea la razn de verosimilitudes evaluadas en dos puntos ( )1 2, ,..., nx x x y : ( )1 2, ,..., ny y y

    ( )( )

    1 2

    1 2

    , ,..., ;, ,..., ;

    n

    n

    L x x xL y y y

    Muchas veces es posible encontrar una funcin g ( )1 2, ,..., nx x x tal que esta razn no depende de si y slo si g ( ) 1 2, ,..., nx x x = g ( )1 2, ,..., ny y y . si es posible encontrar dicha funcin entonces es un estadstico suficiente minimal para ( 1 2, ,..., ng X X X ) . Ejemplo: Sea 1 2, ,..., nx x x una m.a. de una funcin de probabilidad Bernoulli:

    ( ) ( )1; 1 0,1xxf x p p p x= =

    ( )( )

    ( )

    ( )

    ( )( )

    1

    1 2 1

    11 2

    1

    1, ,..., ; 1, ,..., ; 111

    iii iii

    iiii

    nxx

    x yn xxn i

    n n yyyyn

    i

    p pL x x x p p pL y y y pp pp p

    =

    =

    = = =

    Para que esta razn no dependa de p = , la nica posibilidad es que Pero g0i i i ix y x y = = ( )1 2, ,..., nx x x = g ( )1 2, ,..., ny y y

    g ( )1 2, ,..., nx x x = ix

    ix es una estadstica suficiente y minimal para p.

    Salvador Ivn Mrquez Flores 18

  • Familia exponencial. Definicin. Familia exponencial de k parmetros. Una familia de densidades que puede expresarse como: ( 1 2; , ,..., kf i )

    ( )j

    ( ) ( ) ( ) ( )1 2 1 2 1 21

    ; , ,..., , ,..., exp , ,...,k

    k k j kj

    f x a b x c=

    d x

    =

    se dice que pertenece a la familia exponencial. Ejemplo: Bernoulli ( ) 0,1 =

    ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) ( )

    ( )

    1 log log 11 log 1 log 1 log 1 log 1log log

    log log 11

    ; 1

    x xx xx x x

    x

    f x e e e e e e e

    e e

    = = = =

    =

    Entonces, definimos:

    ( ) ( )

    ( ) { }( )

    ( )

    ( )

    log 1

    0,1

    1

    1

    1 exponencial

    log1

    ix

    a e

    b xla Bernoulli es de la familia

    c

    d x x

    == = =

    Ejemplo: Poisson ( )

    ( )log

    ;! !

    x xe e ef xx x

    = =

    Entonces, definimos:

    ( )

    ( )

    ( )( )

    1

    1

    1 exponencial!

    log

    a e

    b xla Poisson es de la familiax

    c

    d x x

    == = =

    Salvador Ivn Mrquez Flores 19

  • Ejemplo: Normal ( )2,

    ( ) ( )2 2 2

    22 22 2

    2 2

    2 2 22

    1 1; , exp exp2 22 2

    1 exp exp2 22

    x x xf x

    xx

    2 + = =

    =

    Entonces, definimos:

    ( )

    ( ) { }( )

    ( )

    ( )( )

    ( )

    22

    22

    ,

    2 21 2

    1

    22 2

    22

    1, exp22

    1

    , Normal , exponencial

    ( )1,

    2

    ix

    a

    b x

    c la es de la familia

    d x x

    c

    d x x

    =

    = =

    =

    =

    =

    Familia exponencial: Binomial, Exponencial, Beta, Gamma, Normal, 2 .

    Resultado importante: Si ( );f i es de la familia exponencial entonces es

    una estadstica suficiente para

    ( )1

    n

    ii

    d x=

    . Algunas cosas sobre el estimador mximo verosmil:

    Principio de invarianza. Sea ( )1 2 , ,..., k = el estimador mximo verosmil de .

    Si ( ) ( ) ( ) ( )( 1 1 2 2, ,..., k k = ) es una transformacin del espacio parametral, entonces el estimador mximo verosmil de ( ) es:

    ( ) ( ) ( ) ( )( )1 1 2 2 , ,..., k k =

    Salvador Ivn Mrquez Flores 20

  • Ejemplo. Poisson:

    ( ) ( )

    ( )

    : 0

    x

    x estimador mximo verosmiltransformacin P x e

    e e estimador mximo verosmil de la transformacin

    =

    = = =

    = =

    Bajo condiciones de regularidad. Un estimador mximo verosmil, que depende de n, se distribuye asintticamente como:

    ( )( ) 2

    1 ,log ;

    a

    MV n NnE f x

    Salvador Ivn Mrquez Flores 21