Aplicación de la distribución empírica: Tests de bondad de ...eio.usc.es/.../FORMULARIOS-PHP/MATERIALESMASTER/Mat_9_bondad-ajuste.… · Test de bondad de ajuste Supongamos que

Aplicacion de la distribucion empırica: Tests debondad de ajuste

Alberto Rodrıguez Casal

4 de marzo de 2009

Test de bondad de ajuste

Supongamos que se dispone de una m.a.s de tamano n de unapoblacion X con distribucion desconocida F . Los tests de bondadde ajuste tratan de decidir si puede admitirse una determinadahipotesis de tipo parametrico sobre F .

Ejemplo

Estudios previos sugieren que el numero de accidentes diarios en unregimiento del ejercito en zona de conflicto sigue una distribucionde Poisson de parametro 2. Se decide comprobar esa hipotesis enun regimiento determinado destinado en Afganistan. Para ello seregistran los accidentes ocurridos a lo largo de 200 dıas

numero de accidentes 0 1 2 3 4 5 6 7

numero de dıas 22 53 58 39 20 5 2 1

Alberto Rodrıguez Casal Tests de bondad de ajuste

Analisis grafico (I)Podemos comprobar graficamente si la hipotesis es plausible:ni=c(22,53,58,39,20,5,2,1)pi=c(22,53,58,39,20,5,2,1)/sum(ni)p0=dpois(0:7,2)matriz=rbind(pi,p0)colnames(matriz)=0:7barplot(matriz,beside=T,legend=c(‘‘Observada’’,+‘‘Teorica’’))

0 1 2 3 4 5 6 7

Observada

Teórica

0.00

0.05

0.10

0.15

0.20

0.25


Analisis grafico (II)Tambien podemos comparar la distribucion teorica con ladistribucion empırica.

0 2 4 6 8

0.0

0.2

0.4

0.6

0.8

1.0

Negro−Empírica, Rojo−Teórica

x

Fn(

x)


Hipotesis simple

Formalmente lo que debemos plantear es un contraste de hipotesis.En este caso la hipotesis no es sobre un parametro de ladistribucion como la media o la varianza sino que la hipotesis essobre toda la distribucion que genera los datos. Trataremos, enprimer lugar, de contrastar si puede aceptarse la hipotesis

H0 : F = F0,

donde F0 es una hipotesis completamente especificada, que nodepende de ningun parametro desconocido. En este sentido, lahipotesis nula es simple, mientras que la alternativa

H1 : F 6= F0

es bilateral y de tipo no parametrico ya que, en principio,esta compuesta por todas las distribuciones diferentes de F0.


El estadıstico de Kolmogorov-Smirnov

El test de Kolmogorov-Smirnov se basa en medir las diferenciasexistentes entre la distribucion empırica, Fn, y la distribucion F0.Para medir esta discrepancia se utilizara el estadıstico deKolmogorov-Smirnov

Dn = supx∈R|Fn(x)− F0(x)|.

ObservacionA veces interesa contrastar las hipotesis unilaterales

H+1 : F > F0 o H−1 : F < F0,

para lo cual se utilizaran los estadısticos de Kolmogorov

D+n = sup

x∈RFn(x)− F0(x) D−n = sup

x∈RF0(x)− Fn(x).


El estadıstico de Kolmogorov-Smirnov es de distribucionlibre

Rechazaremos H0 cuando Dn sea “grande”. Obviamente paradecidir rechazar H0 debemos tener en cuenta el tamano muestralya que los valores de Dn tenderan a ser cada vez mas pequenos(bajo H0) al aumentar el tamano muestral. ¿Debemos tener encuenta tambien F0? Sorprendentemente no.

TeoremaSea X1, . . . ,Xn una m.a.s de X con distribucion F0 continua. Ladistribucion de Dn no depende de F0. Lo mismo ocurre para D+

n yD−n .


El estadıstico de Kolmogorov-Smirnov es de distribucionlibre: Prueba (I)

DemostracionSea X(1), . . . ,X(n) los estadısticos ordenados. Sea ademas

X(0) = −∞, X(n+1) = +∞.

Ası

Fn(x) =i

n, X(i) ≤ x < X(i+1), i = 0, . . . , n.

D+n = sup

x∈R[Fn(x)− F0(x)] = max

0≤i≤nsup

X(i)≤x<X(i+1)

[Fn(x)− F0(x)]

= max0≤i≤n

[i

n− ınf

X(i)≤x<X(i+1)

F0(x)

]= max

1≤i≤n

[i

n− F0(X(i))

]


El estadıstico de Kolmogorov-Smirnov es de distribucionlibre: Prueba (II)

Analogamente

D−n = max1≤i≤n

[F0(X(i))− i − 1

n

],

y

Dn = max(D+n ,D

−n ) = max

1≤i≤n

i

n− F0(X(i)),F0(X(i))− i − 1

n

.

Por tanto Dn,D+n y D−n dependen solamente de las variables

aleatorias U(1) = F0(X(1)), . . . ,U(n) = F0(X(n)), es decir, de lamuestra ordenada de U1 = F0(X1), . . . ,Un = F (Xn). Pero, comoF0 es continua, Ui sigue una distribucion uniforme (0, 1) sea cualsea F0.


El test de Kolmogorov-Smirnov

Se puede entonces calcular la distribucion de Dn suponiendo queF0 es la distribucion uniforme en (0, 1). Gracias a esto es posiblededucir la distribucion de Dn bajo H0 (vease Gibbons yChakrabortib 1992). Ası podemos calcular Dn,α, donde,

P(Dn ≥ Dn,α|F = F0) = α.

El test de Kolmogorov-Smirnov propone rechazar H0 cuando

Dn ≥ Dn,α.

Se procederıa de forma analoga con las alternativas unilateralesH+

1 y H−1 . En estos casos se emplearıan los estadısticos D+n y D−n ,

respectivamente.


Distribucion asintotica del estadıstico deKolmogorov-Smirnov

Se puede demostrar el siguiente teorema

Teorema

lımn→∞

P(√

nDn ≤ z) = K (z) =∞∑

k=−∞(−1)ke−2k2z2

.

La funcion K (z) esta tabulada y nos permite aproximar ladistribucion de

√nDn para n grande. A partir de n = 40, Dn,α se

puede aproximar por

α 0.2 0.15 0.1 0.05 0.01

1.07/√

n 1.22/√

n 1.36/√

n 1.52/√

n 1.63/√

n


Intervalos de confianza para la distribucion usando elestadıstico de Kolmogorov-Smirnov

El valor crıtico Dn,α tambien se puede usar para construir bandasde confianza para la funcion de distribucion. Sabemos que conprobabilidad (1− α), Dn ≤ Dn,α o, lo que es lo mismo

Fn(x)− Dn,α ≤ F0(x) ≤ Fn(x) + Dn,α, para todo x ∈ R,

donde F0 es la distribucion (desconocida) de la poblacion. ComoFn(x)− Dn,α puede ser negativo y Fn(x) + Dn,α mayor que uno secoge como lımites inferior y superior de la banda de confianza lasfunciones Ln y Un respectivamente, donde

Ln(x) = max(0,Fn(x)− Dn,α),Un(x) = mın(1,Fn(x) + Dn,α).


El test χ2: alternativa para distribuciones discretas

El test χ2 de bondad de ajuste es especialmente adecuado paradistribuciones discretas. En general supondremos que hemosdividido el soporte de la distribucion F0 en k conjuntos disjuntosA1, . . . ,Ak . Sea

pi = PF (X ∈ Ai ),

las probabilidad de cada Ai bajo la distribucion F y

p0i = PF0(X ∈ Ai ),

las probabilidades de cada Ai bajo H0.


Distribucion multinomial

Sea (N1,N2, . . . ,Nk) el vector aleatorio que cuenta el numero deobservaciones de la muestra en cada uno de los subconjuntosA1,A2, . . .Ak . Se tiene que

P(N1 = n1,N2 = n2, . . . ,Nk = nk) =n!

n1!n2! . . . nk !pn1

1 pn22 · · · p

nkk

Se dice que (N1, . . . ,Nk) sigue una distribucion multinomial deparametros n y p = (p1, . . . , pk).

Notese que

p1 + · · ·+ pk = 1

y, por tanto,pk = 1− (p1 + · · ·+ pk−1).

El espacio parametrico tiene ası dimension k − 1.


Distribucion multinomial

Sea (N1,N2, . . . ,Nk) el vector aleatorio que cuenta el numero deobservaciones de la muestra en cada uno de los subconjuntosA1,A2, . . .Ak . Se tiene que

P(N1 = n1,N2 = n2, . . . ,Nk = nk) =n!

n1!n2! . . . nk !pn1

1 pn22 · · · p

nkk

Se dice que (N1, . . . ,Nk) sigue una distribucion multinomial deparametros n y p = (p1, . . . , pk). Notese que

p1 + · · ·+ pk = 1

y, por tanto,pk = 1− (p1 + · · ·+ pk−1).

El espacio parametrico tiene ası dimension k − 1.


Planteamiento del test de bondad de ajuste

La idea basica del test χ2 de bondad de ajuste consiste en sustituirel contraste no parametrico inicial por el contraste

H0 : p = p0,

con p0 = (p01 , . . . , p

0k) frente a

H1 : p 6= p0.

El contraste se realizara utilizando los valores n1, . . . , nk que lamuestra ha proporcionado al vector aleatorio (N1, . . . ,Nk). El testque se utilizara sera el de razon de verosimilitudes.


Razon de verosimilitudes

El siguiente metodo proporciona en la mayorıa de los casos un testoptimo, en caso de que tal test exista. Supongamos quedisponemos de X1, . . . ,Xn una m.a.s de una poblacionX ∈ Fθθ∈Θ⊂Rk y queremos contrastar H0 : θ ∈ Θ0 frente aH1 : θ ∈ Θ1, Θ = Θ0 ∪Θ1. El test de razon de verosimilitudes esun metodo general que se basa en comparar la verosimilitud bajoH0 con la verosimilitud bajo el modelo sin ninguna restriccion. Ası,se define la razon de verosimilitudes como el cociente

0 ≤ λ(x1, . . . , xn) =supθ∈Θ0

fθ(x1, . . . , xn)

supθ∈Θ fθ(x1, . . . , xn)≤ 1

Si H0 es cierta λ deberıa de estar cerca de uno. En caso contrarioes de esperar que λ este proxima a cero.


Test de razon de verosimilitudes

El test de razon de verosimilitudes viene dado por

ϕ(x1, . . . , xn) =

Rechazar H0 si λ(x1, . . . , xn) < cNo rechazar H0 si λ(x1, . . . , xn) ≥ c ,

donde 0 < c < 1 se escoge de forma que el tamano del test sea α.

Ejercicio

Calcula la razon de verosimilitudes, λ(n1, . . . , nk) para contrastar

H0 : p = p0,

con p0 = (p01 , . . . , p

0k) frente a

H1 : p 6= p0.


Test de razon de verosimilitudes: Teorıa asintotica (I)

Para muestras grandes el siguiente resultado es de gran utilidad.

TeoremaSupongamos que la poblacion depende de un parametroθ ∈ Θ ⊂ Rk y que la hipotesis nula viene dada por

Θ0 = g(Ω),

donde Ω es un subconjunto abierto de Rq, con g de clase uno.Entonces, bajo ciertas condiciones de regularidad (veaseVelez-Ibarrola, 1993), se tiene que, para cada θ ∈ Θ0,

−2 log(λ(X1, . . . ,Xn))d→ χ2

k−q.


Test de razon de verosimilitudes: Teorıa asintotica (II)

El resultado anterior nos permite calcular la region crıtica o zonade rechazo del test de razon de verosimilitudes de una forma muysencilla. Para ello debemos tener en cuenta que el conjuntoλ < c coincide con el conjunto −2 log λ > k conk = −2 log(c) ∈ (0,∞). Si queremos que el test tenga tamano α,bajo las condiciones del teorema anterior, si la muestra es grandepara cada θ ∈ Θ0, tenemos que

Pθ(−2 log λ > k) ' P(χ2k−q > k),

y, por tanto, debemos tomar k = χ2k−q,α.


Test de razon de verosimilitudes: Ejercicios (I)

El resultado anterior es una herramienta muy potente que se puedeutilizar tanto el contexto parametrico como no parametrico. Elsiguiente ejercicio plantea el ANOVA de una vıa para un modeloparametrico frecuentemente utilizado para distribuciones discretas.

Ejercicio 1

Sea X1, . . . ,Xk , k poblaciones con distribucion de Poisson deparametro λi , i = 1, . . . , k . En cada poblacion tenemos ni

observaciones, Xi ,j , independientes entre si y entre cada grupo. Sin = n1 + · · · nk es suficientemente grande, calcula la versionasintotica del test de razon de verosimilitudes para contrastar lahipotesis nula

H0 : λ1 = · · · = λk


Test de razon de verosimilitudes: Ejercicios (II)

El siguiente ejercicio pide que se calcule la distribucion asintoticade −2 log λ en un caso particular sin necesidad de recurrir alteorema general.

Ejercicio 2

Sea X1, . . . ,Xn una muestra aleatoria simple de una N(µ, σ2),donde σ2 es un parametro conocido. Supongamos que se deseacontrastar:

H0 : µ = µ0,

H1 : µ 6= µ0.

Calcula la razon de verosimilitudes, λ, y prueba que −2 log λ sigueuna distribucion χ2 con un grado de libertad. Utiliza este resultadopara encontrar la expresion del test de razon de verosimilitudes contamano α.


El test de razon de verosimilitudes para el contraste debondad de ajuste

Volvamos al problema de bondad de ajuste. Para el contrasteH0 : p = p0 que planteabamos antes se tiene que

−2 log λ(n1, . . . , nk) = 2k∑

i=1

ni (log(pi )− log(p0i )),

donde pi = ni/n es el estimador de maxima verosimilitud delparametro pi . Si p = p0 entonces −2 log λ sigue asintoticamenteuna distribucion χ2

k−1 y, por tanto, debemos rechazar H0 cuando

2k∑

i=1

ni (log(pi )− log(p0i )) > χ2

k−1,α.


El contraste χ2 clasico

La tradicion estadıstica, iniciada por Pearson en 1900 antes deldesarrollo de los test de razon de verosimilitudes, hace quenormalmente no se emplee el estadıstico −2 log λ. Lo usual essustituirlo por una medida, en cierta forma mas natural, de ladiscrepancia entre las pi y las p0

i , definida por

G =k∑

i=1

(ni − np0i )2

np0i

.

Se puede demostrar (Velez-Ibarrola 1993) que, si H0 es cierta, ladistribucion asintotica de G es nuevamente una χ2 con k − 1grados libertad. Habitualmente se considera que la aproximacionasintotica es buena cuando

np0i ≥ 5, para cada i = 1, . . . , k .


Hipotesis simple: Ejemplo (I)

En el ejemplo de los accidentes, bajo la hipotesis de que F = F0

sigue una distribucion de Poisson de parametro 2 se tiene que

i 0 1 2 3 4 5 6 7Observados 22 53 58 39 20 5 2 1

np0i 27.07 54.13 54.13 36.09 18.04 7.21 2.4 0.69

donde, recordemos, n = 200.

Si queremos que np0i ≥ 5 debemos

agrupar los valores mas extremos. Por ejemplo, si la ultimacategorıa es “5 accidentes o mas”

i 0 1 2 3 4 ≥ 5

Observados 22 53 58 39 20 8

np0i 27.07 54.13 54.13 36.09 18.04 10.53


Hipotesis simple: Ejemplo (I)

En el ejemplo de los accidentes, bajo la hipotesis de que F = F0

sigue una distribucion de Poisson de parametro 2 se tiene que

i 0 1 2 3 4 5 6 7Observados 22 53 58 39 20 5 2 1

np0i 27.07 54.13 54.13 36.09 18.04 7.21 2.4 0.69

donde, recordemos, n = 200.Si queremos que np0i ≥ 5 debemos

agrupar los valores mas extremos. Por ejemplo, si la ultimacategorıa es “5 accidentes o mas”

i 0 1 2 3 4 ≥ 5

Observados 22 53 58 39 20 8

np0i 27.07 54.13 54.13 36.09 18.04 10.53


Hipotesis simple: Ejemplo (II)

Se tiene que

G =5∑

i=0

(ni − np0i )2

np0i

= 2.303.

Si H0 es cierta el estadıstico G sigue (aproximadamente) unadistribucion χ2 con 5 grados de libertad. Si tomamos como nivelde significacion α = 0.05 deberıamos rechazar si

G ≥ 11.07.

Lo cual no es caso. Ademas, el p-valor del contraste vale

P(χ25 ≥ 2.303) = 0.806.

Ejercicio

Comprueba que −2 log λ = 2.4


Hipotesis simple: Ejercicio (I)

Los impactos de 60 bombas volantes sobre la superficie de Londresdurante la segunda guerra mundial, considerada cuadrada, fueronclasificados en 9 zonas obtenidas dividiendo cada lado en trespartes iguales, con los siguientes resultados:

8 7 3

5 9 11

6 4 7

Los responsables de la defensa aerea querıan averiguar si losalemanes eran capaces de dirigir con precision las bombas y, portanto, estas perseguıan algun objetivo concreto o bien sedistribuıan al azar sobre la superficie de la ciudad. ¿Podemosaceptar, con un nivel de significacion de α = 0.1 que era estoultimo lo que realmente ocurrıa?


Hipotesis simple: Ejercicio (II)

Prueba que la distribucion asintotica de

G =k∑

i=1

(ni − np0i )2

np0i

,

es una χ2 con k − 1 grados libertad en el caso particular en quek = 2.


Documents

Aplicación de la distribución empírica: Tests de bondad de ...eio.usc.es/.../FORMULARIOS-PHP/MATERIALESMASTER/Mat_9_bondad-ajuste.… · Test de bondad de ajuste Supongamos que