Análisis de Influencia en el modelo de regresión Beta por Inferencia Bayesiana

Analisis de Influencia en el modelo de Regresion Betapor inferencia Bayesiana

Mg. Jim Roland Silvestre [email protected]

PeruStatAnalytics training, consulting and researching

Semana Cientıfica en UNMSM

Silvestre Valer, Jim.R. (UNI-PUCP) Analisis de Influencia en el modelo de Regresion Beta por inferencia Bayesiana 1 / 40

Resumen

1 IntroduccionConsideraciones previas y justificacion

2 Objetivos

3 Modelo de Regresion BetaFuncion de densidad y propiedadesReparametrizacion alternativaModelo de regresion Beta

4 Inferencia Bayesiana en el MRBFuncion de verosimilitudDistribucion a prioriDistribucion a posteriori

5 Analisis de InfluenciaAnalisis de Influencia con la Estadıstica Bayesiana

6 Aplicacion

7 Conclusiones y Recomendaciones


Resumen


2 Objetivos




6 Aplicacion



Resumen


2 Objetivos




6 Aplicacion



Resumen


2 Objetivos




6 Aplicacion



Resumen


2 Objetivos




6 Aplicacion



Resumen


2 Objetivos




6 Aplicacion



Resumen


2 Objetivos




6 Aplicacion



Introduccion Consideraciones previas y justificacion

Consideraciones Previas

Puede ser interesante analizar:

La tasa de desempleo en Lima en funcion del nivel educativo de loshabitantes,del numero de horas laborables al dıa, de la edad delhabitante,etc.

La proporcion de ninos en edad escolar que trabajan en funcion delnumero de hijos por familia, el ingreso familiar, etc.

Kieschnick y McCullough (2003) plantean que la distribucion Beta esadecuada para el analisis de este tipo de datos.


Introduccion Consideraciones previas y justificacion

Justificacion

Segun Cho et al (2009) la importancia de identificar observacionesinfluyentes en un analisis estadıstico es un problema metodologico bienreconocido y el desarrollo de medidas de diagnostico para detectarobservaciones influyentes es de interes para muchos investigadores. Lasobservaciones influyentes son una parte importante del analisis de datos ypor lo tanto requieren un trato mas exhaustivo dado que pueden tener unfuerte impacto en las conclusiones que se lleguen con la inferenciaestadıstica.


Objetivos

Objetivo principal

Detectar puntos influyentes empleando inferencia Bayesiana en modelos deregresion para proporciones especıficamente en el modelo de RegresionBeta.


Objetivos

Objetivos secundarios

Mostrar diferentes propuestas del modelo de regresion Beta.

Dar a conocer algunas propiedades sobre el analisis de influencia.

Realizar aplicaciones a conjuntos de datos reales.


Objetivos






Objetivos






Modelo de Regresion Beta Funcion de densidad y propiedades

Modelo

EL MODELO DE REGRESION BETA


Modelo de Regresion Beta Funcion de densidad y propiedades

funcion de densidad

La funcion de densidad de una variable aleatoria y que sigue unadistribucion Beta es la siguiente:

fY (y | α, β) =Γ(α+ β)

Γ(α)Γ(β)yα−1(1− y)β−1, 0 < y < 1

α, β > 0

La media y la variancia de una distribucion Beta son expresadas por:

E(y) =α

α+ βy V ar(y) =

αβ

(α+ β)2(α+ β + 1)(1)


Modelo de Regresion Beta Reparametrizacion alternativa

Reparametrizacion alternativa

Ferrari y Cribari Neto (2004) reparametrizaron el modelo haciendoµ = α/(α+ β) y φ = α+ β, y se obtiene que:

E(y) = µ y V ar(y) =V (µ)

1 + φ

donde V (µ) = µ(1− µ).


Modelo de Regresion Beta Reparametrizacion alternativa

Reparametrizacion alternativa

Luego, en la nueva parametrizacion la densidad de la distribucion Betapuede ser escrita como

fY (y | µ, φ) =Γ(φ)

Γ(µφ)Γ((1− µ)φ)yµφ−1(1− y)(1−µ)φ−1, 0 < y < 1 (2)

donde 0 < µ < 1 y φ > 0.


Modelo de Regresion Beta Modelo de regresion Beta

Antecedentes de la dispersion en el modelo

Ferrari y Cribari Neto(2004) plantean un MRB con dispersion fija(φ=constante)

Smithson y Verkuilen(2006) plantearon un MRB con dispersionvariable (φ=variable)

Espinheira(2008) tambien hizo su aporte en el MRB yconsidero dispersion constante.

Simas et al(2010), Ferrari et al. (2011); Cribari-Neto y Zeileis(2010)analizaron el MRB con dispersion variable.



Analisis de influencia en el modelo

Ferrari y Cribari Neto(2004) presentan directrices para el analisis deinfluencia desde la perspectiva clasica.

Espinheira et al (2008b) propone diversas medidas de influencia ymuestra que tan influyente puede ser una observacion atıpica en elMRB.

Bayes y Bazan(2012) estudian la influencia de una observacion atıpicaen el MRB desde la perspectiva Bayesiana.



El modelo y sus caracterısticas

Estamos analizando el MRB con dispersion variable propuesto porSmithson y Verkuilen(2006).

Sean y1, ..., yn variables aleatorias tales que:

yi ∼ Beta(µi, φi)

g(µi) =

k∑j=1

xijβj

h(φi) =

p∑l=1

zilγl



Tamano de muestra en el modelo

Ferrari y Cribari Neto (2004) consideran que el metodo de maximaverosimilitud es adecuado cuando el tamano de muestra essuficientemente grande.

Por otro lado si tenemos situaciones en las cuales el tamano demuestra sea pequeno y se conozca cierta informacion a priori sobre losparametros del modelo, entonces Congdon (2003) sugiere realizar elanalisis desde la perspectiva Bayesiana.


Inferencia Bayesiana en el MRB Funcion de verosimilitud

Inferencia Bayesiana

INFERENCIA BAYESIANA EN EL MODELO DE REGRESIONBETA


Inferencia Bayesiana en el MRB Funcion de verosimilitud

Funcion de verosimilitud

La funcion de verosimilitud es dada por:

L(θ | y) =

n∏i=1

Γ(φi)

Γ(µiφi)Γ(φi(1− µi))yµiφi−1i (1− yi)φi(1−µi)−1

donde θ = (β, γ)


Inferencia Bayesiana en el MRB Distribucion a priori

Distribucion a priori

Consideraremos las siguientes prioris:

p(βj) ∼ Normal(0, σ2β)

p(γl) ∼ Normal(0, σ2γ)

con j = 1, 2, ..., k y l = 1, 2, ..., p y ademas se puede asignar inclusovalores grandes para los hiperparametros σ2β y σ2γ , como una distribucion apriori no informativa. Asumimos que los parametros β y γ sonindependientes y por lo tanto:

p(θ) = p(β)× p(γ)

con θ = (β, γ)


Inferencia Bayesiana en el MRB Distribucion a posteriori

Distribucion a posteriori

La distribucion a posteriori es proporcional a la multiplicacion de la prioripor la respectiva funcion de verosimilitud, es decir:

p(θ | y) ∝ L(θ | y)× p(θ)

Entonces la distribucion a posteriori es:

p(θ | y) ∝n∏i=1

Γ(φi)

Γ(µiφi)Γ(φi(1− µi))yµiφi−1i (1− yi)φi(1−µi)−1×

e− 1

2

(k∑j=1

β2j /σ

2β+

p∑l=1

γ2l /σ2γ

)


Analisis de Influencia Analisis de Influencia con la Estadıstica Bayesiana

Medidas de influencia

MEDIDAS DE INFLUENCIA



CPO: Conditional Predictive Ordinate

Segun Congdon(2003) el CPO, para la observacion i- esima, se definecomo:

CPOi = f(yi | y(i)) =

∫f(yi | θ, y(i))p(θ | y(i))dθ

donde yi ∈ y siendo y = {y1, y2, ..., yn} y y(i) = {y1, ..., yi−1, yi+1, ..., yn}Pero en este trabajo asumimos que los yi son independientes de y(i) dadoun θ desconocido entonces el CPOi queda dado por:

CPOi = f(yi | y(i)) =

∫f(yi | θ)p(θ | y(i))dθ



Estimacion del CPO por MCMC

Una aproximacion por el metodo Monte Carlo es la siguiente:

CPOi = f(yi | y(i)) =1

1B

B∑s=1

1f(yi|y(i),θs)

θs representa un conjunto de valores extraıdos de la funcion a posteriori deθ, p(θ | y) asumiendo que el modelo fue ajustado por un metodo basadoen algun tipo de muestreo.



Divergencia de Kullback- Leibler (Divergencia KL)

La divergencia KL se define como:

DKL(f, g) =

∫f(x) log

(f(x)

g(x)

)dx

donde f(.) y g(.) son dos funciones de densidad.Un valor grande de la divergencia KL implica mayor diferencia entre lasfunciones de densidad.



Divergencia de Kullback- Leibler (Divergencia KL)

DKL(i) mide la distancia entre las distribuciones a posterioris con todoslos datos y eliminando el i- esimo dato y lo definimos como:

DKL(i) =

∫f(θ | y) log

(f(θ | y)

(f(θ | y(i))

)dθ

f(θ | y) es la distribucion a posteriori de θ dado y y f(θ | y(i)) es ladistribucion a posteriori de θ dado y(i) siendoy(i) = (y1, ..., yi−1, yi+1, ..., yn).Un valor grande de DKL(i) implica mayor influencia de la observacioni-esima en la estimacion.



Estimacion de la Divergencia KL por MCMC

La estimacion de la divergencia KL por MCMC es dada por:

DKL(i) =1

B

B∑s=1

log(f(yi | θs, x, y(i)))− log

1

1B

B∑s=1

1f(yi|θs,x,y(i))

Como la expresion en el segundo termino es la estimacion del CPOi ,entonces:

DKL(i) =1

B

B∑s=1

log(f(yi | θs, x, y(i)))− log(CPOi)


Aplicacion

Aplicacion

APLICACION A UN CASO REAL


Aplicacion

APLICACION

Se consideraron 37 atletas de remo de un total de 202 deportistas delInstituto Australiano del Deporte (AIS). Se eligieron 2 variables (Bfat ylbm) para realizar la deteccion de puntos influyentes, donde:

lbm: (lean body mass) significa masa corporal magra, medida enkilogramos.

Bfat: (body fat percentage) es un indicador de grasa corporal yesta expresado en unidades porcentuales.

En el grafico se puede observar que hay dos valores atıpicos, los cualesdeberıan ser detectados por el CPO y la divergencia KL


Aplicacion

Grafico de dispersion

●

●

●

●

●

●●

●●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●

●

●

●

●

●

●

40 50 60 70 80

0.10

0.15

0.20

0.25

masa corporal magra

% d

e gr

asa

corp

oral

Dispersión considerando solo remadores (Row)

Figura: Dispersion entre la masa corporal (lbm) y el % de grasa corporal


Aplicacion

Estimacion de los parametros

El modelo es:

Bfati ∼ Beta(µi, φ)

logit(µi) = β0 + β1 × lbmi

las distribuciones a priori no informativas son: β0 ∼ N(0; 1000000),β1 ∼ N(0; 1000000) y φ ∼ Gama(0,01; 0,01)


Aplicacion

Estimacion de los parametros

Realizando la estimacion de los parametros por MCMC utilizandoOpenBugs considerando 100000 iteraciones, perıodo burnin de 50000 ythin de 10, se obtuvo:

media sd 2.5 % 25 % 50 % 75 % 97.5 %

β0 0.086 0.22 -0.34 -0.07 0.09 0.24 0.52β1 -0.027 0.001 -0.03 -0.03 -0.03 -0.02 -0.02φ 88.012 20.78 52.37 73.16 86.34 101.43 133.36

Dbar -139.60 2.35 -142.33 -141.34 -140.18 -138.50 -133.76

Cuadro: Estimacion de los parametros del modelo


Aplicacion

Deteccion con el CPO

●

●

●

●

●

●

●

● ●

● ●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●● ●

●

●

●

●

●

●●

●

●

0 5 10 15 20 25 30 35

02

46

810

12

Observación

CP

O

1630

Figura: menor valor del CPO refleja observaciones influyentes


Aplicacion

Deteccion con la divergencia KL

● ● ●●

● ● ● ● ● ● ● ● ●● ●

●

● ● ●● ● ● ● ● ● ● ● ● ●

●

● ● ● ● ● ● ●

0 5 10 15 20 25 30 35

0.0

0.5

1.0

1.5

Observación

D

iver

genc

ia K

L

16

30

Figura: mayor valor de la divergencia KL refleja observaciones influyentes


Aplicacion

Estimacion de los parametros sin la observacion {16}

media sd 2.5 % 25 % 50 % 75 % 97.5 %

β0 0.412 0.26 -0.10 0.23 0.41 0.58 0.93β1 -0.032 0.0007 -0.04 -0.03 -0.03 -0.03 -0.02φ 102.85 24.67 59.22 85.35 101.02 117.83 156.33

Dbar -141.623 2.61 -144.67 -143.59 -142.26 -140.33 -134.81


Aplicacion

analisis de la variacion de los parametros

parametros inicio -{16} variacion IC95 % IC-{16} variacion

β0 0.086 0.412 379.07 % 0.86 1.03 19.77 %β1 -0.027 -0.032 18.52 % 0.01 0.02 100 %

Cuadro: Analisis de la variacion porcentual en la estimacion puntual (media aposteriori) de los parametros y el ancho del IC eliminando la observacion {16}


Aplicacion

Estimacion de los parametros sin la observacion {30}

media sd 2.5 % 25 % 50 % 75 % 97.5 %

β0 0.41 0.26 -0.10 0.25 0.40 0.57 0.97β1 -0.03 0.003 -0.04 -0.03 -0.03 -0.03 -0.02φ 123.58 29.80 72.49 102.38 120.73 142.69 188.41

Dbar -148.50 2.91 -151.89 -150.72 -149.24 -147.05 -141.11


Aplicacion


parametros inicio -{30} variacion IC95 % IC-{30} variacion

β0 0.086 0.41 376.74 % 0.86 1.07 24.42 %β1 -0.027 -0.03 18.52 % 0.01 0.02 100 %

Cuadro: Analisis de la variacion porcentual en la estimacion puntual (media aposteriori) de los parametros y el ancho del IC eliminando la observacion {30}


Aplicacion

Estimacion de los parametros sin las observaciones {16,30}

media sd 2.5 % 25 % 50 % 75 % 97.5 %

β0 0.825 0.18 0.45 0.71 0.84 0.95 1.14β1 -0.038 0.0003 -0.04 -0.04 -0.04 -0.04 -0.03φ 206.41 51.21 119.42 169.93 202.10 237.22 319.25

Dbar -163.83 2.66 -166.95 -165.80 -164.44 -162.54 -157.03


Aplicacion


parametros inicio -{16,30} variacion IC95 % IC-{16,30} variacion

β0 0.086 0.825 859.3 % 0.86 0.69 19.77 %β1 -0.027 -0.038 40.74 % 0.01 0.01 0.0 %

Cuadro: Analisis de la variacion porcentual en la estimacion puntual (media aposteriori) de los parametros y el ancho del IC eliminando las observaciones{16,30}


Conclusiones y Recomendaciones

Finalmente

CONCLUSIONES Y RECOMENDACIONES



Conclusiones

Las observaciones influyentes detectadas por los metodos de laestadıstica clasica, coinciden con los de la estadıstica Bayesiana, perono necesariamente en todos los casos.

El metodo de diagnostico de la divergencia de Kullback - Leiber (KL)detecta observaciones influyentes con mejor precision que el metodode la ordenada predictiva condicional (CPO), como se observo en laaplicacion.

Las observaciones influyentes detectadas por el metodo CPO y ladivergencia KL no necesariamente coinciden en todos los casos.



Recomendacion

Al querer detectar puntos influyentes empleando estadısticaBayesiana, se recomienda detectarlas con la divergencia KL y el CPO.Posteriormente analizar, en lo posible, las observaciones influyentescomunes.


Data & Analytics

Análisis de Influencia en el modelo de regresión Beta por Inferencia Bayesiana