Modelos de Variable Dependiente BinariaMLP-Logit - Probit-

UNIVERSIDAD PRIVADA DE TACNA

MODELOS DE ELCCION DISCRETA BINARIA

• Modelos de regresión donde la variable• dependiente es binaria o dummy, categóricas,

dicótomas, binarias, ficticias o cualitativas.• Por ejemplo: • Un modelo que trata de explicar los factores

determinantes de que una familia sea propietaria de una casa.

• En particular, cuantificar la relación entre ingreso y propiedad

• Se selecciona una muestra de hogares y se registra el ingreso y si la familia es propietaria o no de una casa. El modelo puede expresarse

• Yi=Xi + i

• Donde Yi = 1 si el hogar es propietario de su casa y cero en caso contrario.

• Xi es el ingreso del hogar i

• Se puede aplicar MCO a este problema

• Pero existen 3 inconvenientes

• 1. Las predicciones del modelo no necesariamente estarán entre cero y uno

• 2. Considere el término de error. Para un valor dado de Xi el término de error sólo puede tomar uno de los siguientes dos valores

i––Xi cuando Yi = 1i––Xi cuando Yi = 0• En consecuencia los errores no se distribuyen

como una normal (de hecho lo hacen como una binomial)

Se puede demostrar que los errores son heteroscedásticos

• Estos problemas no impiden absolutamente la aplicación de MCO

• Se puede ajustar por heteroscedasticidad

• Los errores no normales son menos problemáticos en muestras grandes

• Predicciones negativas o mayores a uno no son un problema serio (pueden ignorarse, por ej.)

• Sin embargo, algunos supuestos del modelo son restrictivos

• Por ejemplo la constancia del efecto marginal de un cambio en el ingreso sobre la probabilidad de ser propietario ()

• Esperaríamos un efecto bajo para ingresos muy bajos y muy altos.

• Y un efecto mayor para ingresos promedio.• Esto implicaría una relación de este tipo

entre probabilidad de ser propietario e ingreso

0

0.2

0.4

0.6

0.8

1

X

p

• La relación es no lineal

• La variable dependiente está restringida en la que tiene solo dos posibles respuestas excluyentes entre cero y uno

• Los modelos producen una relación de este tipo son:

• MODELO LINEAL DE PROBABILIDAD

• MODELO LOGIT

• MODELO PROBIT

MODELO LINEAL DE PROBABILIAD

• Partimos del modelo de regresión lineal habitual.

• Una de cuya hipótesis es :

• Lo que nos lleva a escribir el modelo:

kkxxy ....

110

0...../21

kxxxE

kxxxyE ...../

21 kkxx ....

110

Pero el caso de los modelos de la elección discreta

En lo que el conjunto de elección tiene solo dos alternativas posibles mutuamente excluyentes . Y es una variable aleatoria de Bernoulli de parámetro P, lo que nos permite escribir:

Estamos ahora ante el modelo lineal de probabilidad,

donde, por ejemplo, mide la variación en la probabilidad de éxito ( y=1) ante la variación unitaria en x1 ( con todas las demás variables constantes)

Como Y es una variable aleatoria de Bernoulli

).../1(...../121 kkxxyPxxxyE kk

xx ....110

1

)())..../1(1)(.../1(...../1121

VxxyPxxyPxxxyVkkk

)(V

• Para cada observación

Ya que Y es una variable aleatoria de Bernoulli • Como estamos entonces ante un modelo con

heteroscedasticidad porque la varianza del error no es constante y no cumple la hipótesis de normalidad por lo que aplicamos el método de máxima verosimilitud

• Mediante el método de WHITE . Y su estimación será:

• Se puede interpretar como una estimación de la probabilidad de éxito (de que y=1) en algunas aplicaciones tiene sentido interpretar como la probabilidad de éxito cuando todas la xi valen cero

)1()(iiippV

kkxxy ˆ.....ˆˆˆ 110

0̂

• El departamento de comercialización de una agencia de viajes y entretenimiento que opera mediante tarjetas de crédito está a punto de iniciar una campaña para convencer a los actuales clientes que poseen una tarjeta de crédito estándar de la compañía para que la cambien por una de sus tarjetas premium. La principal decisión que enfrenta el departamento de comercialización tiene que ver con la cuestión de saber a cuáles de los clientes con tarjeta estándar debe dirigirse la campaña. Los datos disponibles correspondientes a una muestra de 30 poseedores de tarjeta, que fueron contactados durante la campaña del año anterior, indican lo siguiente:

• El poseedor pasó de tener una estándar a una tarjeta premium: 1= SI, 0= No (Variable X1)

• Cantidad total de adquisiciones por tarjeta el año anterior, estuvo medida en miles de dólares gastados (variable X2).

• Si el poseedor de tarjetas de crédito estándar tiene tarjetas adicionales para otros miembros de su familia: 1= Si lo tiene, 0= No lo tiene. Los datos son los siguientes:

Ejemplo:

Comportamiento de

adquisiciónGastos anuales

Posesión de tarjeta de

crédito adicional

Comportamiento de

adquisiciónGastos anuales

Posesión de tarjeta de

crédito adicional

0 32.1007 0 0 23.7609 0

1 34.3706 1 0 35.0388 1

0 4.3706 0 1 49.7388 1

0 8.1263 0 0 24.7372 0

0 12.9783 0 1 26.1315 1

0 16.0471 0 0 31.322 1

0 20.6648 0 1 40.1967 1

1 42.0483 1 0 35.3899 0

0 42.2264 1 0 30.228 0

1 37.9900 1 1 50.3778 0

1 53.6063 1 0 52.7713 0

0 38.7936 0 0 27.3728 0

0 27.9999 0 1 59.2146 1

1 42.1694 0 1 50.0686 1

1 56.1997 1 1 35.4234 1

22110xxy

• SOLUCION• Planteamos el siguiente MLP

• Luego usando EVIEWS:

Pero el problema relevante en un MPL es la heteroscedasticidad.

Usamos la prueba de white para determinar la heteroscedasticidada

Como se puede observar los P-valores de F y Chi-cuadrado son mayores que 0.05 luego no existe heteroscedasticidad

Como algunos coeficientes son no significativos. Utilizaremos entonces para la estimación el METODO

ROBUSTO DE WHITE según la fig.

Se observa que todas las variables son significativas y se tienen los signos esperados, tambien se observa una fuerte significación conjunta. El modelo será: Pest= -0.242413+0.0131X1+0.4716X2

Uno de los problemas del modelo de MLP es que las estimaciones de las probabilidades algunas pueden ser menores que 0 o mayores que 1 podemos calcular para todas las tarjetas de crédito. Para ello se hace clik en forecast y se obtiene la fig. siguiente luego aceptar.

se obtiene todas las estimaciones de Pest. Y haciendo doble clik en yf se observa los valores de las probabilidaes.

Modelo Logit

• Expresando el modelo explícitamente en términos de probabilidades tenemos

• Pi = Xi

• Donde Pi es la probabilidad de que el hogar i sea propietario de una casa

• Una relación que genera un gráfico como el anterior es:

)(1

1iXi

eP

• Definimos la razón de probabilidades (odds ratio) como:

i

i

P

P

1

En el caso de la propiedad de casas representa la razón de la probabilidad de que una familia posea una casa respecto de la probabilidad de que no la posea.

Por ejemplo, si Pi = 0.8 significa que las probabiliades son 4 a 1 a favor de que la familia posea una casa (0.8/0.2)

• Si tomamos el logaritmo natural de la razón de probabilidades obtenemos

iii

ii XZ

P

PL

1

ln

• Entonces, el Li resulta lineal en X y también en los parámetros

• L es llamado modelo Logit• En este caso usamos la regresión logística

P=Y

X

Curva Logística

1

z

z

zi ee

eP

11

1

zi eP

11

1

i

i

iZ

Z

Z

i

i ee

eP

P

1

11

ii

ii Z

P

PL

1

ln

• Li es el logaritmo de la razón de probabilidades y es lineal en los parámetros.

En los modelos Logit se pueden añadir varias regresoras X1, X2, …Xk.

Tanto Z como L varían de – a +

Si L el Logit es positivo, significa que cuando el valor de las regresoras se incrementa, aumenta la posibilidad que la regresada sea igual a 1 (lo cual indica que sucederá algo de interés). Si L es negativo, las posibilidades de que la regresada iguale a 1 disminuyen conforme el valor de X se incrementa en magnitud.

La interpretación del Logit es: 1 la pendiente, mide el cambio en L ocasionado por un cambio unitario en X. Dice cómo el Logaritmo de la razón de probabilidades a favor de poseer una casa cambia a medida que el ingreso cambia en una unidad.

La intersección no tiene sentido físico.

Si se desea estimar la probabilidad de poseer una casa usar la expresión:

z

z

zi ee

eP

11

1

Para lo cual debe disponerse previamente de Zi= α+X

• La interpretación del modelo es la siguiente: es la pendiente y mide el cambio en L

ocasionado por un cambio unitario en X, es decir, dice cómo el logaritmo de las porbabilidades a favor de tener una casa cambian a mediada que el ingreso cambia en una unidad.

es el valor de L si el ingreso es cero

• Dado un nivel de ingreso X* si se desea estimar la probabilidad de tener una casa (y no las probabilidades a favor de tener una casa) se puede calcular a partir de la definición de Pi una vez estimados los parámetros.

• El método de estimación es por Máxima Verosimilitud (MV)

El Modelo Probit

• La aproximación al problema es similar al Logit pero se supone una relación no lineal distinta (aunque muy similar) entre Xi y Pi

• Se basa en la distribución normal acumulada• Se supone que la decisión de poseer o no una casa

depenede de un índice I (conocido como variable

latente)

• El índice I está determinado por una o varias variables explicativas. Por ej ingreso

• Cuanto mayor sea el índice mayor la probabilidad de tener una casa

Ii = Xi

• Se supone un umbral crítico I* a partir del cuál, si I supera a I* entonces una familia posee una casa.

• El umbral I*, al igual que I, no es observable• Si se supone que está distribuido normalmente con la

misma media y varianza es posible estimar los parámetros del índice y también alguna información sobre el I*.

•

• Pi = P (Y=1|X) = P(I*i ≤ Ii)

= P(Zi ≤ Xi) = F(Xi)

Donde Z es una variable estándar normal, Z ~ N(0, F es la función de distribución normal acumulada

• Explícitamente

Ii Zi dzeIF 2/2

2

1)(

Xi Z dze

2/2

2

1

0

0.2

0.4

0.6

0.8

1

X

p

0 - ∞+ ∞

Pi

Ii = + Xi

Pr (I*i≤ Ii)

Pi = F(Ii)

Interpretación de los Coeficientes

• Una diferencia fundamental respecto a los modelos lineales es que la influencia que tienen las variables explicativas sobre la probabilidad de elegir la opción dada por yi = 1 (la derivada parcial, dyi/dxi = βk en los modelos lineales) no es independiente del vector de características xi.

• Una primera aproximación a la relación entre las variables explicativas y la probabilidad resultante es calcular los efectos marginales sobre la variable latente (y*) .

• Si el efecto marginal expresa el cambio de la variable dependiente provocado por un cambio unitario en una de las independientes manteniendo el resto constante, los parámetros estimados del Logit y el Probit reflejan el efecto marginal de las xik en yi de la misma forma que en el MLP, puesto qe E (y*|x) = x´β.

siendo F (.) la función de distribución y f (.) la función de densidad

• Por lo tanto, en un modelo binario la influencia que tienen las explicativas sobre la probabilidad de elegir la opción dada por yi = 1 no depende simplemente del valor los coeficientes, sino también del valor que toman las variables explicativas.

• Por ej: El efecto marginal máximo ocurrirá cuando Pr (y = 1) = 0.5

• Esto significa que, a diferencia de lo que ocurre en el MLP, el efecto de una variable sobre la probabilidad varía con el valor de esa variable (es decir, no es independiente del vector de características xi).

• En Logit

• En Probit

• Los resultados previos suponen que si bien los coeficientes de estos modelos no son directamente interpretables, sus valores relativos si lo son.

• Por ej. el cociente βj/ βk mide la importancia relativa de los efectos marginales de las variables xj y xk.

• Dado que los efectos marginales varian con x resulta conveniente calcularlos para valores concretos de la variable.

• Los “efectos marginales medios”, obtenidos a partir de la media muestral de la variable, son una de las formas más comunes de presentación de losresultados

Inferencia

• La inferencia no presenta diferencias sustanciales respecto al Modelo Lineal Gaussiano, por lo que para llevar a cabo hipótesis sobre el valor de un coeficiente puede emplearse un estadístico de la t−Student tradicional (aunque, siendo rigurosos, la distribución apropiada sería la Normal).(ratio z)

• Por su parte, para contrastar la validez de un conjunto de restricciones como las que definen la significación global del modelo puede el test de razón de verosimilitud (LR)

• Por ultimo, una forma de evaluación del modelo es la que se deriva de la bondad del ajuste.

• Evidentemente, al tratarse de modelos no lineales carece de sentido plantear la bondad del ajuste en los t´erminos que definen el coeficiente de determinación R2.

• Existen criterios alternativos que, en cierto modo, siguen la misma idea.

• Todas estas medidas deben interpretarse con cierta cautela

• Su validez como criterios de selección del modelo es ciertamente limitada.

• Una medida es el pseudo R2 de Mc Fadden:

• En este caso, si los coeficientes son poco significativos la capacidad explicativa del modelo será muy reducida y el Loglikelihood sin restricciones será muy similar al L0; por el contrario, cuanto mayor sea la capacidad explicativa del modelo, más próximo estará R2 a uno.

Criterios para seleccionar uno mejor modelo: • a) El coeficiente de determinación corregido de

McFadden. Conforme a este criterio el mejor modelo es aquel que presente el mayor coeficiente de determinación (R2 ) ajustado;

• b) La Suma de Cuadrados Residuales (SCR): el cual sugiere que el mejor modelo será el que tenga un valor más pequeño de este estadístico;

• c) El criterio de información de Akaike (CIA): establece que cuanto más bajo es su valor, mejor es el modelo;

• d) El Criterio de Schwartz (CS): postula que cuanto menor es el valor de este criterio, mejor será el modelo;

f) Estadístico de máxima verosimilitud (LR): el valor experimental obtenido y el teórico de este estadístico permite contrastar la hipótesis nula de no significatividad conjunta de los coeficientes de las variables explicativas del modelo.

• Los resultados de la estimación de estos estadísticos, sin excepción, sugieren que el modelo logit tiene un mayor grado de eficiencia para explicar el fenómeno analizado, en tanto que el coeficiente de determinación (R2) de McFadden, la suma de cuadrados residuales, el criterio de información de Akaike, y los criterios de Schwartz y Hannan-Quinn, así como el estadístico de máxima verosimilitud (LR), registran valores más favorables, comparados con los resultados del modelo probit

e) Criterio de Hannan-Quinn: establece igualmente que cuanto menor sea el valor de este criterio, más adecuado resulta el modelo

. f) Estadístico de máxima verosimilitud (LR): el valor experimental obtenido y el teórico de este estadístico permite contrastar la hipótesis nula de no significatividad conjunta de los coeficientes de las variables explicativas del modelo.

• Los resultados de la estimación de estos estadísticos, sin excepción, sugieren que el modelo logit tiene un mayor grado de eficiencia para explicar el fenómeno analizado, en tanto que el coeficiente de determinación (R2 ) de McFadden, la suma de cuadrados residuales, el criterio de información de Akaike, y los criterios de Schwartz y Hannan-Quinn, así como el estadístico de máxima verosimilitud (LR), registran valores más favorables, comparados con los resultados del modelo probit.

•  

Ejemplo de aplicaciónDe acuerdo al ejemplo anterior Hallar:

a) Ajuste un modelo de regresión logística para predecir la probabilidad de Adquirir una Tarjeta Premium basándose en los Gastos anuales y si Posee o no Tarjetas Adicionales para otros miembros de la familia.(modelo logit)

b) Explique el significado de los coeficientes de regresión para el modelo ajustado.

c) Prediga la probabilidad de que un cliente con Tarjeta Estandar que ha cargado S/. 36,000 el año anterior y que no posee tarjetas adicionales para los miembros de su familia, adquiera la Tarjeta Premium durante la campaña de comercialización.

d) Al nivel de significación del 0.05, ¿existe evidencia de que un modelo logístico que utilice las variables indicadas anteriormente es un modelo bien ajustado?

e) Al nivel de significación de 0.05 ¿existe evidencia de que cada una de las variables hace una contribución significativa al modelo de regresión?

a) Ajuste un modelo de regresión logística para predecir la probabilidad de Adquirir una Tarjeta Premium basándose en los Gastos anuales y si Posee o no Tarjetas Adicionales para otros miembros de la familia.

b) Explique el significado de los coeficientes de regresión para el modelo ajustado.

c) Prediga la probabilidad de que un cliente con Tarjeta Estandar que ha cargado S/. 36,000 el año anterior y que no posee tarjetas adicionales para los miembros de su familia, adquiera la Tarjeta Premium durante la campaña de comercialización.

d) Al nivel de significación del 0.05, ¿existe evidencia de que un modelo logístico que utilice las variables indicadas anteriormente es un modelo bien ajustado?

e) Al nivel de significación de 0.05 ¿existe evidencia de que cada una de las variables hace una contribución significativa al modelo de regresión?.

SOLUCIONSegún el modelo Probit:Quick - estimate equation, en el campo especification se elege BIARY- en el campo estimation method de se elige Probit……. aceptar

Buena significancia individual para los parámetros estimados , la significancia conjunta es muy alta porque el pv-del estadístico de la Razón de Verosimilitud es muy pequeño,El Pseudo R2 de McFadden, no se acerca a la unidad, los valores de los criterios de informacion de ( Akaike,Scharwz y Hannan-quinn) son adecuados porque son bajos y muy parecidos.

Otro criterio para medir la Bondad de Ajuste del modelo probit, es el Criterio de del porcentaje de predicciones correctas que consiste en observar el porcentaje de veces en que el valor de Yi observado que coincide con su predicción… Eview- Expectation Prediccion Table Aceptar

De la figura anterior se observa que el modelo predice adecuadamente el 80% de las observaciones ( se predicen mejor los unos ( la probabilidad de adquirir una tarjeta de crédito) con un 84.62% de aciertos frente a un 76.47% de no adquisición de tarjeta de crédito.

• Para cuantificar los efectos de las variables explicativas sobre la probabilidad de adquirir una tarjeta de crédito

• Calculamos los efectos para las observaciones medias, para ello calculamos las medias de las variables del modelo seleccionándolas:

• Open – as group • View – Descriptive statistics - individual samples

Se obtiene los datos siguientes

Por lo tanto:

)6557.108422.01171.4()(21xxfxg

)4832.0()( fxg

314247.0)( xgPest

USAR EVIEWSUna vez ingresado las variables

Se marca modelo logit

a) El modelo de regresión logística ajustado es:

)]1(774.2)0.36(139.0940.6[11

ePi

b) Si el individuo pasa de 0 a 1, es decir pasa de no poseer a POSEER una Tarjeta de crédito adicional la probabilidad de adquirir la Tarjeta Premium se incrementa en 2.77%.

Si el individuo incrementa su Gasto en 1 mil S/. La probabilidad de adquirir la tarjeta premium se incrementa en 0.139%.

c)

)774.2139.0940.6(11

TARGASi eP

6980.01

1]838.0[

e

Pi

La probabilidad que adquiera la tarjeta premium es 69.80%

d) La estadística de desviación sigue una distribución CHI2 con n-k-1 grados de libertad.

Las Hipótesis son: H0: EL modelo tiene buen ajuste H1: El modelo no tiene buen ajuste

Si Desviación >CHI2 , (n-k-1) Rechazar H0.

Obsérvese que 20.05, (30-3-1)=38.89

Por tanto 20.077<38.89. No se rechaza H0.El modelo tiene buen ajuste

e) En el caso de la variable Gasto: para la significancia 0.05Las hipótesis son:H0: El parámetro es cero (0)H1: El parámetro es diferente de cero (0)

El p_valor del estadístico de Wald es 0.040.04<0.05 por tanto se rechaza la Hipótesis nula.Por tanto, la variable Gasto hace una contribución significativa al modelo.

En el caso de la Variable POSEE tarjeta adicional, el p_valor del estadístico de Wald es 0.02 <0.05, con lo que se rechaza la H0.Por tanto la variable Posee Tarjeta de crédito adicional hace una contribución significativa al modelo.

•

• THE END