105
Motivación Planteamiento de un problema de decisión Inferencia estadística como un problema de decisión Distribuciones predictivas sustitutas Problemas de inferencia tradicionales Comentarios finales Inferencia estadística desde una perspectiva Bayesiana no paramétrica E. Gutiérrez-Peña 1 S.G. Walker 2 1 Departamento de Probabilidad y Estadística IIMAS, UNAM 2 Instituto de Matemáticas, Estadística y Ciencia Actuarial Universidad de Kent, Inglaterra Seminario Aleatorio, ITAM - 11 de mayo de 2007 Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Inferencia estadística desde una perspectiva Bayesiana no

  • Upload
    vunhan

  • View
    223

  • Download
    3

Embed Size (px)

Citation preview

Page 1: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Inferencia estadística desde una perspectivaBayesiana no paramétrica

E. Gutiérrez-Peña1 S.G. Walker2

1Departamento de Probabilidad y EstadísticaIIMAS, UNAM

2Instituto de Matemáticas, Estadística y Ciencia ActuarialUniversidad de Kent, Inglaterra

Seminario Aleatorio, ITAM - 11 de mayo de 2007

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 2: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Temario

1 Motivación¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

2 Planteamiento de un problema de decisión

3 Inferencia estadística como un problema de decisión

4 Distribuciones predictivas sustitutas

5 Problemas de inferencia tradicionalesModelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 3: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Teoría Bayesiana de la Decisión: se basa en una serie depostulados (Axiomas de Coherencia) que describen qué seentiende por comportamiento racional.Establece cómo deben tomarse las decisiones si uno deseaevitar un comportamiento contradictorio.Ni esta teoría ni la Estadística Bayesiana están exentas decríticas, pero para mucha gente constituyen el enfoque másconvincente para hacer inferencia estadística.Concepto fundamental: coherencia – Se utiliza con frecuenciacomo un argumento contra otros enfoques de la estadística talescomo el frecuentista o el fiducial.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 4: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Teoría Bayesiana de la Decisión: se basa en una serie depostulados (Axiomas de Coherencia) que describen qué seentiende por comportamiento racional.Establece cómo deben tomarse las decisiones si uno deseaevitar un comportamiento contradictorio.Ni esta teoría ni la Estadística Bayesiana están exentas decríticas, pero para mucha gente constituyen el enfoque másconvincente para hacer inferencia estadística.Concepto fundamental: coherencia – Se utiliza con frecuenciacomo un argumento contra otros enfoques de la estadística talescomo el frecuentista o el fiducial.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 5: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Teoría Bayesiana de la Decisión: se basa en una serie depostulados (Axiomas de Coherencia) que describen qué seentiende por comportamiento racional.Establece cómo deben tomarse las decisiones si uno deseaevitar un comportamiento contradictorio.Ni esta teoría ni la Estadística Bayesiana están exentas decríticas, pero para mucha gente constituyen el enfoque másconvincente para hacer inferencia estadística.Concepto fundamental: coherencia – Se utiliza con frecuenciacomo un argumento contra otros enfoques de la estadística talescomo el frecuentista o el fiducial.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 6: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Teoría Bayesiana de la Decisión: se basa en una serie depostulados (Axiomas de Coherencia) que describen qué seentiende por comportamiento racional.Establece cómo deben tomarse las decisiones si uno deseaevitar un comportamiento contradictorio.Ni esta teoría ni la Estadística Bayesiana están exentas decríticas, pero para mucha gente constituyen el enfoque másconvincente para hacer inferencia estadística.Concepto fundamental: coherencia – Se utiliza con frecuenciacomo un argumento contra otros enfoques de la estadística talescomo el frecuentista o el fiducial.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 7: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Aspectos principales de la Teoría Bayesiana de la Decisión (e.g.Bernardo & Smith, 1994; Hirshleifer & Riley, 1992):

Dado un conjunto de decisiones o acciones potenciales:

1 Toda la incertidumbre debe ser descrita en términos de unamedida de probabilidad (subjetiva).

2 Todas las preferencias deben cuantificarse en términos de unafunción de utilidad.

3 La mejor decisión es aquella que maximiza la utilidad esperada(respecto a la medida de probabilidad del Punto 1).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 8: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Aspectos principales de la Teoría Bayesiana de la Decisión (e.g.Bernardo & Smith, 1994; Hirshleifer & Riley, 1992):

Dado un conjunto de decisiones o acciones potenciales:

1 Toda la incertidumbre debe ser descrita en términos de unamedida de probabilidad (subjetiva).

2 Todas las preferencias deben cuantificarse en términos de unafunción de utilidad.

3 La mejor decisión es aquella que maximiza la utilidad esperada(respecto a la medida de probabilidad del Punto 1).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 9: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Aspectos principales de la Teoría Bayesiana de la Decisión (e.g.Bernardo & Smith, 1994; Hirshleifer & Riley, 1992):

Dado un conjunto de decisiones o acciones potenciales:

1 Toda la incertidumbre debe ser descrita en términos de unamedida de probabilidad (subjetiva).

2 Todas las preferencias deben cuantificarse en términos de unafunción de utilidad.

3 La mejor decisión es aquella que maximiza la utilidad esperada(respecto a la medida de probabilidad del Punto 1).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 10: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Aspectos principales de la Teoría Bayesiana de la Decisión (e.g.Bernardo & Smith, 1994; Hirshleifer & Riley, 1992):

Dado un conjunto de decisiones o acciones potenciales:

1 Toda la incertidumbre debe ser descrita en términos de unamedida de probabilidad (subjetiva).

2 Todas las preferencias deben cuantificarse en términos de unafunción de utilidad.

3 La mejor decisión es aquella que maximiza la utilidad esperada(respecto a la medida de probabilidad del Punto 1).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 11: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Los Axioma de Coherencia implican que la probabilidad debe deinterpretarse como el grado de creencia sobre la ocurrencia desucesos inciertos que pueden afectar nuestras decisiones.Tales creencias dependen del estado de información disponibleal momento de tomar la decisión.Cuando aparece nueva información (ocurrencia de un evento,observación de una muestra), el tomador de decisiones debeactualizar sus creencias acerca de los sucesos inciertos.Otra consecuencia de los axiomas es que esta actualizacióndebe hacerse a través del Teorema de Bayes.Más aún, el Teorema de Bayes es la única forma coherente deactualizar nuestras creencias.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 12: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Los Axioma de Coherencia implican que la probabilidad debe deinterpretarse como el grado de creencia sobre la ocurrencia desucesos inciertos que pueden afectar nuestras decisiones.Tales creencias dependen del estado de información disponibleal momento de tomar la decisión.Cuando aparece nueva información (ocurrencia de un evento,observación de una muestra), el tomador de decisiones debeactualizar sus creencias acerca de los sucesos inciertos.Otra consecuencia de los axiomas es que esta actualizacióndebe hacerse a través del Teorema de Bayes.Más aún, el Teorema de Bayes es la única forma coherente deactualizar nuestras creencias.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 13: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Los Axioma de Coherencia implican que la probabilidad debe deinterpretarse como el grado de creencia sobre la ocurrencia desucesos inciertos que pueden afectar nuestras decisiones.Tales creencias dependen del estado de información disponibleal momento de tomar la decisión.Cuando aparece nueva información (ocurrencia de un evento,observación de una muestra), el tomador de decisiones debeactualizar sus creencias acerca de los sucesos inciertos.Otra consecuencia de los axiomas es que esta actualizacióndebe hacerse a través del Teorema de Bayes.Más aún, el Teorema de Bayes es la única forma coherente deactualizar nuestras creencias.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 14: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Los Axioma de Coherencia implican que la probabilidad debe deinterpretarse como el grado de creencia sobre la ocurrencia desucesos inciertos que pueden afectar nuestras decisiones.Tales creencias dependen del estado de información disponibleal momento de tomar la decisión.Cuando aparece nueva información (ocurrencia de un evento,observación de una muestra), el tomador de decisiones debeactualizar sus creencias acerca de los sucesos inciertos.Otra consecuencia de los axiomas es que esta actualizacióndebe hacerse a través del Teorema de Bayes.Más aún, el Teorema de Bayes es la única forma coherente deactualizar nuestras creencias.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 15: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Los Axioma de Coherencia implican que la probabilidad debe deinterpretarse como el grado de creencia sobre la ocurrencia desucesos inciertos que pueden afectar nuestras decisiones.Tales creencias dependen del estado de información disponibleal momento de tomar la decisión.Cuando aparece nueva información (ocurrencia de un evento,observación de una muestra), el tomador de decisiones debeactualizar sus creencias acerca de los sucesos inciertos.Otra consecuencia de los axiomas es que esta actualizacióndebe hacerse a través del Teorema de Bayes.Más aún, el Teorema de Bayes es la única forma coherente deactualizar nuestras creencias.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 16: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Las aplicaciones de la Teoría Bayesiana de la Decisión aproblemas de inferencia estadística se han concentrado casiexclusivamente en problemas paramétricos.Problemas tradicionales como estimación puntual y contraste dehipótesis se han resuelto de manera coherente usando estateoría.Pero en lo que se refiere al problema de selección de modelos,la maquinaria Bayesiana ha mostrado ser incoherente.Box (1980) considera a la modelación estadística como unproceso dinámico y sugiere que tal vez uno debería serBayesiano al hacer inferencias sobre un modelo (paramétrico)dado... ¡y frecuentista al determinar su ajuste y el de otrosmodelos alternativos!

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 17: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Las aplicaciones de la Teoría Bayesiana de la Decisión aproblemas de inferencia estadística se han concentrado casiexclusivamente en problemas paramétricos.Problemas tradicionales como estimación puntual y contraste dehipótesis se han resuelto de manera coherente usando estateoría.Pero en lo que se refiere al problema de selección de modelos,la maquinaria Bayesiana ha mostrado ser incoherente.Box (1980) considera a la modelación estadística como unproceso dinámico y sugiere que tal vez uno debería serBayesiano al hacer inferencias sobre un modelo (paramétrico)dado... ¡y frecuentista al determinar su ajuste y el de otrosmodelos alternativos!

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 18: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Las aplicaciones de la Teoría Bayesiana de la Decisión aproblemas de inferencia estadística se han concentrado casiexclusivamente en problemas paramétricos.Problemas tradicionales como estimación puntual y contraste dehipótesis se han resuelto de manera coherente usando estateoría.Pero en lo que se refiere al problema de selección de modelos,la maquinaria Bayesiana ha mostrado ser incoherente.Box (1980) considera a la modelación estadística como unproceso dinámico y sugiere que tal vez uno debería serBayesiano al hacer inferencias sobre un modelo (paramétrico)dado... ¡y frecuentista al determinar su ajuste y el de otrosmodelos alternativos!

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 19: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación

Las aplicaciones de la Teoría Bayesiana de la Decisión aproblemas de inferencia estadística se han concentrado casiexclusivamente en problemas paramétricos.Problemas tradicionales como estimación puntual y contraste dehipótesis se han resuelto de manera coherente usando estateoría.Pero en lo que se refiere al problema de selección de modelos,la maquinaria Bayesiana ha mostrado ser incoherente.Box (1980) considera a la modelación estadística como unproceso dinámico y sugiere que tal vez uno debería serBayesiano al hacer inferencias sobre un modelo (paramétrico)dado... ¡y frecuentista al determinar su ajuste y el de otrosmodelos alternativos!

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 20: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Consideremos el problema de asignar una distribución inicialsobre el conjunto de funciones de densidad

Ω = f1, f2, . . ..

El Estadístico A considera que Ω contiene a la densidadverdadera y por lo tanto asigna una distribución inicial Π(·) talque Π(Ω) = 1.

El Estadístico B no está convencido de construir una medida deprobabilidad sobre todo Ω y, para alguna M finita, asigna toda lamasa de probabilidad a ΩM = f1, . . . , fM, de manera queΠM(ΩM) = 1.

Supongamos ahora que, al observar los datos, es evidente quela asignación de probabilidad 1 a ΩM no era apropiada...

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 21: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Consideremos el problema de asignar una distribución inicialsobre el conjunto de funciones de densidad

Ω = f1, f2, . . ..

El Estadístico A considera que Ω contiene a la densidadverdadera y por lo tanto asigna una distribución inicial Π(·) talque Π(Ω) = 1.

El Estadístico B no está convencido de construir una medida deprobabilidad sobre todo Ω y, para alguna M finita, asigna toda lamasa de probabilidad a ΩM = f1, . . . , fM, de manera queΠM(ΩM) = 1.

Supongamos ahora que, al observar los datos, es evidente quela asignación de probabilidad 1 a ΩM no era apropiada...

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 22: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Consideremos el problema de asignar una distribución inicialsobre el conjunto de funciones de densidad

Ω = f1, f2, . . ..

El Estadístico A considera que Ω contiene a la densidadverdadera y por lo tanto asigna una distribución inicial Π(·) talque Π(Ω) = 1.

El Estadístico B no está convencido de construir una medida deprobabilidad sobre todo Ω y, para alguna M finita, asigna toda lamasa de probabilidad a ΩM = f1, . . . , fM, de manera queΠM(ΩM) = 1.

Supongamos ahora que, al observar los datos, es evidente quela asignación de probabilidad 1 a ΩM no era apropiada...

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 23: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Consideremos el problema de asignar una distribución inicialsobre el conjunto de funciones de densidad

Ω = f1, f2, . . ..

El Estadístico A considera que Ω contiene a la densidadverdadera y por lo tanto asigna una distribución inicial Π(·) talque Π(Ω) = 1.

El Estadístico B no está convencido de construir una medida deprobabilidad sobre todo Ω y, para alguna M finita, asigna toda lamasa de probabilidad a ΩM = f1, . . . , fM, de manera queΠM(ΩM) = 1.

Supongamos ahora que, al observar los datos, es evidente quela asignación de probabilidad 1 a ΩM no era apropiada...

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 24: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

El Estadístico A simplemente actualiza su inicial vía el Teoremade Bayes para obtener la distribución final Π(·|D).

El Estadístico B no puede hacer lo mismo, así que cambia sudistribución inicial sobre Ω, digamos a ΠM∗(·), y entonces...actualiza esta nueva inicial vía el Teorema de Bayes paraobtener la distribución final ΠM∗(·|D)

!Un momento! El Estadístico B ha actualizado su inicial ΠM(·) ala luz de los datos, obteniendo una nueva distribución inicialΠM∗(·), pero no ha usado el Teorema de Bayes. Esto es unamuestra de comportamiento incoherente.

El argumento es el mismo si ahora tomamos a Ω como la familiade todas las densidades y a ΩM como una familia paramétrica dedimensión finita.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 25: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

El Estadístico A simplemente actualiza su inicial vía el Teoremade Bayes para obtener la distribución final Π(·|D).

El Estadístico B no puede hacer lo mismo, así que cambia sudistribución inicial sobre Ω, digamos a ΠM∗(·), y entonces...actualiza esta nueva inicial vía el Teorema de Bayes paraobtener la distribución final ΠM∗(·|D)

!Un momento! El Estadístico B ha actualizado su inicial ΠM(·) ala luz de los datos, obteniendo una nueva distribución inicialΠM∗(·), pero no ha usado el Teorema de Bayes. Esto es unamuestra de comportamiento incoherente.

El argumento es el mismo si ahora tomamos a Ω como la familiade todas las densidades y a ΩM como una familia paramétrica dedimensión finita.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 26: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

El Estadístico A simplemente actualiza su inicial vía el Teoremade Bayes para obtener la distribución final Π(·|D).

El Estadístico B no puede hacer lo mismo, así que cambia sudistribución inicial sobre Ω, digamos a ΠM∗(·), y entonces...actualiza esta nueva inicial vía el Teorema de Bayes paraobtener la distribución final ΠM∗(·|D)

!Un momento! El Estadístico B ha actualizado su inicial ΠM(·) ala luz de los datos, obteniendo una nueva distribución inicialΠM∗(·), pero no ha usado el Teorema de Bayes. Esto es unamuestra de comportamiento incoherente.

El argumento es el mismo si ahora tomamos a Ω como la familiade todas las densidades y a ΩM como una familia paramétrica dedimensión finita.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 27: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

El Estadístico A simplemente actualiza su inicial vía el Teoremade Bayes para obtener la distribución final Π(·|D).

El Estadístico B no puede hacer lo mismo, así que cambia sudistribución inicial sobre Ω, digamos a ΠM∗(·), y entonces...actualiza esta nueva inicial vía el Teorema de Bayes paraobtener la distribución final ΠM∗(·|D)

!Un momento! El Estadístico B ha actualizado su inicial ΠM(·) ala luz de los datos, obteniendo una nueva distribución inicialΠM∗(·), pero no ha usado el Teorema de Bayes. Esto es unamuestra de comportamiento incoherente.

El argumento es el mismo si ahora tomamos a Ω como la familiade todas las densidades y a ΩM como una familia paramétrica dedimensión finita.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 28: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

El Estadístico A simplemente actualiza su inicial vía el Teoremade Bayes para obtener la distribución final Π(·|D).

El Estadístico B no puede hacer lo mismo, así que cambia sudistribución inicial sobre Ω, digamos a ΠM∗(·), y entonces...actualiza esta nueva inicial vía el Teorema de Bayes paraobtener la distribución final ΠM∗(·|D)

!Un momento! El Estadístico B ha actualizado su inicial ΠM(·) ala luz de los datos, obteniendo una nueva distribución inicialΠM∗(·), pero no ha usado el Teorema de Bayes. Esto es unamuestra de comportamiento incoherente.

El argumento es el mismo si ahora tomamos a Ω como la familiade todas las densidades y a ΩM como una familia paramétrica dedimensión finita.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 29: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Incluso un modelo paramétrico

Ω0 = f ∈ Ω : f (·) ≡ f (·; θ), θ ∈ Θ,

con distribución inicial π(θ) definida sobre Θ, determina unamedida de probabilidad sobre Ω

Pr(f ∈ B) ≡ Π0(B) =

∫θ:f (·;θ)∈B

π(θ) dθ

pero es tal que Π0(Ω0) = 1.

Si una vez que se observan los datos se descubre que la familiaparamétrica es deficiente en algún sentido, la distribución inicialsobre Ω se cambia sin tomar en cuenta la incoherencia.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 30: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Incluso un modelo paramétrico

Ω0 = f ∈ Ω : f (·) ≡ f (·; θ), θ ∈ Θ,

con distribución inicial π(θ) definida sobre Θ, determina unamedida de probabilidad sobre Ω

Pr(f ∈ B) ≡ Π0(B) =

∫θ:f (·;θ)∈B

π(θ) dθ

pero es tal que Π0(Ω0) = 1.

Si una vez que se observan los datos se descubre que la familiaparamétrica es deficiente en algún sentido, la distribución inicialsobre Ω se cambia sin tomar en cuenta la incoherencia.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 31: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Sí. Desde un punto de vista práctico es necesario actualizar ladistribución inicial a la luz de los datos cuando la inicial originales claramente inadecuada. Este es el mensaje de Box (1980).

Pero es incoherente hacerlo así. El problema radica en laimpaciencia del Estadístico B por hacerse la vida más fácil...¡recordemos la ley de Cromwell!

Lindsey (1999) y Draper (1999) ven esto como un serioproblema para la inferencia Bayesiana.

[ Una posibilidad para evitar esta incoherencia es “aferrarse” a la distribucióninicial original, aunque ahora se considere absurda. ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 32: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Sí. Desde un punto de vista práctico es necesario actualizar ladistribución inicial a la luz de los datos cuando la inicial originales claramente inadecuada. Este es el mensaje de Box (1980).

Pero es incoherente hacerlo así. El problema radica en laimpaciencia del Estadístico B por hacerse la vida más fácil...¡recordemos la ley de Cromwell!

Lindsey (1999) y Draper (1999) ven esto como un serioproblema para la inferencia Bayesiana.

[ Una posibilidad para evitar esta incoherencia es “aferrarse” a la distribucióninicial original, aunque ahora se considere absurda. ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 33: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Sí. Desde un punto de vista práctico es necesario actualizar ladistribución inicial a la luz de los datos cuando la inicial originales claramente inadecuada. Este es el mensaje de Box (1980).

Pero es incoherente hacerlo así. El problema radica en laimpaciencia del Estadístico B por hacerse la vida más fácil...¡recordemos la ley de Cromwell!

Lindsey (1999) y Draper (1999) ven esto como un serioproblema para la inferencia Bayesiana.

[ Una posibilidad para evitar esta incoherencia es “aferrarse” a la distribucióninicial original, aunque ahora se considere absurda. ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 34: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Sí. Desde un punto de vista práctico es necesario actualizar ladistribución inicial a la luz de los datos cuando la inicial originales claramente inadecuada. Este es el mensaje de Box (1980).

Pero es incoherente hacerlo así. El problema radica en laimpaciencia del Estadístico B por hacerse la vida más fácil...¡recordemos la ley de Cromwell!

Lindsey (1999) y Draper (1999) ven esto como un serioproblema para la inferencia Bayesiana.

[ Una posibilidad para evitar esta incoherencia es “aferrarse” a la distribucióninicial original, aunque ahora se considere absurda. ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 35: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Sí. Desde un punto de vista práctico es necesario actualizar ladistribución inicial a la luz de los datos cuando la inicial originales claramente inadecuada. Este es el mensaje de Box (1980).

Pero es incoherente hacerlo así. El problema radica en laimpaciencia del Estadístico B por hacerse la vida más fácil...¡recordemos la ley de Cromwell!

Lindsey (1999) y Draper (1999) ven esto como un serioproblema para la inferencia Bayesiana.

[ Una posibilidad para evitar esta incoherencia es “aferrarse” a la distribucióninicial original, aunque ahora se considere absurda. ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 36: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Una manera obvia de darle la vuelta a este problema esasignándole probabilidad positiva a todos los subconjuntosrelevantes del espacio de densidades Ω. Esto se puede lograrcon una distribución inicial no paramétrica.

Existen varias distribuciones iniciales que pueden utilizarse eneste contexto, incluyendo el Proceso Dirichlet (Ferguson, 1973),Mezclas basadas en Procesos Dirichlet (Lo, 1984) y Árboles dePólya (Lavine, 1992). Para más detalles, pueden consultarse lostrabajos de Walker et al. (1999) y Dey et al. (1998).

[ Bayesiano Paramétrico Necio < Bayesiano Paramétrico Incoherente ]

[ Bayesiano Paramétrico Incoherente << Bayesiano No Paramétrico ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 37: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Una manera obvia de darle la vuelta a este problema esasignándole probabilidad positiva a todos los subconjuntosrelevantes del espacio de densidades Ω. Esto se puede lograrcon una distribución inicial no paramétrica.

Existen varias distribuciones iniciales que pueden utilizarse eneste contexto, incluyendo el Proceso Dirichlet (Ferguson, 1973),Mezclas basadas en Procesos Dirichlet (Lo, 1984) y Árboles dePólya (Lavine, 1992). Para más detalles, pueden consultarse lostrabajos de Walker et al. (1999) y Dey et al. (1998).

[ Bayesiano Paramétrico Necio < Bayesiano Paramétrico Incoherente ]

[ Bayesiano Paramétrico Incoherente << Bayesiano No Paramétrico ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 38: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Una manera obvia de darle la vuelta a este problema esasignándole probabilidad positiva a todos los subconjuntosrelevantes del espacio de densidades Ω. Esto se puede lograrcon una distribución inicial no paramétrica.

Existen varias distribuciones iniciales que pueden utilizarse eneste contexto, incluyendo el Proceso Dirichlet (Ferguson, 1973),Mezclas basadas en Procesos Dirichlet (Lo, 1984) y Árboles dePólya (Lavine, 1992). Para más detalles, pueden consultarse lostrabajos de Walker et al. (1999) y Dey et al. (1998).

[ Bayesiano Paramétrico Necio < Bayesiano Paramétrico Incoherente ]

[ Bayesiano Paramétrico Incoherente << Bayesiano No Paramétrico ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 39: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - ¿Bayesianos incoherentes?

Una manera obvia de darle la vuelta a este problema esasignándole probabilidad positiva a todos los subconjuntosrelevantes del espacio de densidades Ω. Esto se puede lograrcon una distribución inicial no paramétrica.

Existen varias distribuciones iniciales que pueden utilizarse eneste contexto, incluyendo el Proceso Dirichlet (Ferguson, 1973),Mezclas basadas en Procesos Dirichlet (Lo, 1984) y Árboles dePólya (Lavine, 1992). Para más detalles, pueden consultarse lostrabajos de Walker et al. (1999) y Dey et al. (1998).

[ Bayesiano Paramétrico Necio < Bayesiano Paramétrico Incoherente ]

[ Bayesiano Paramétrico Incoherente << Bayesiano No Paramétrico ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 40: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - Los modelos paramétricos son útiles

¡Pero los procedimientos paramétricos son útiles!

Muchos estadísticos prefieren trabajar con modelosparamétricos.

Los motivos incluyen la relativa simplicidad del análisis, de lainterpretación y de la comunicación de resultados.

La posible incoherencia inherente a los procedimientos deselección de modelos paramétricos generalmente se ignora porpragmatismo.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 41: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - Los modelos paramétricos son útiles

¡Pero los procedimientos paramétricos son útiles!

Muchos estadísticos prefieren trabajar con modelosparamétricos.

Los motivos incluyen la relativa simplicidad del análisis, de lainterpretación y de la comunicación de resultados.

La posible incoherencia inherente a los procedimientos deselección de modelos paramétricos generalmente se ignora porpragmatismo.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 42: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - Los modelos paramétricos son útiles

¡Pero los procedimientos paramétricos son útiles!

Muchos estadísticos prefieren trabajar con modelosparamétricos.

Los motivos incluyen la relativa simplicidad del análisis, de lainterpretación y de la comunicación de resultados.

La posible incoherencia inherente a los procedimientos deselección de modelos paramétricos generalmente se ignora porpragmatismo.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 43: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - Los modelos paramétricos son útiles

¡Pero los procedimientos paramétricos son útiles!

Muchos estadísticos prefieren trabajar con modelosparamétricos.

Los motivos incluyen la relativa simplicidad del análisis, de lainterpretación y de la comunicación de resultados.

La posible incoherencia inherente a los procedimientos deselección de modelos paramétricos generalmente se ignora porpragmatismo.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 44: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - Los modelos paramétricos son útiles

En este trabajo se muestra cómo es posible realizar inferenciasparamétricas evitando comportamientos incoherentes.

El marco es Bayesiano no paramétrico y las inferencias serealizan vía la Teoría de la Decisión.

Ninguno de los ingredientes discutidos aquí es nuevo, pero elargumento sólo se hace evidente cuando las distribucionesiniciales son vistas como medidas sobre familias generales dedensidades en lugar de medidas sobre espacios parametralesde dimensión finita, a pesar del deseo de hacer inferenciasparamétricas.

[ Decisiones/Preferencias vs Sucesos/Creencias; c.f. Hipótesis simples ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 45: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - Los modelos paramétricos son útiles

En este trabajo se muestra cómo es posible realizar inferenciasparamétricas evitando comportamientos incoherentes.

El marco es Bayesiano no paramétrico y las inferencias serealizan vía la Teoría de la Decisión.

Ninguno de los ingredientes discutidos aquí es nuevo, pero elargumento sólo se hace evidente cuando las distribucionesiniciales son vistas como medidas sobre familias generales dedensidades en lugar de medidas sobre espacios parametralesde dimensión finita, a pesar del deseo de hacer inferenciasparamétricas.

[ Decisiones/Preferencias vs Sucesos/Creencias; c.f. Hipótesis simples ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 46: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - Los modelos paramétricos son útiles

En este trabajo se muestra cómo es posible realizar inferenciasparamétricas evitando comportamientos incoherentes.

El marco es Bayesiano no paramétrico y las inferencias serealizan vía la Teoría de la Decisión.

Ninguno de los ingredientes discutidos aquí es nuevo, pero elargumento sólo se hace evidente cuando las distribucionesiniciales son vistas como medidas sobre familias generales dedensidades en lugar de medidas sobre espacios parametralesde dimensión finita, a pesar del deseo de hacer inferenciasparamétricas.

[ Decisiones/Preferencias vs Sucesos/Creencias; c.f. Hipótesis simples ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 47: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

¿Pueden ser incoherentes los procedimientos paramétricos?¡Pero los procedimientos paramétricos son útiles!

Motivación - Los modelos paramétricos son útiles

En este trabajo se muestra cómo es posible realizar inferenciasparamétricas evitando comportamientos incoherentes.

El marco es Bayesiano no paramétrico y las inferencias serealizan vía la Teoría de la Decisión.

Ninguno de los ingredientes discutidos aquí es nuevo, pero elargumento sólo se hace evidente cuando las distribucionesiniciales son vistas como medidas sobre familias generales dedensidades en lugar de medidas sobre espacios parametralesde dimensión finita, a pesar del deseo de hacer inferenciasparamétricas.

[ Decisiones/Preferencias vs Sucesos/Creencias; c.f. Hipótesis simples ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 48: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Decisiones

Sea Xn = (X1, . . . , Xn) una muestra de observaciones i.i.d. deuna densidad desconocida f definida sobre X . Consideremos elsiguiente problema de decisión estadístico, con elementos:

Espacio de decisiones:D, el conjunto de todas las decisiones relevantes.Estados de la naturaleza:Ω = f : f es una función de densidad sobre X.Distribución inicial : Π(·), una distribución no paramétrica sobre Ω.Función de utilidad : U(a, f ), con a ∈ D y f ∈ Ω.

La mejor decisión es elegir a∗ ∈ D tal que maximice a

Un(a) =

∫Ω

U(a, f ) Π(df |xn).

La propuesta es hacer inferencias eligiendo apropiadamente a Dy a U(a, f ) en cada problema.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 49: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Decisiones

Sea Xn = (X1, . . . , Xn) una muestra de observaciones i.i.d. deuna densidad desconocida f definida sobre X . Consideremos elsiguiente problema de decisión estadístico, con elementos:

Espacio de decisiones:D, el conjunto de todas las decisiones relevantes.Estados de la naturaleza:Ω = f : f es una función de densidad sobre X.Distribución inicial : Π(·), una distribución no paramétrica sobre Ω.Función de utilidad : U(a, f ), con a ∈ D y f ∈ Ω.

La mejor decisión es elegir a∗ ∈ D tal que maximice a

Un(a) =

∫Ω

U(a, f ) Π(df |xn).

La propuesta es hacer inferencias eligiendo apropiadamente a Dy a U(a, f ) en cada problema.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 50: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Decisiones

Sea Xn = (X1, . . . , Xn) una muestra de observaciones i.i.d. deuna densidad desconocida f definida sobre X . Consideremos elsiguiente problema de decisión estadístico, con elementos:

Espacio de decisiones:D, el conjunto de todas las decisiones relevantes.Estados de la naturaleza:Ω = f : f es una función de densidad sobre X.Distribución inicial : Π(·), una distribución no paramétrica sobre Ω.Función de utilidad : U(a, f ), con a ∈ D y f ∈ Ω.

La mejor decisión es elegir a∗ ∈ D tal que maximice a

Un(a) =

∫Ω

U(a, f ) Π(df |xn).

La propuesta es hacer inferencias eligiendo apropiadamente a Dy a U(a, f ) en cada problema.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 51: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Decisiones

Sea Xn = (X1, . . . , Xn) una muestra de observaciones i.i.d. deuna densidad desconocida f definida sobre X . Consideremos elsiguiente problema de decisión estadístico, con elementos:

Espacio de decisiones:D, el conjunto de todas las decisiones relevantes.Estados de la naturaleza:Ω = f : f es una función de densidad sobre X.Distribución inicial : Π(·), una distribución no paramétrica sobre Ω.Función de utilidad : U(a, f ), con a ∈ D y f ∈ Ω.

La mejor decisión es elegir a∗ ∈ D tal que maximice a

Un(a) =

∫Ω

U(a, f ) Π(df |xn).

La propuesta es hacer inferencias eligiendo apropiadamente a Dy a U(a, f ) en cada problema.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 52: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Decisiones

Sea Xn = (X1, . . . , Xn) una muestra de observaciones i.i.d. deuna densidad desconocida f definida sobre X . Consideremos elsiguiente problema de decisión estadístico, con elementos:

Espacio de decisiones:D, el conjunto de todas las decisiones relevantes.Estados de la naturaleza:Ω = f : f es una función de densidad sobre X.Distribución inicial : Π(·), una distribución no paramétrica sobre Ω.Función de utilidad : U(a, f ), con a ∈ D y f ∈ Ω.

La mejor decisión es elegir a∗ ∈ D tal que maximice a

Un(a) =

∫Ω

U(a, f ) Π(df |xn).

La propuesta es hacer inferencias eligiendo apropiadamente a Dy a U(a, f ) en cada problema.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 53: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Decisiones

Sea Xn = (X1, . . . , Xn) una muestra de observaciones i.i.d. deuna densidad desconocida f definida sobre X . Consideremos elsiguiente problema de decisión estadístico, con elementos:

Espacio de decisiones:D, el conjunto de todas las decisiones relevantes.Estados de la naturaleza:Ω = f : f es una función de densidad sobre X.Distribución inicial : Π(·), una distribución no paramétrica sobre Ω.Función de utilidad : U(a, f ), con a ∈ D y f ∈ Ω.

La mejor decisión es elegir a∗ ∈ D tal que maximice a

Un(a) =

∫Ω

U(a, f ) Π(df |xn).

La propuesta es hacer inferencias eligiendo apropiadamente a Dy a U(a, f ) en cada problema.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 54: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Decisiones

Sea Xn = (X1, . . . , Xn) una muestra de observaciones i.i.d. deuna densidad desconocida f definida sobre X . Consideremos elsiguiente problema de decisión estadístico, con elementos:

Espacio de decisiones:D, el conjunto de todas las decisiones relevantes.Estados de la naturaleza:Ω = f : f es una función de densidad sobre X.Distribución inicial : Π(·), una distribución no paramétrica sobre Ω.Función de utilidad : U(a, f ), con a ∈ D y f ∈ Ω.

La mejor decisión es elegir a∗ ∈ D tal que maximice a

Un(a) =

∫Ω

U(a, f ) Π(df |xn).

La propuesta es hacer inferencias eligiendo apropiadamente a Dy a U(a, f ) en cada problema.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 55: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Inferencia estadística como un problema de decisión

Bernardo & Smith (1994) argumentan que el problema de hacerinferencias debe verse como un problema de decisiónestadístico en el que el espacio de decisiones es el conjunto dedensidades de probabilidad para la cantidad de interés.

Más aún, proponen el uso de la función de puntaje logarítmicacomo una función de utilidad. Su contexto es paramétrico, peroel argumento es análogo en el caso no paramétrico aquídescrito.

Desde un punto de vista predictivo, la cantidad de interés es elvalor desconocido de una observación futura, X .

El espacio de decisiones es por lo tanto D ≡ Ω, el conjunto detodas las densidades definidas sobre X .

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 56: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Inferencia estadística como un problema de decisión

Bernardo & Smith (1994) argumentan que el problema de hacerinferencias debe verse como un problema de decisiónestadístico en el que el espacio de decisiones es el conjunto dedensidades de probabilidad para la cantidad de interés.

Más aún, proponen el uso de la función de puntaje logarítmicacomo una función de utilidad. Su contexto es paramétrico, peroel argumento es análogo en el caso no paramétrico aquídescrito.

Desde un punto de vista predictivo, la cantidad de interés es elvalor desconocido de una observación futura, X .

El espacio de decisiones es por lo tanto D ≡ Ω, el conjunto detodas las densidades definidas sobre X .

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 57: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Inferencia estadística como un problema de decisión

Bernardo & Smith (1994) argumentan que el problema de hacerinferencias debe verse como un problema de decisiónestadístico en el que el espacio de decisiones es el conjunto dedensidades de probabilidad para la cantidad de interés.

Más aún, proponen el uso de la función de puntaje logarítmicacomo una función de utilidad. Su contexto es paramétrico, peroel argumento es análogo en el caso no paramétrico aquídescrito.

Desde un punto de vista predictivo, la cantidad de interés es elvalor desconocido de una observación futura, X .

El espacio de decisiones es por lo tanto D ≡ Ω, el conjunto detodas las densidades definidas sobre X .

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 58: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Inferencia estadística como un problema de decisión

Bernardo & Smith (1994) argumentan que el problema de hacerinferencias debe verse como un problema de decisiónestadístico en el que el espacio de decisiones es el conjunto dedensidades de probabilidad para la cantidad de interés.

Más aún, proponen el uso de la función de puntaje logarítmicacomo una función de utilidad. Su contexto es paramétrico, peroel argumento es análogo en el caso no paramétrico aquídescrito.

Desde un punto de vista predictivo, la cantidad de interés es elvalor desconocido de una observación futura, X .

El espacio de decisiones es por lo tanto D ≡ Ω, el conjunto detodas las densidades definidas sobre X .

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 59: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Inferencia estadística como un problema de decisión

Aquí utilizaremos la siguiente función de utilidad:

U(f , f ) =

∫logf (x)f (x) dx .

Maximizarla equivale a minimizar dK (f |f ), la divergencia deKullback-Leibler entre las densidades f y f .

La utilidad esperada correspondiente es:

Un(f ) =

∫logf (x)fn(x) dx ,

donde fn ≡ E [f |xn] y el valor esperado es respecto a ladistribución final no paramétrica.

La solución a este problema de maximización es f ∗ = fn,i.e. la densidad predictiva final (no paramétrica).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 60: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Inferencia estadística como un problema de decisión

Aquí utilizaremos la siguiente función de utilidad:

U(f , f ) =

∫logf (x)f (x) dx .

Maximizarla equivale a minimizar dK (f |f ), la divergencia deKullback-Leibler entre las densidades f y f .

La utilidad esperada correspondiente es:

Un(f ) =

∫logf (x)fn(x) dx ,

donde fn ≡ E [f |xn] y el valor esperado es respecto a ladistribución final no paramétrica.

La solución a este problema de maximización es f ∗ = fn,i.e. la densidad predictiva final (no paramétrica).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 61: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Inferencia estadística como un problema de decisión

Aquí utilizaremos la siguiente función de utilidad:

U(f , f ) =

∫logf (x)f (x) dx .

Maximizarla equivale a minimizar dK (f |f ), la divergencia deKullback-Leibler entre las densidades f y f .

La utilidad esperada correspondiente es:

Un(f ) =

∫logf (x)fn(x) dx ,

donde fn ≡ E [f |xn] y el valor esperado es respecto a ladistribución final no paramétrica.

La solución a este problema de maximización es f ∗ = fn,i.e. la densidad predictiva final (no paramétrica).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 62: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Inferencia estadística como un problema de decisión

Aquí utilizaremos la siguiente función de utilidad:

U(f , f ) =

∫logf (x)f (x) dx .

Maximizarla equivale a minimizar dK (f |f ), la divergencia deKullback-Leibler entre las densidades f y f .

La utilidad esperada correspondiente es:

Un(f ) =

∫logf (x)fn(x) dx ,

donde fn ≡ E [f |xn] y el valor esperado es respecto a ladistribución final no paramétrica.

La solución a este problema de maximización es f ∗ = fn,i.e. la densidad predictiva final (no paramétrica).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 63: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

Sin embargo, un “estadístico paramétrico” puede optar porconcentrar su atención en una clase

FΛ = f (·;λ) : λ ∈ Λ

de modelos más simples y más suaves.

El problema es entonces encontrar una densidad predictivasustituta, que se usará como una alternativa simple de ladensidad predictiva no paramétrica (fn) o como un estimador dela densidad desconocida f .

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 64: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

Sin embargo, un “estadístico paramétrico” puede optar porconcentrar su atención en una clase

FΛ = f (·;λ) : λ ∈ Λ

de modelos más simples y más suaves.

El problema es entonces encontrar una densidad predictivasustituta, que se usará como una alternativa simple de ladensidad predictiva no paramétrica (fn) o como un estimador dela densidad desconocida f .

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 65: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

La inferencias requieren de la elección de un λ ∈ Λ, donde Λ yfλ(·) ≡ f (·;λ) deben especificarse en cada problema.

En este caso el espacio de decisiones puede identificarse con elconjunto de índices Λ, de manera que D ≡ Λ.

Esta es la formulación más general. Se selecciona la densidadpredictiva paramétrica (es decir, se selecciona λ∗ ∈ Λ) tal quemaximiza:

Un(λ) =

∫logfλ(x) fn(x) dx .

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 66: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

La inferencias requieren de la elección de un λ ∈ Λ, donde Λ yfλ(·) ≡ f (·;λ) deben especificarse en cada problema.

En este caso el espacio de decisiones puede identificarse con elconjunto de índices Λ, de manera que D ≡ Λ.

Esta es la formulación más general. Se selecciona la densidadpredictiva paramétrica (es decir, se selecciona λ∗ ∈ Λ) tal quemaximiza:

Un(λ) =

∫logfλ(x) fn(x) dx .

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 67: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

La inferencias requieren de la elección de un λ ∈ Λ, donde Λ yfλ(·) ≡ f (·;λ) deben especificarse en cada problema.

En este caso el espacio de decisiones puede identificarse con elconjunto de índices Λ, de manera que D ≡ Λ.

Esta es la formulación más general. Se selecciona la densidadpredictiva paramétrica (es decir, se selecciona λ∗ ∈ Λ) tal quemaximiza:

Un(λ) =

∫logfλ(x) fn(x) dx .

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 68: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

En resumen, el procedimiento consiste en:(1) establecer la forma adecuada de la inferencia deseada;(2) asociar ésta con una familia paramétrica de densidadesindexada por λ; y(3) seleccionar el valor de λ que maximiza Un(λ).

Un caso particular importante se obtiene con el bootstrap Bayesiano:

Un(λ) =1n

nXi=1

log fλ(xi).

Maximizar esta función es equivalente a maximizar:

Ln(λ) =nY

i=1

fλ(xi).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 69: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

En resumen, el procedimiento consiste en:(1) establecer la forma adecuada de la inferencia deseada;(2) asociar ésta con una familia paramétrica de densidadesindexada por λ; y(3) seleccionar el valor de λ que maximiza Un(λ).

Un caso particular importante se obtiene con el bootstrap Bayesiano:

Un(λ) =1n

nXi=1

log fλ(xi).

Maximizar esta función es equivalente a maximizar:

Ln(λ) =nY

i=1

fλ(xi).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 70: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

En resumen, el procedimiento consiste en:(1) establecer la forma adecuada de la inferencia deseada;(2) asociar ésta con una familia paramétrica de densidadesindexada por λ; y(3) seleccionar el valor de λ que maximiza Un(λ).

Un caso particular importante se obtiene con el bootstrap Bayesiano:

Un(λ) =1n

nXi=1

log fλ(xi).

Maximizar esta función es equivalente a maximizar:

Ln(λ) =nY

i=1

fλ(xi).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 71: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

¿Cómo elegir familias de densidades predictivas apropiadas?

Eso depende del analista y del problema en cuestión.

Sin embargo, la práctica usual sugiere una forma simple yestructurada de escoger FΛ.

La idea es derivar las densidades predictivas sustitutas a partirde la colección de modelos paramétricos que se estánconsiderando para el problema en cuestión:

M = Mj : j = 1, . . . , M,

dondeMj = pj(·; θj), πj(θj) : θj ∈ Θj.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 72: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

¿Cómo elegir familias de densidades predictivas apropiadas?

Eso depende del analista y del problema en cuestión.

Sin embargo, la práctica usual sugiere una forma simple yestructurada de escoger FΛ.

La idea es derivar las densidades predictivas sustitutas a partirde la colección de modelos paramétricos que se estánconsiderando para el problema en cuestión:

M = Mj : j = 1, . . . , M,

dondeMj = pj(·; θj), πj(θj) : θj ∈ Θj.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 73: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

¿Cómo elegir familias de densidades predictivas apropiadas?

Eso depende del analista y del problema en cuestión.

Sin embargo, la práctica usual sugiere una forma simple yestructurada de escoger FΛ.

La idea es derivar las densidades predictivas sustitutas a partirde la colección de modelos paramétricos que se estánconsiderando para el problema en cuestión:

M = Mj : j = 1, . . . , M,

dondeMj = pj(·; θj), πj(θj) : θj ∈ Θj.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 74: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

¿Cómo elegir familias de densidades predictivas apropiadas?

Eso depende del analista y del problema en cuestión.

Sin embargo, la práctica usual sugiere una forma simple yestructurada de escoger FΛ.

La idea es derivar las densidades predictivas sustitutas a partirde la colección de modelos paramétricos que se estánconsiderando para el problema en cuestión:

M = Mj : j = 1, . . . , M,

dondeMj = pj(·; θj), πj(θj) : θj ∈ Θj.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 75: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

En la mayoría de los casos πj(·) también tiene una estructuraparamétrica:

πj(·) ≡ πj(·;φj), φi ∈ Φj , j = 1, . . . , M,

de manera que cada πj(·) sólo depende de un parámetro φj dedimensión finita.

Las densidades πj(·) deben considerarse simplemente como“artificios matemáticos”, convenientes para construir densidadespredictivas paramétricas, no como distribuciones iniciales reales.

El interés se centra en las densidades predictivas, y por lo tantola única distribución inicial que debe reconocerse es Π, la inicial(no paramétrica) sobre el espacio de todas las densidades.

Este enfoque cubre todos los problemas de inferenciatradicionales, de selección de modelos a estimación puntual.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 76: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

En la mayoría de los casos πj(·) también tiene una estructuraparamétrica:

πj(·) ≡ πj(·;φj), φi ∈ Φj , j = 1, . . . , M,

de manera que cada πj(·) sólo depende de un parámetro φj dedimensión finita.

Las densidades πj(·) deben considerarse simplemente como“artificios matemáticos”, convenientes para construir densidadespredictivas paramétricas, no como distribuciones iniciales reales.

El interés se centra en las densidades predictivas, y por lo tantola única distribución inicial que debe reconocerse es Π, la inicial(no paramétrica) sobre el espacio de todas las densidades.

Este enfoque cubre todos los problemas de inferenciatradicionales, de selección de modelos a estimación puntual.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 77: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

En la mayoría de los casos πj(·) también tiene una estructuraparamétrica:

πj(·) ≡ πj(·;φj), φi ∈ Φj , j = 1, . . . , M,

de manera que cada πj(·) sólo depende de un parámetro φj dedimensión finita.

Las densidades πj(·) deben considerarse simplemente como“artificios matemáticos”, convenientes para construir densidadespredictivas paramétricas, no como distribuciones iniciales reales.

El interés se centra en las densidades predictivas, y por lo tantola única distribución inicial que debe reconocerse es Π, la inicial(no paramétrica) sobre el espacio de todas las densidades.

Este enfoque cubre todos los problemas de inferenciatradicionales, de selección de modelos a estimación puntual.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 78: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Distribuciones predictivas sustitutas

En la mayoría de los casos πj(·) también tiene una estructuraparamétrica:

πj(·) ≡ πj(·;φj), φi ∈ Φj , j = 1, . . . , M,

de manera que cada πj(·) sólo depende de un parámetro φj dedimensión finita.

Las densidades πj(·) deben considerarse simplemente como“artificios matemáticos”, convenientes para construir densidadespredictivas paramétricas, no como distribuciones iniciales reales.

El interés se centra en las densidades predictivas, y por lo tantola única distribución inicial que debe reconocerse es Π, la inicial(no paramétrica) sobre el espacio de todas las densidades.

Este enfoque cubre todos los problemas de inferenciatradicionales, de selección de modelos a estimación puntual.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 79: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Modelos ponderados

Aquí λ = µ, π1(·), . . . , πM(·) y Λ = W × P1 × · · · × PM , donde

W =

µ ∈ IRM : µj > 0, j = 1, . . . , M;

∑M

j=1µj = 1

y Pj = P(Θj) para cada j = 1, . . . , M, con

P(Θ) ≡ π(·) : π(·) es una f.d.p. sobre Θ .

En este caso la densidad predictiva sustituta está dada por

fλ(·) =∑M

j=1µj fj(·;πj),

dondefj(·;πj) =

∫pj(·; θj) πj(θj) dθj .

[ Estimación m.v. para los parámetros de una mezcla... ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 80: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Modelos ponderados

Aquí λ = µ, π1(·), . . . , πM(·) y Λ = W × P1 × · · · × PM , donde

W =

µ ∈ IRM : µj > 0, j = 1, . . . , M;

∑M

j=1µj = 1

y Pj = P(Θj) para cada j = 1, . . . , M, con

P(Θ) ≡ π(·) : π(·) es una f.d.p. sobre Θ .

En este caso la densidad predictiva sustituta está dada por

fλ(·) =∑M

j=1µj fj(·;πj),

dondefj(·;πj) =

∫pj(·; θj) πj(θj) dθj .

[ Estimación m.v. para los parámetros de una mezcla... ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 81: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Modelos ponderados

Aquí λ = µ, π1(·), . . . , πM(·) y Λ = W × P1 × · · · × PM , donde

W =

µ ∈ IRM : µj > 0, j = 1, . . . , M;

∑M

j=1µj = 1

y Pj = P(Θj) para cada j = 1, . . . , M, con

P(Θ) ≡ π(·) : π(·) es una f.d.p. sobre Θ .

En este caso la densidad predictiva sustituta está dada por

fλ(·) =∑M

j=1µj fj(·;πj),

dondefj(·;πj) =

∫pj(·; θj) πj(θj) dθj .

[ Estimación m.v. para los parámetros de una mezcla... ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 82: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Selección de modelos

Este es un caso particular del de modelos ponderados, donde lamedida de probabilidad µ se degenera en uno de los Mmodelos, i.e.

W =

µ ∈ IRM : µk = I(k = j); j , k = 1, . . . , M

.

Por lo tanto λ = j , πj(·) y Λ =⋃M

j=1(j × Pj).

La densidad predictiva sustituta está dada en este caso por

fλ(·) = fj(·;πj).

Al ser un caso particular, seleccionar un modelo nunca es preferible aponderar los modelos (en el sentido de que nunca produce una utilidadesperada mayor).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 83: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Selección de modelos

Este es un caso particular del de modelos ponderados, donde lamedida de probabilidad µ se degenera en uno de los Mmodelos, i.e.

W =

µ ∈ IRM : µk = I(k = j); j , k = 1, . . . , M

.

Por lo tanto λ = j , πj(·) y Λ =⋃M

j=1(j × Pj).

La densidad predictiva sustituta está dada en este caso por

fλ(·) = fj(·;πj).

Al ser un caso particular, seleccionar un modelo nunca es preferible aponderar los modelos (en el sentido de que nunca produce una utilidadesperada mayor).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 84: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Selección de modelos

Este es un caso particular del de modelos ponderados, donde lamedida de probabilidad µ se degenera en uno de los Mmodelos, i.e.

W =

µ ∈ IRM : µk = I(k = j); j , k = 1, . . . , M

.

Por lo tanto λ = j , πj(·) y Λ =⋃M

j=1(j × Pj).

La densidad predictiva sustituta está dada en este caso por

fλ(·) = fj(·;πj).

Al ser un caso particular, seleccionar un modelo nunca es preferible aponderar los modelos (en el sentido de que nunca produce una utilidadesperada mayor).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 85: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Selección de modelos

Este es un caso particular del de modelos ponderados, donde lamedida de probabilidad µ se degenera en uno de los Mmodelos, i.e.

W =

µ ∈ IRM : µk = I(k = j); j , k = 1, . . . , M

.

Por lo tanto λ = j , πj(·) y Λ =⋃M

j=1(j × Pj).

La densidad predictiva sustituta está dada en este caso por

fλ(·) = fj(·;πj).

Al ser un caso particular, seleccionar un modelo nunca es preferible aponderar los modelos (en el sentido de que nunca produce una utilidadesperada mayor).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 86: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Contraste de hipótesis

Contrastar hipótesis acerca del valor de un parámetro θ queindexa a una familia de densidades Ω0 = p(·; θ) : θ ∈ Θ puedeconsiderarse como un problema de selección de modelos.Sean Θ1 ⊂ Θ y Θ2 ⊂ Θ tales que Θ1 ∩Θ2 = ∅ y supongamosque se desea contratar H1 : θ ∈ Θ1 vs H2 : θ ∈ Θ2. Supongamostambién que θ tiene una “distribución inicial” π(θ).En este caso M = 2 y

Mj =

pj(·; θ) ≡ p(·; θ), πj(θ) ≡

π(θ) IΘj (θ)∫Θj

π(θ) dθ

, j = 1, 2,

donde IΘ(·) denota a la función indicadora del conjunto Θ.Aquí λ = j , π(·) y Λ = 1, 2 × P(Θ). La densidad predictivasustituta está dada por

fλ(·) =

∫p(·; θ) πj(θ) dθ.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 87: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Contraste de hipótesis

Contrastar hipótesis acerca del valor de un parámetro θ queindexa a una familia de densidades Ω0 = p(·; θ) : θ ∈ Θ puedeconsiderarse como un problema de selección de modelos.Sean Θ1 ⊂ Θ y Θ2 ⊂ Θ tales que Θ1 ∩Θ2 = ∅ y supongamosque se desea contratar H1 : θ ∈ Θ1 vs H2 : θ ∈ Θ2. Supongamostambién que θ tiene una “distribución inicial” π(θ).En este caso M = 2 y

Mj =

pj(·; θ) ≡ p(·; θ), πj(θ) ≡

π(θ) IΘj (θ)∫Θj

π(θ) dθ

, j = 1, 2,

donde IΘ(·) denota a la función indicadora del conjunto Θ.Aquí λ = j , π(·) y Λ = 1, 2 × P(Θ). La densidad predictivasustituta está dada por

fλ(·) =

∫p(·; θ) πj(θ) dθ.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 88: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Contraste de hipótesis

Contrastar hipótesis acerca del valor de un parámetro θ queindexa a una familia de densidades Ω0 = p(·; θ) : θ ∈ Θ puedeconsiderarse como un problema de selección de modelos.Sean Θ1 ⊂ Θ y Θ2 ⊂ Θ tales que Θ1 ∩Θ2 = ∅ y supongamosque se desea contratar H1 : θ ∈ Θ1 vs H2 : θ ∈ Θ2. Supongamostambién que θ tiene una “distribución inicial” π(θ).En este caso M = 2 y

Mj =

pj(·; θ) ≡ p(·; θ), πj(θ) ≡

π(θ) IΘj (θ)∫Θj

π(θ) dθ

, j = 1, 2,

donde IΘ(·) denota a la función indicadora del conjunto Θ.Aquí λ = j , π(·) y Λ = 1, 2 × P(Θ). La densidad predictivasustituta está dada por

fλ(·) =

∫p(·; θ) πj(θ) dθ.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 89: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Contraste de hipótesis

Contrastar hipótesis acerca del valor de un parámetro θ queindexa a una familia de densidades Ω0 = p(·; θ) : θ ∈ Θ puedeconsiderarse como un problema de selección de modelos.Sean Θ1 ⊂ Θ y Θ2 ⊂ Θ tales que Θ1 ∩Θ2 = ∅ y supongamosque se desea contratar H1 : θ ∈ Θ1 vs H2 : θ ∈ Θ2. Supongamostambién que θ tiene una “distribución inicial” π(θ).En este caso M = 2 y

Mj =

pj(·; θ) ≡ p(·; θ), πj(θ) ≡

π(θ) IΘj (θ)∫Θj

π(θ) dθ

, j = 1, 2,

donde IΘ(·) denota a la función indicadora del conjunto Θ.Aquí λ = j , π(·) y Λ = 1, 2 × P(Θ). La densidad predictivasustituta está dada por

fλ(·) =

∫p(·; θ) πj(θ) dθ.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 90: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Estimación por intervalos

Como en el caso anterior, consideremos la familia paramétricaΩ0 y supongamos que θ tiene una “inicial” π(θ) definida sobre Θ.

Supongamos que estamos interesados en un intervalo demáxima densidad con “probabilidad” (1− α) c.r.a. π. SeaΘ(π, α) = θ ∈ Θ : π(θ) ≥ pα tal intervalo, donde pα es laconstante más grande tal que∫

Θ(π,α)

π(θ) dθ = 1− α.

En este caso podemos tomar λ = π(·) con Λ = P(Θ), y unadensidad predictiva sustituta de la forma fλ(·) = f (·;πα), donde

f (·;πα) =

∫p(·; θ)πα(θ) dθ

y πα(θ) = (1− α)−1 π(θ) IΘ(π,α)(θ).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 91: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Estimación por intervalos

Como en el caso anterior, consideremos la familia paramétricaΩ0 y supongamos que θ tiene una “inicial” π(θ) definida sobre Θ.

Supongamos que estamos interesados en un intervalo demáxima densidad con “probabilidad” (1− α) c.r.a. π. SeaΘ(π, α) = θ ∈ Θ : π(θ) ≥ pα tal intervalo, donde pα es laconstante más grande tal que∫

Θ(π,α)

π(θ) dθ = 1− α.

En este caso podemos tomar λ = π(·) con Λ = P(Θ), y unadensidad predictiva sustituta de la forma fλ(·) = f (·;πα), donde

f (·;πα) =

∫p(·; θ)πα(θ) dθ

y πα(θ) = (1− α)−1 π(θ) IΘ(π,α)(θ).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 92: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Estimación por intervalos

Como en el caso anterior, consideremos la familia paramétricaΩ0 y supongamos que θ tiene una “inicial” π(θ) definida sobre Θ.

Supongamos que estamos interesados en un intervalo demáxima densidad con “probabilidad” (1− α) c.r.a. π. SeaΘ(π, α) = θ ∈ Θ : π(θ) ≥ pα tal intervalo, donde pα es laconstante más grande tal que∫

Θ(π,α)

π(θ) dθ = 1− α.

En este caso podemos tomar λ = π(·) con Λ = P(Θ), y unadensidad predictiva sustituta de la forma fλ(·) = f (·;πα), donde

f (·;πα) =

∫p(·; θ)πα(θ) dθ

y πα(θ) = (1− α)−1 π(θ) IΘ(π,α)(θ).

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 93: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Estimación puntual

Este también es un caso particular de selección de modelosdonde M = 1 y π(·) = δθ(·), i.e. π(·) se degenera en θ ∈ Θ.

Aquí λ = θ y Λ = Θ, y la densidad predictiva sustituta toma laforma

fλ(·) = p(·; θ).

Escoger un valor de λ es equivalente a encontrar un estimadorpuntual para θ.

[ Máxima verosimilitud... ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 94: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Estimación puntual

Este también es un caso particular de selección de modelosdonde M = 1 y π(·) = δθ(·), i.e. π(·) se degenera en θ ∈ Θ.

Aquí λ = θ y Λ = Θ, y la densidad predictiva sustituta toma laforma

fλ(·) = p(·; θ).

Escoger un valor de λ es equivalente a encontrar un estimadorpuntual para θ.

[ Máxima verosimilitud... ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 95: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Estimación puntual

Este también es un caso particular de selección de modelosdonde M = 1 y π(·) = δθ(·), i.e. π(·) se degenera en θ ∈ Θ.

Aquí λ = θ y Λ = Θ, y la densidad predictiva sustituta toma laforma

fλ(·) = p(·; θ).

Escoger un valor de λ es equivalente a encontrar un estimadorpuntual para θ.

[ Máxima verosimilitud... ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 96: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Estimación puntual

Este también es un caso particular de selección de modelosdonde M = 1 y π(·) = δθ(·), i.e. π(·) se degenera en θ ∈ Θ.

Aquí λ = θ y Λ = Θ, y la densidad predictiva sustituta toma laforma

fλ(·) = p(·; θ).

Escoger un valor de λ es equivalente a encontrar un estimadorpuntual para θ.

[ Máxima verosimilitud... ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 97: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Distribución final

En este caso M = 1, de manera que λ = π(·) y Λ = P(Θ).Entonces

fλ(·) ≡ f (·;π) =

∫p(·; θ) π(θ) dθ.

Seleccionar λ es equivalente a escoger una “densidad final” π(·)para θ.

[ ¿Distribución inicial? - Procedimientos empíricos Bayesianos ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 98: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Distribución final

En este caso M = 1, de manera que λ = π(·) y Λ = P(Θ).Entonces

fλ(·) ≡ f (·;π) =

∫p(·; θ) π(θ) dθ.

Seleccionar λ es equivalente a escoger una “densidad final” π(·)para θ.

[ ¿Distribución inicial? - Procedimientos empíricos Bayesianos ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 99: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Modelos ponderadosSelección de modelosContraste de hipótesisEstimación por intervalosEstimación puntualEscogiendo una “distribución final”

Problemas tradicionales - Distribución final

En este caso M = 1, de manera que λ = π(·) y Λ = P(Θ).Entonces

fλ(·) ≡ f (·;π) =

∫p(·; θ) π(θ) dθ.

Seleccionar λ es equivalente a escoger una “densidad final” π(·)para θ.

[ ¿Distribución inicial? - Procedimientos empíricos Bayesianos ]

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 100: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Comentarios finales

Los enfoques Bayesianos tradicionales de selección de modelospueden ser incoherentes.El enfoque predictivo de inferencia paramétrica discutido aquíproduce un procedimiento de selección que evita este problema.La idea es usar un modelo que sea lo suficientemente flexiblecomo para que no sea sujeto de verificación, sin importar lanaturaleza de los datos observados.

Caso i.i.d.: modelos Bayesianos no paramétricos.Otros casos (e.g. regresión): ¿modelos Bayesianossemiparamétricos?

¿Es inevitable que aparezca algún grado de incoherencia en unanálisis Bayesiano?

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 101: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Comentarios finales

Los enfoques Bayesianos tradicionales de selección de modelospueden ser incoherentes.El enfoque predictivo de inferencia paramétrica discutido aquíproduce un procedimiento de selección que evita este problema.La idea es usar un modelo que sea lo suficientemente flexiblecomo para que no sea sujeto de verificación, sin importar lanaturaleza de los datos observados.

Caso i.i.d.: modelos Bayesianos no paramétricos.Otros casos (e.g. regresión): ¿modelos Bayesianossemiparamétricos?

¿Es inevitable que aparezca algún grado de incoherencia en unanálisis Bayesiano?

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 102: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Referencias

Bernardo, J.M. y Smith, A.F.M. (1994). Bayesian Theory. Chichester: Wiley.

Box, G.E.P. (1980). Sampling and Bayes inference in scientific modeling and robustness (with discussion). Journal of the RoyalStatistical Society A 143, 383–430.

Dey, D., Sinha, D. y Müller, P. (eds.) (1998). Practical Nonparametric and Semiparametric Bayesian Statistics. Lecture Notes inStatistics. New York: Springer.

Draper, D. (1995). Assessment and propagation of model uncertainty (with discussion). Journal of the Royal Statistical Society B57, 45–97.

Draper, D. (1999). Discussion of the paper “Bayesian nonparametric inference for random distributions and related functions”, byWalker, et al. Journal of the Royal Statistical Society B 61, 485–527.

Ferguson, T.S. (1973). A Bayesian analysis of some nonparametric problems. Annals of Statistics 1, 209–230.

Hirshleifer, J. y Riley, J.G. (1992). The Analysis of Uncertainty and Information. Cambridge: Cambridge University Press.

Gutiérrez-Peña, E. y Walker, S.G. (2005). Statistical Decision Problems and Bayesian Nonparametric Methods.International Statistical Review 73, 309–330.

Lavine, M. (1992). Some aspects of Pólya tree distributions for statistical modelling. Annals of Statistics 20, 1203-1221.

Lindsey, J.K. (1999). Some statistical heresies. The Statistician 48, 1–40.

Lo, A.Y. (1984). On a class of Bayesian nonparametric estimates. I. Density estimates. Annals of Statistics 12, 351-357.

Walker, S.G., Damien P., Laud, P.W. y Smith, A.F.M. (1999). Bayesian nonparametric inference for random distributions and relatedfunctions (with discussion). Journal of the Royal Statistical Society Series B 61, 485-527.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 103: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Ejemplo - Distribución final

Seam Ω0 la familia de las densidades normales con varianza 1, y consideremosla distribución inicial no paramétrica

Xi |θi ∼ N(θi , 1)

θi |F ∼ FF ∼ D(c, G).

donde D(c, G) es un proceso Dirichlet con c = 1 y G = N(0, 102).

Denotemos por Zn1, . . . , ZnN a una muestra simulada de tamaño N de fn.

Entonces la utilidad esperada final puede aproximarse a través de

Un(λ) ≈1N

NXj=1

log f (znj ; π).

Maximizar Un(λ) con respecto a π es lo mismo que maximizarNY

j=1

f (znj ; π),

para lo cual existen diversos algoritmos. La solución es una distribución discretaπ con soporte en a lo más N puntos.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 104: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Ejemplo - Distribución final

Se generaron cuatro muestras, de tamaños 10, 100, 1 000 y 10 000, de unadensidad N(θ0, 1) con θ0 = 0.

Para cada una de estas muestras, se encontró π con base en una muestra deMonte Carlo de tamaño N = 10 000 de la correspondiente distribución predictivano paramétrica.

Las siguientes figuras muestran la solución π para cada uno de los cuatro casos.

Se incluyen las varianzas paramétricas finales (respecto a distribuciones“iniciales” no informativas) y las correspondientes varianzas de π.

Como era de esperarse, las distribuciones resultantes tienden a concentrarsealrededor del valor θ0 = 0 conforme el tamaño de muestra crece.

Las distribuciones finales paramétrica usuales son menos dispersas que la“distribuciones finales” óptimas π.

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica

Page 105: Inferencia estadística desde una perspectiva Bayesiana no

MotivaciónPlanteamiento de un problema de decisión

Inferencia estadística como un problema de decisiónDistribuciones predictivas sustitutas

Problemas de inferencia tradicionalesComentarios finales

Ejemplo - Distribución final

−3 −2 −1 0 1 2 3

0.00

00.

005

0.01

00.

015

0.02

00.

025

0.03

0

θ

π

−3 −2 −1 0 1 2 3

0.00

0.02

0.04

0.06

θ

π

[n = 10] Varianza final: P=0.1; NP=0.66 [n = 100] Varianza final: P=0.01; NP=0.30

−3 −2 −1 0 1 2 3

0.00

0.01

0.02

0.03

0.04

θ

π

−3 −2 −1 0 1 2 3

0.0

0.1

0.2

0.3

θ

π

[n = 1 000] Varianza final: P=0.001; NP=0.06 [n = 10 000] Varianza final: P≈0; NP≈0

Gutiérrez-Peña & Walker Inferencia paramétrica vs inferencia no paramétrica