q.e.d. (quod erat demonstrandum) ¿Es científica la demostración estadística?

q.e.d. (quod erat demonstrandum)¿Es cientıfica la demostracion estadıstica?

Jesus Lopez [email protected]

https://www.uclm.es/profesorado/jesuslopezfidalgo/

CRYF La demostracion estadıstica

Esquema

I Mala prensa de la estadıstica.

I Estadıstica y sentido comun.

I La magia blanca de la estadıstica.

I Manipulacion en todos los niveles.

I Temas candentes:I Reproducibilidad.I Inferencia causal.I Etica de la estadıstica.I Paradigma bayesiano.I ¿Por que fallan las encuestas?I Casualidades de la vida.


Mala prensa de la estadıstica


Miedo a la estadıstica

I Al desastre de las ultimas predicciones de voto.

I Al uso que otros hagan de ella.

I A sus limitaciones.

I A sus nuevas dimensiones: capacidad de calculo, simulaciones,remuestreo, metodos bayesianos, Big Data (¡Mas datos en los 2ultimos anos que en toda la historia!).


La prensa “mala”


La prensa “mala”

I Encuestas telediario: 4 escogidos ¿“al azar”?

I Opiniones viajeros ocasionales:

I 7–15 dıas: Establecen teorıas generales irrefutables.I 1 mes: Establecen teorıas generales con muchas excepciones.I 1 ano: No se atreven a generalizar.


Estadıstica y sentido comun

Una muestra estadıstica convenientemente torturada confiesa lo quequieras.


¿Existe el azar?

Henri Poincare (+1912): “El azar es la medida de nuestra ignorancia”.

Florence Nightingale (+1910): “Para entender los pensamientos de Dioshemos de estudiar estadıstica, porque esta es la medida desu proposito”.

Albert Einstein (+1955): “No existe el azar, Dios no juega a los dados”(atribuida, no verificada).

George Box (+2013): “Tengo la impresion de que cuanto mas trabajomas suerte tengo”.

Picaso: “La inspiracion me pilla siempre trabajando”.

Cualquiera: Un mismo plan puesto en practica dos veces, exactamenteen las mismas condiciones, conduce habitualmente aresultados similares, pero no identicos.


¿Que hace?

Inferir conclusiones de los datos (descubrir relaciones):I Genes relacionados con una enfermedad.I Influencia de una dieta en la prevencion de un cancer.I Si un carburante es mas contaminante que otro.I Modelo para identificar una imagen (camaras de vigilancia).I Decidir si un cirujano opera o no a un paciente.I Indices de valoracion: “Da miedo el uso de indicadores, pero temo

mas a los que no los quieren usar”.I Fichar al delantero que necesitamos.

I ...CRYF La demostracion estadıstica

La magia blanca de laestadıstica


Estadıstica moderna

I Union de dos disciplinas que evolucionaron independientemente:I Calculo de ProbabilidadesI Estadıstica como simple descripcion de datos

I Resultado: Inferencia, toma de decisiones


Dado regular

Metodo deductivo


Dado irregular

Metodo inductivo


Demostracion

I Rapida y eficaz.

I No exacta,

I pero rigurosa y cientıfica (en cierto sentido sı es exacta).

La madre de Sergio sabe como hacerlo...


Ha desaparecido la tableta de chocolate

I Primera hipotesis (“nula”): Cuando lo compro esta manana loguardo en otro sitio y no se acuerda donde.

I Segunda hipotesis (“alternativa”): Se la ha comido Sergio.

Recojamos informacion:

I busqueda en otros armarios, bolsas...

I Se convoca a Sergio...


Sergio asegura que no sabe nada del tema

¡No puede sancianar a Sergio si no esta completamente segura!


Sistematizacion del razonamiento ordinario

I Queremos comprobar si una moneda esta trucada o no.

I Obtenemos 63 caras en 100 lanzamientos.

I Si no esta trucada deberıan ser unas 50 (?).

I Su probabilidad es de menos de 3 entre 1.000 (¡muy sospechoso!).

I Problemas reales no son tan sencillos, pero tenemos herramientaspara calcular probabilidades.


El modelo estadıstico

I Modelo matematico que deja un espacio a la incertidumbre (erroraleatorio):

I Caja del “azar” o “error aleatorio” donde introducimos bienempaquetada nuestra ignorancia.

I Admitida nuestra ignorancia, esto es una idea genial.

I Cierto control de lo desconocido con las leyes del azar.


Contraste de hipotesis

Culpable vs. Inocente (“mejor tratamiento” vs. “no mejor”).


Contraste de hipotesis

El sistema asume inocencia hasta que se prueba la culpabilidad (rechazohipotesis nula, significatividad).

VerdadH0 H1

Inocente CulpableH0 Inocente Culpable

En libertad en libertad en libertadSentencia ERROR II

H1 Inocente CulpableCondenado condenado condenado

ERROR I


El p-valor

I No mide la magnitud de la asociacion entre dos variables (Ej. Pisa).

I No es la probabilidad de H0.

I No rechazar H0 no significa aceptar H0.

I Importancia del diseno y el muestreo para conseguir rechazar H0

cuando es falsa.


Un teorema magico


Teorema Central del Lımite (magico)

¿Y si la distribucion de los datos es desconocida?

“La distribucion de la media se aproxima a una campana de Gauss”

Para n ≥ 30 la aproximacion es buena (¿?).


Un ejemplo: Casos atıpicos de leucemia

I Proporcion nacional: 0.0001 (1 de cada 10000).

I Proporcion de 0.0017 (17 veces mas) en un colegio (¿?).

H0: Es pura casualidad (azar).H1: Hay algo raro (causalidad).

I Colegio 1800 alumnos 3 casos de leucemia (rechazamos H0).

I Colegio 600 alumnos 1 caso de leucemia (no rechazamos).


Manipulacion en todos los niveles


Niveles en una posible manipulacion

Procedimiento estadıstico:

I Diseno experimental / muestreo:Planificacion incorrecta.

I Recogida y preparacion de los datos:E.g. modificar o suprimir datos (la estadıstica ayuda a descubrirlo).

I Analisis:Eleccion equivocada (e.g. tratamiento de la no respuesta).

I Interpretacion y toma de decisiones:E.g. Graficos, comunicacion de los resultados.


Cultura general

Saber estadıstica protege contra la manipulacion


Plan de recogida de datos


Pensar antes de actuar

I Ronald Fisher: “Llamar a un estadıstico despues de que elexperimento ya esta hecho es llamarle para que realice un examenpost-mortem: solamente podra decir de que murio el experimento.”

I Sofocles: “Uno debe probar a hacer algo; aunque uno piense que yasabe lo que va a ocurrir, no lo sabe con certeza hasta que lo prueba.”

I “Si no sabes hacia donde vas, cualquier camino te lleva allı.”


Tazas de te con leche de Fisher (aleatorizacion)

Miss Buriel Bristol rechazo una taza de te con leche a Ronald Fisher alreconocer que la leche habıa sido agregada al final.

I Para probar si realmente era capaz de reconocerlo preparo 8 tazas, 4con cada combinacion.

I Orden aleatorio, pero no solo desordenado.

I P(“acertar al azar”)= 128 = 0,0039

P(“fallar exactamente una al azar”)=0,03125


Paradoja de Simpson

I Nuevo farmaco: Fraudol.

I Farmaco tradicional: Curamina.

I Experimentacion:

Mejora No mejora %Curamina 20 20 50 %Fraudol 24 16 60 %


Desagregados

Hombres:Mejora No mejora %

Curamina 12 18 40 %Fraudol 3 7 30 %

Mujeres:Mejora No mejora %

Curamina 8 2 80 %Fraudol 21 9 70 %


¿Cuantas observaciones?

10 20 30 40 50n

0.2

0.4

0.6

0.8

1.0

1�β

Potencia de contraste(capacidad de demostrar la hipotesis interesante)


Recogida de los datos


Monitorizacion de la recogida

El ayuntamiento de Londres en encargo un estudio a laRSS sobre los excrementos de caballo en sus calles.

Ejemplo fermentacion del vino.


Analisis (modelo)


Modelos

George Box (+2013): “Todos los modelos son falsos, pero algunos sonutiles”. “¿como de erroneos pueden ser para que no dejende ser utiles?”

Giberson y Artigas (2012): “Los resultados interesantes en fısicamatematica casi siempre contienen asunciones ysimplificaciones. Por muy notable que pueda ser el ajusteentre el mundo natural y las matematicas, no hayvirtualmente casos en los que el ajuste sea tan perfectoque no se requieran asunciones simplificadoras.”


Interpretacion


Interpretacion

No es lo mismo:“El 90 % de los enfermos de cancer de pulmon han sido fumadores”que“El 90 % de los fumadores desarrolla cancer de pulmon”

Probabilidad (condicional) inversa.


Interpretacion: Informe PISA 2012

I Informe oficial:I “Por consiguiente, si los intervalos de confianza de dos paıses tienen

interseccion comun, la diferencia entre sus resultados no esestadısticamente significativa.”

I Desviacion tıpica aparece solo para hablar de tipificacion (16 veces)en 243 pg.

I ¿Tamanos de muestra?I Espana (484), OCDE (494, s), UE (489, ns).I ns con Reino Unido (494), Noruega (489), Portugal (487), Italia

(485), Estados Unidos (481), Suecia (478)...I s con Corea del Sur (554), Suiza (531), Paıses Bajos (523)...

I Si se transforman a una escala de estatura: en lectura OCDE, 180cm, Espana 178,8.

I Contenidos de estadıstica en la prueba: 25 %.


Interpretacion y uso de los graficos


El mismo, pero bien hecho


Proporcion rigurosa


Temas candentes


Reproducibilidad

I Helicoptero:


Replicas


Medidas repetidas

...


Inferencia causal

Covariacion no significa relacion causa/efecto.


El problema estadıstico de la causalidad

Relacion determinista: Si A causa B entonces B siempre se sigue de A(fumar no produce enfisema o cancer).

Causalidad probabilıstica: Si A causa probablemente B entonces lainformacion de que ha ocurrido A aumenta la verosimilitudde B.Pero es mas general que P(B|A) > P(B):

I Ejemplo: A=“Es fumador”, B=“Tiene otendra cancer”, C=“Tiene o tendra enfisema”,

P(B|A) > P(B),P(C |A) > P(C )yP(B|C ) > P(B).

I Estimar el correcto efecto causal de X en Y :Variables confusoras : Variables extranas que correlacionan con ambas.

Variable instrumental : Z afecta a Y solamente a traves de X .


La etica en la estadıstica

I Diseno experimental secuencial.

I Principio de solidaridad en companıas de seguros.

I Ordenar los datos:I Generamos 100 datos de 8 variables independientemente.I Estudio correlaciones 2 a 2.I La 3 y la 8 significativamente correlacionadas.


Estadıstica Bayesiana (probabilidad subjetiva)

Un ejemplo asombroso: Aleatoriedad de las terminaciones del numeropremiado en la loterıa nacional en los ultimos 200 anos.


¿Ha habido trampa?

I La estadıstica frecuentista basada solo en los datos dice que sı.

I Poco probable que haya ocurrido por azar.

I Estadıstica Bayesiana es mas delicada:I Evalua el riesgo de la decision equivocada.I Utiliza una probabilidad subjetiva de que haya habido trampa.


Solucion que minimiza el riesgo

0.95 1

En azul el riesgo de decidir erroneamente que NO hay trampa.En rojo el riesgo de decidir erroneamente que SI hay trampa.


Fracasos en las encuestas de intencion de voto

I Resultados obtenidos bastantes dıas antes de las elecciones.

I La comunicacion de unos resultados influye en la intencion de voto.

I No respuesta: voto de castigo y voto util.

I Abstencion contabilizada como intencion de ir a votar.

I Comportamientos historicos invalidados por nuevos partidosemergentes o las nuevas tecnologıas.

I El mundo y la mafia de las apuestas.

I Dificultad de hacer predicciones cuando entra en juego la libertadhumana.


Casualidades de la vida

I A finales de 2015 hubo una votacion de un conocido partido paraapoyar una candidatura.

I Resultado: 3030 votantes, 1515 votaron SI y 1515 NO.

I Bajo la hipotesis del 50 % la probabilidad de ese evento es 0.0145.

I Este resultado es el mas probable.

I Hay otros razonamientos/supuestos.


Casualidades de la vida

I Muchas cosas raras pueden ocurrir en un momento dado.

I La probabilidad de que ocurra alguna ya no es tan rara.


La estadıstica mas cerca de lo que pensamos

I Probabilidad de lluvia.

I Horquillas en las elecciones.

I En Google hay muchos estadısticos trabajando.

I Estadısticos sin fronteras.

¡Ah! Miss Buriel Bristol acerto con las 8 tazas.


GRACIAS


Science

q.e.d. (quod erat demonstrandum) ¿Es científica la demostración estadística?