Comment tester une prétention ?L3 informatique et MIAGE

Univ. Lille

Mikaël Salsonmikael.salson@univ-lille.fr

Pr. René Blondlot et les rayons N (1903)

http://www.larecherche.fr/idees/histoire-science/rayons-n-du-professeur-blondlot-01-03-2011-78554

De nombreux articles sur les rayons N

BNF Gallica

http://gallica.bnf.fr/ark:/12148/bpt6k5542453f

Des photos pour montrer la différence

Pourquoi n’avez-vous pas en-tendu parler des rayons N ?

Des rayons qui laissent certains sceptiques

R. W. Wood Nature, 1904

The n-Rays

http://www.nature.com/nature/journal/v70/n1822/pdf/070530a0.pdf

Comment expliquer l’erreur de tant d’expert·e·s ?

Clever Hans : le cheval qui savait comptergutenberg.org

Public domain gutenberg.org

http://www.gutenberg.org/files/33936/33936-h/33936-h.htm

Nous aimons voir des causalités

CC BY SA W.J.Pilsak Wikimedia Commons

Nous aimons voir des causalités

https://commons.wikimedia.org/wiki/File:Freitag_der_13._im_Kalender.jpg

CC BY SA W.J.Pilsak Wikimedia Commons

Nous aimons voir des causalités

Le retour du biais de confirmation

https://commons.wikimedia.org/wiki/File:Freitag_der_13._im_Kalender.jpg

CC BY SA W.J.Pilsak Wikimedia Commons

Nous aimons voir des causalités

Le retour du biais de confirmation

C’est aussi notre façon d’apprendreTiens, en appuyant sur l’interrupteur ça allume la lumière

https://commons.wikimedia.org/wiki/File:Freitag_der_13._im_Kalender.jpg

Corrélation n’est pas causalité

© pourquoi docteur.fr

http://www.pourquoidocteur.fr/Differences-homme-femme---tout-est-dans-le-cerveau-4545.html

Corrélation n’est pas causalité

© pourquoi docteur.fr

Et pourquoi pas l’inverse ?L’éducation différenciée pourrait engen-

drer des connexions neuronales différentes

http://www.pourquoidocteur.fr/Differences-homme-femme---tout-est-dans-le-cerveau-4545.html

Corrélation n’est pas causalité

0 2 4 6 8 10 1250

60

70

80

Consommation d’alcool (litres par habitant)

Esp

éran

ced

evi

e(a

nnée

s)

Consommation d’alcool et espérance devie dans les pays de l’OCDE + BRIICS

source : OCDE

http://stats.oecd.org/index.aspx?DataSetCode=HEALTH_STAT

Corrélation n’est pas causalité

Manger plus de cheeseburgers protège du cancerParce qu’il y a plus de risque de mourir d’attaque cardiaque

Corrélation n’est pas causalité

Ce n’est pas parce qu’il y a une corrélation qu’il n’y que une corrélation

La consommation de tabac est cor-rélée aux cancers du poumon

Pour éviter certains biais : le simple aveugle

Le sujet doit ignorer dans quelle condition il se trouve.

Me fait-on un pied-dans-la-porte ou non ?Est-ce que je prends le vrai médicament ou un placebo ?

Mais ce n’est pas suffisant

Un autre risque : influencer involontairement le sujet

CC BY SA Shuets Udono Wikimedia Commons

https://commons.wikimedia.org/wiki/File:Japanese_car_accident.jpg

Un autre risque : influencer involontairement le sujet

CC BY SA Shuets Udono Wikimedia Commons

percutées ?entrées en collision ?

heurtées ?entrées en contact ?

touchées ?Loftus et Palmer, 1974

https://commons.wikimedia.org/wiki/File:Japanese_car_accident.jpghttps://doi.org/10.1016/S0022-5371(74)80011-3

Un autre risque : influencer involontairement le sujet

CC BY SA Shuets Udono Wikimedia Commons

percutées ?entrées en collision ?

heurtées ?entrées en contact ?

touchées ?Loftus et Palmer, 1974

Le retour de l’effet de cadrage

https://commons.wikimedia.org/wiki/File:Japanese_car_accident.jpghttps://doi.org/10.1016/S0022-5371(74)80011-3

L’expérimentateur aussi doit ignorer la condition

L’expérimentateur ne doitpas savoir s’il donne le pla-

cebo ou le médicament

Expériences en double aveugle

L’expérimentateur aussi doit ignorer la condition

L’expérimentateur ne doitpas savoir s’il donne le pla-

cebo ou le médicament

Expériences en double aveugle

Pour le cheval Hans, l’expéri-mentateur ne doit pas connaître

l’opération mathématique demandée

Les expériences doivent se dérouler au hasard

S’il y a plusieurs sujets : répartition aléatoire

Si plusieurs essais : chaque essai est déterminé au hasard

Comment tirer au hasard ?

Les expériences doivent se dérouler au hasard

S’il y a plusieurs sujets : répartition aléatoire

Si plusieurs essais : chaque essai est déterminé au hasard

Comment tirer au hasard ?

Les expériences doivent se dérouler au hasard

S’il y a plusieurs sujets : répartition aléatoire

Si plusieurs essais : chaque essai est déterminé au hasard

Comment tirer au hasard ?

Les expériences doivent se dérouler au hasard

S’il y a plusieurs sujets : répartition aléatoire

Si plusieurs essais : chaque essai est déterminé au hasard

Comment tirer au hasard ?

Un exemple sur risque d’AVC et boissons lights

Tu bois du light ? T’es foutu ! , La statistique expliquée à mon chat

https://www.youtube.com/watch?v=4EWKAoKGAyg

Avec un essai randomisécontrôlé, on établit une causalité

Quelles limites avaient l’expérience proposée ?

Quelles limites avaient l’expérience proposée ?

Problème éthique, problème de respect du protocole, . . .

N’y a-t-il qu’une corrélation entretabac et cancers du poumon ?

N’y a-t-il qu’une corrélation entretabac et cancers du poumon ?

Sinon, comment le sait-on ?

Les critères de Bradford Hill pour détecter une causalitéHill’s Criteria for Causality

Force de la corrélation Reproductibilité Spécificité

Temporalité Gradient biologique Plausibilité

Efficacité de la prévention Analogie

http://sphweb.bumc.bu.edu/otlt/MPH-Modules/EP/EP713_Causality/EP713_Causality3.html

Les critères de Bradford Hill pour détecter une causalitéHill’s Criteria for Causality

Force de la corrélation Reproductibilité Spécificité

Temporalité Gradient biologique Plausibilité

Efficacité de la prévention Analogie

http://sphweb.bumc.bu.edu/otlt/MPH-Modules/EP/EP713_Causality/EP713_Causality3.html

Les critères de Bradford Hill pour détecter une causalitéHill’s Criteria for Causality

Force de la corrélation Reproductibilité Spécificité

Temporalité Gradient biologique Plausibilité

Efficacité de la prévention Analogie

http://sphweb.bumc.bu.edu/otlt/MPH-Modules/EP/EP713_Causality/EP713_Causality3.html

Les critères de Bradford Hill pour détecter une causalitéHill’s Criteria for Causality

Force de la corrélation Reproductibilité Spécificité

Temporalité Gradient biologique Plausibilité

Efficacité de la prévention Analogie

http://sphweb.bumc.bu.edu/otlt/MPH-Modules/EP/EP713_Causality/EP713_Causality3.html

Les critères de Bradford Hill pour détecter une causalitéHill’s Criteria for Causality

Force de la corrélation Reproductibilité Spécificité

Temporalité Gradient biologique Plausibilité

Efficacité de la prévention Analogie

http://sphweb.bumc.bu.edu/otlt/MPH-Modules/EP/EP713_Causality/EP713_Causality3.html

Les critères de Bradford Hill pour détecter une causalitéHill’s Criteria for Causality

Force de la corrélation Reproductibilité Spécificité

Temporalité Gradient biologique Plausibilité

Efficacité de la prévention Analogie

http://sphweb.bumc.bu.edu/otlt/MPH-Modules/EP/EP713_Causality/EP713_Causality3.html

Les critères de Bradford Hill pour détecter une causalitéHill’s Criteria for Causality

Force de la corrélation Reproductibilité Spécificité

Temporalité Gradient biologique Plausibilité

Efficacité de la prévention Analogie

http://sphweb.bumc.bu.edu/otlt/MPH-Modules/EP/EP713_Causality/EP713_Causality3.html

Les critères de Bradford Hill pour détecter une causalitéHill’s Criteria for Causality

Force de la corrélation Reproductibilité Spécificité

Temporalité Gradient biologique Plausibilité

Efficacité de la prévention Analogie

http://sphweb.bumc.bu.edu/otlt/MPH-Modules/EP/EP713_Causality/EP713_Causality3.html

Bien poser sa question

PopulationÀ quelle population je m’intéresse ? Quelle taille d’échantillon ?

Bien poser sa question

PopulationÀ quelle population je m’intéresse ? Quelle taille d’échantillon ?

Observation/InterventionQu’est-ce que j’observe ou comment j’interviens ? À quel

moment ? Combien de fois ? De quelle manière ? etc.

Bien poser sa question

PopulationÀ quelle population je m’intéresse ? Quelle taille d’échantillon ?

Observation/InterventionQu’est-ce que j’observe ou comment j’interviens ? À quel

moment ? Combien de fois ? De quelle manière ? etc.

CritèreQu’est-ce que j’évalue ?

Bien poser sa question

PopulationÀ quelle population je m’intéresse ? Quelle taille d’échantillon ?

Observation/InterventionQu’est-ce que j’observe ou comment j’interviens ? À quel

moment ? Combien de fois ? De quelle manière ? etc.

CritèreQu’est-ce que j’évalue ?

Tester si le cours de démarche scientifique améliore l’esprit critique.

Comment tester une prétention ?

Bien définir sa question

Utiliser (si possible) du double aveugle

Randomiser (si possible) son échantillon

Corrélation 6= causalitéMais regarder aussi s’il n’y a pas plus qu’une corrélation

Utiliser les critères de Hill si nécessaire