Stat Fails rassemble des cas documentés où une erreur statistique a eu des conséquences réelles, avec le raisonnement détaillé. Références à la fin.
En 1998, le psychologue Gerd Gigerenzer et ses collègues ont mené une expérience qui mériterait une affiche dans chaque clinique. Un chercheur se faisant passer pour un client - homme, hétérosexuel, sans facteur de risque - a visité 20 centres publics de dépistage du sida en Allemagne et a posé, avant le test, une question simple :
Si mon résultat revient positif - peut-il s'agir d'une fausse alerte ?
La plupart des conseillers ont répondu non. Pas « peu probable » - non. Des professionnels dont le métier entier tournait autour de ce seul test, et leur réponse typique ressemblait à ceci :
Un faux positif est absolument impossible.
plusieurs conseillers avançaient une certitude de 99,9 % - voire 100 % tout court
Voici l'arithmétique qu'ils étaient payés pour connaître :
1 sur 10 000prévalence chez les hommes à faible risque à l'époque
99,9 %sensibilité du test ; spécificité proche de 99,99 %
≈50 %la vraie probabilité qu'un client positif soit infecté. Un pile ou face.
Car sur 10 000 clients comme lui, il y a une vraie infection, que le test détecte - et environ une fausse alerte. Ce pile ou face était annoncé comme un verdict - et dans les années 90, souvent vécu comme tel.
Le même mécanisme atteint les salles d'accouchement : des cas documentés décrivent des femmes enceintes recevant un résultat VIH positif lors d'un dépistage prénatal de routine, dont le test de confirmation est ensuite revenu négatif. Certaines avaient commencé à prendre des décisions irréversibles entre-temps.
Le mécanisme tient en une phrase : quand presque toutes les personnes testées sont saines, même un taux minuscule de faux positifs produit plus de fausses alertes que de vraies détections.
C'est exactement pour cela que les tests de confirmation existent - et pourquoi un dépistage n'est jamais un verdict.
Pour ne plus faire exactement cette erreur, nous avons construit un simulateur interactif : 1 000 points, trois curseurs, et un préréglage avec les chiffres des conseillers déjà en place. Entraînez votre intuition de vos propres yeux.
Un dépistage positif dans un groupe à faible risque est une raison de prescrire le test de confirmation, pas de faire une annonce. Et si la personne dont le métier est ce test vous dit « 100 % » - demandez-lui la prévalence. Si elle ne sait pas répondre, le test non plus.
Le décryptage complet, sans jargon
La version rapide ci-dessus suffit à changer votre pratique. Voici la même chose, lentement, avec tous les chiffres - pour quand vous voulez vraiment comprendre, et pas seulement croire.
Les deux cadrans - et pourquoi 99 % est un mensonge que l'on se raconte
Chaque test a deux cadrans, et aucun des deux n'est le chiffre que le patient veut vraiment. La sensibilité mesure le test sur les malades : parmi les personnes réellement atteintes, la proportion qu'il signale. La spécificité le mesure sur les sains : parmi les personnes réellement indemnes, la proportion qu'il écarte correctement. C'est tout : deux taux conditionnels, mesurés sur des personnes dont le statut est déjà connu.
L'habitude scolaire d'écrire 99 % partout est le début des ennuis, car les vrais tests sont loin d'être aussi nets. Une mammographie de dépistage détecte environ 85 à 90 % des cancers et écarte environ 88 à 90 % des femmes saines. Un immuno-essai VIH moderne est bien plus tranchant, autour de 99,7 % et 99,8 %. Un test antigénique rapide de la COVID peut ne trouver que 70 % des infections tout en ne criant presque jamais au loup. La fiabilité n'est pas un seul chiffre, et ce n'est jamais juste 99 %.
Le troisième chiffre que le test ne voit pas : la prévalence
Vient maintenant le chiffre qui décide du sort de votre patient, et il n'est pas sur la boîte. La prévalence est la fréquence de la maladie parmi les personnes réellement testées - pas dans le monde, dans la file d'attente de votre cabinet. Ce n'est pas du tout une propriété du test, et c'est précisément pourquoi les conseillers pouvaient réciter la spécificité du test et se tromper quand même : ils citaient un cadran, alors que la réponse dépendait de la prévalence.
Le calcul, une fois, lentement
Voici tout le calcul avec les chiffres mêmes de l'affaire : sensibilité 99,9 %, taux de faux positifs d'environ 1 sur 10 000 (spécificité 99,99 %), prévalence 1 sur 10 000.
Imaginons 10 000 hommes à faible risque comme lui. • 1 est réellement infecté. Le test le détecte presque à coup sûr : 1 vrai positif. • 9 999 sont sains. À 1 fausse alerte pour 10 000, environ 1 est aussi positif : 1 faux positif. • Donc 2 hommes sont positifs, et 1 seul est réellement infecté. VPP = 1 / 2 = environ 50 %.
Le résultat positif ne l'a pas fait passer d'improbable à certain. Il l'a fait passer de 1 sur 10 000 à 1 sur 2. Une nouvelle énorme, et malgré tout un pile ou face.
Alors comment construire un test qui ne soit pas un piège ?
Cela dépend de deux choses : la rareté de la maladie, et le coût d'une fausse alerte.
Quand la maladie est rare et qu'un faux positif coûte cher - effrayer le patient, déclencher une biopsie - un seul test ne suffit jamais. On dépiste avec un test sensible pour ne manquer personne, puis on confirme les positifs avec un second test très spécifique. Ce n'est pas de la bureaucratie : c'est la seule façon d'obtenir un positif qui veuille dire quelque chose quand presque tout le monde est sain. C'est littéralement pourquoi le diagnostic du VIH suit un protocole en deux étapes.
Quand l'affection est fréquente et qu'une fausse alerte coûte peu - on retestera demain de toute façon, ou un faux positif ne coûte qu'une journée de prudence - on peut se permettre un test moins bon qui passe à l'échelle. Un test antigénique rapide qui manque un tiers des cas mais coûte un euro et se fait à la maison est un bon outil de santé publique pendant une vague, et un mauvais outil pour rassurer un seul voyageur inquiet.
La même logique définit deux rôles. Un test très spécifique sert à confirmer : un positif est difficile à falsifier. Un test très sensible sert à écarter : un négatif est difficile à falsifier. Les cliniciens résument cela par SpPIn et SnNOut - Spécifique, Positif, confirme ; Sensible, Négatif, écarte.
À retenir, rien de plus
La sensibilité se mesure sur les malades ; la spécificité sur les sains.
Ce que veut votre patient - la probabilité qu'un positif soit vrai - c'est la VPP, et elle exige la prévalence.
Maladie rare : même une spécificité excellente donne une VPP médiocre. Confirmez avant de conclure.
On confirme avec la spécificité, on écarte avec la sensibilité.
Ce qui s'est réellement passé en 1998
Avec cela en tête, l'affaire n'a plus rien de surprenant. Le client avait été choisi à faible risque exprès : un homme hétérosexuel sans facteur de risque. Ce profil n'est pas un détail - c'est la prévalence. Les facteurs de risque ne déplacent pas la prévalence, ils la multiplient. Le même test, chez un homme d'un groupe à plus forte prévalence, raconte une tout autre histoire :
50 %profil faible risque, prévalence 1 sur 10 000
99,3 %facteurs de risque présents, prévalence 1,5 %
Même test, même résultat positif. La seule chose qui a changé, c'est la file dont l'homme sortait - et elle a fait basculer la réponse d'un pile ou face à une quasi-certitude. Les conseillers ne mentaient pas sur le test. Ils ont répondu à une question sur le patient à l'aide d'un fait sur le test, sans jamais demander quelle était la prévalence.
Cette erreur persiste-t-elle ?
L'étude de 1998 n'était pas un résultat isolé. L'erreur sous-jacente - la négligence de la fréquence de base, où la valeur prédictive d'un positif est confondue avec la sensibilité ou la spécificité du test - a été documentée à plusieurs reprises depuis. Dans une étude de 2013, invités à estimer la probabilité de maladie face à un résultat positif pour une prévalence de 1 %, une sensibilité de 95 % et une spécificité de 95 %, la plupart des médecins interrogés répondaient environ 95 % ; la valeur correcte est d'environ 16 %. Les revues sur la communication du risque (voir Gigerenzer et al., 2007, ci-dessous) rapportent le même schéma chez les cliniciens, dans les brochures patients et dans les médias. Les conséquences documentées comprennent une anxiété évitable, des examens de confirmation au risque non négligeable, et des décisions cliniques prises sur un positif dont la valeur prédictive était nettement inférieure à la certitude.
Où l'on retrouve le même piège
Dépistage du cancer : le débat sur le surdiagnostic de la mammographie et du PSA, c'est cette arithmétique à l'échelle d'une population.
ADN médico-légal : une correspondance une sur un million dans une base de millions de profils produit forcément des faux positifs.
Contrôles de sécurité : les alarmes d'aéroport et de fraude qui traquent des événements rares se noient dans les fausses alertes.
Spam et détection d'anomalies : la même arithmétique des fausses alertes, à enjeux moindres.
Tests génétiques grand public : variants rares, populations testées énormes, positifs fragiles.
La même formule, six situations réelles
Test / situation
Se
Sp
Prévalence
VPP
VIH, immuno-essai, dépistage faible risque
99,7 %
99,8 %
0,010 %
5 %
VIH, immuno-essai, groupe à haut risque
99,7 %
99,8 %
1,5 %
88 %
Mammographie, femmes 50-69 ans
87,0 %
89,0 %
0,600 %
5 %
Test immunochimique fécal (colorectal)
79,0 %
94,0 %
0,400 %
5 %
Antigénique COVID, symptomatique, forte circulation
73,0 %
99,5 %
15,0 %
96 %
Antigénique COVID, dépistage de masse asymptomatique
58,0 %
99,5 %
0,300 %
26 %
Valeurs typiques rapportées (elles varient selon la marque du test et la population) ; la VPP est ce que donne la formule. Arrêtez-vous sur la dernière colonne.
La VPP des scénarios ci-dessus. Le même résultat positif signifie des choses radicalement différentes.
Un seul test, sensibilité fixe, trois niveaux de spécificité. À mesure que la maladie devient plus rare (à gauche), même un test spécifique à 99,9 % perd sa valeur prédictive positive. Toute l'histoire en une image.
Gigerenzer, G., Gaissmaier, W., Kurz-Milcke, E., Schwartz, L. M., & Woloshin, S. (2007). Helping Doctors and Patients Make Sense of Health Statistics. Psychological science in the public interest : a journal of the American Psychological Society, 8(2), 53–96. https://doi.org/10.1111/j.1539-6053.2008.00033.x
Stat Exam Pro entraîne exactement ce raisonnement : la section Paradoxes & Intuition Traps rassemble toute une série de cas comme celui-ci, en QCM corrigés et expliqués.
