Stat Fails rassemble des cas documentés où une erreur statistique a eu des conséquences réelles, avec le raisonnement détaillé. Références à la fin.
Le sepsis tue vite ; un modèle d'alerte précoce qui le repère avant le clinicien pourrait sauver des vies. Un tel modèle, intégré à Epic, le dossier médical qui fait tourner une grande partie de la santé américaine, a été activé dans des centaines d'hôpitaux. Il arrivait avec un chiffre-vitrine.
Une aire sous la courbe ROC de 0,76 à 0,83.
En 2021, une équipe de l'université du Michigan a confronté ce chiffre à ses propres patients, environ 38 000 séjours hospitaliers. Ce qu'elle a trouvé est la raison de ce Stat Fails.
0,63l'AUC réellement mesurée
0,76-0,83l'AUC sur les diapositives du vendeur
67 %des cas de sepsis manqués
18 %de tous les patients alertés
Une AUC de 0,63 dépasse à peine 0,5, le score d'une pièce de monnaie. Et un chiffre sur une diapo n'est pas un lit d'hôpital : au seuil d'alerte utilisé, le modèle manquait deux cas de sepsis sur trois tout en déclenchant une alarme sur près d'un patient sur cinq, la plupart fausses.
Cette combinaison est le pire des deux mondes. Manquer l'essentiel de la maladie, et enterrer le personnel sous les fausses alertes jusqu'à ce qu'il cesse d'y croire. La fatigue d'alerte n'est pas une image : quand quatre alertes sur cinq sont fausses, la cinquième est ignorée aussi.
Le mécanisme en une phrase : l'AUC sur les données du vendeur n'a jamais été l'AUC dans votre hôpital, et aucun marketing ne comble cet écart. Seul un test indépendant sur les patients locaux le peut.
C'est la courbe ROC et l'AUC face au monde réel. Si ces termes sont flous, le cours illustré les construit depuis zéro, et le simulateur vous fait sentir comment un seuil échange la détection contre les fausses alertes :
Quand on vous vend un modèle par son AUC, posez deux questions avant d'y croire : mesurée sur quels patients, et à quel seuil. Un chiffre élevé sur la population du vendeur, lu à aucun seuil précis, ne dit presque rien de ce qui se passera dans votre service.
Le décryptage complet, sans jargon
La version rapide suffit à vous méfier de l'AUC d'un vendeur. Voici la même histoire, lentement, avec les chiffres détaillés.
Ce que vaut 0,63
Lisez l'AUC en une phrase : la probabilité que le modèle donne à un patient qui deviendra septique un score plus élevé qu'à un patient qui ne le deviendra pas. À 1,0 il ne se trompe sur aucune paire ; à 0,5 il devine. Le vendeur annonçait une plage de 0,76 à 0,83. La mesure indépendante est tombée à 0,63, plus près de la pièce que de la boîte.
L'échelle de l'AUC, du pile ou face (0,5) au parfait (1,0). La plage annoncée par le vendeur est loin à droite ; le 0,63 mesuré indépendamment est juste au-dessus du hasard.
Les chiffres en patients
Une AUC masque ce que fait un seuil ; mettons-le en personnes. Le sepsis apparaissait dans environ 66 séjours sur 1 000 ; prenons donc 1 000 admissions.
• Environ 66 des 1 000 développent un sepsis. • Le modèle déclenche une alerte sur environ 180 des 1 000. • Sur ces 180 alertes, à peu près 22 sont de vrais sepsis et 158 de fausses alertes. • Et 44 des 66 patients septiques ne sont jamais signalés. Une infirmière qui surveille les alertes voit 180 avertissements, 158 faux, pendant que deux tiers des sepsis passent sans être signalés.
Pour 1 000 admissions. Sur 66 cas de sepsis, le modèle en détecte 22 et en manque 44 (rouge). Sur 180 alertes, 22 seulement sont réelles et 158 fausses (orange).
Pourquoi le chiffre du vendeur était plus élevé : trois raisons
Trois mécanismes distincts ont poussé l'AUC du vendeur vers le haut et l'AUC mesurée sur le terrain vers le bas. Un seul aurait suffi à peser ; les trois étaient en jeu.
1. Décalage de domaine
Le modèle a appris ses schémas sur un ensemble d'hôpitaux précis. Une fois activé ailleurs, plusieurs choses ont discrètement divergé.
Équipement. Les automates de laboratoire n'ont pas les mêmes plages de référence. Une créatinine de 1,4 mg/dL sur un analyseur n'est pas toujours le même signal physiologique qu'une créatinine de 1,4 sur un autre.
Habitudes de documentation. Dans un service, l'infirmière note les constantes toutes les heures ; dans un autre, toutes les quatre heures. Le modèle reçoit une densité de données différente pour le même patient sous-jacent.
Population. Un CHU et un hôpital général n'accueillent pas les mêmes patients : âges, comorbidités, motifs d'entrée. La prévalence du sepsis et tout ce qui y est corrélé se déplacent.
2. Évaluation tardive
Un modèle d'alerte précoce n'est utile que si son alerte arrive avant que quelqu'un d'autre ne l'ait remarquée. Quand l'équipe du Michigan a évalué strictement les prédictions faites avant que le sepsis soit cliniquement apparent, l'AUC était 0,63. En élargissant la fenêtre aux prédictions faites jusqu'à trois heures après le début du sepsis, l'AUC est montée à 0,80.
Trois heures après le début du sepsis, le tableau clinique n'est plus le même. La tension baisse, le lactate monte, l'équipe est déjà en train de sortir les antibiotiques. À peu près n'importe quel modèle, même un modèle très simple, sait dire qu'un patient est septique quand le sepsis est devenu évident.
3. Fuite de données
Certaines entrées du modèle étaient des événements comme les prescriptions d'antibiotiques. Or les antibiotiques sont prescrits parce que quelqu'un soupçonne déjà un sepsis. L'entrée que lisait le modèle était donc, en pratique, un résumé de ce que l'équipe clinique avait déjà conclu.
C'est ce qu'on appelle la fuite de la variable cible : une entrée causalement en aval du résultat que l'on cherche à prédire. Cela fait paraître les scores d'évaluation meilleurs que l'utilité réelle du modèle, car sur les données rétrospectives utilisées pour l'évaluer ces entrées étaient déjà présentes. En production, sur un patient dont on n'a pas encore soupçonné le sepsis (le patient que le modèle est censé rattraper), l'entrée n'est pas là.
Comment cela a-t-il pu arriver ?
Chaque fois que je reviens sur cette histoire, elle me surprend. Les États-Unis ont la FDA. Ils ont une culture d'approbation des médicaments dans laquelle un essai de phase III raté met fin à un composé. La barre pour une nouvelle molécule est haute, et elle est appliquée systématiquement. Pourtant, ce modèle a été actif dans des centaines d'hôpitaux pendant des années, sur de vrais patients, avant que quiconque ne vérifie indépendamment ses chiffres.
L'écart précis est réglementaire. Un logiciel intégré au dossier médical électronique et commercialisé comme aide à la décision clinique tombait dans une catégorie exemptée : si le logiciel soutient plutôt qu'il ne remplace le clinicien, aucune revue par la FDA n'était requise. Le 21st Century Cures Act (2016) a formalisé cette exemption. Le modèle de sepsis d'Epic a été vendu, déployé et activé à l'intérieur de cette exemption.
Un ordre de grandeur
Epic fait tourner le dossier électronique dans environ 40 % des hôpitaux de soins aigus américains (KLAS 2022). Le sepsis touche environ 1,7 million d'adultes américains par an et contribue à environ 270 000 décès (CDC). Au seuil de déploiement, le modèle manquait à peu près deux tiers des patients septiques et déclenchait une alerte sur près d'une admission sur cinq, la plupart fausses. Plusieurs études sur le sepsis estiment que chaque heure de retard dans l'administration d'antibiotiques appropriés est associée à une augmentation de la mortalité de 4 à 8 % (Kumar et al. 2006 et travaux ultérieurs).
Financièrement : les soins du sepsis aux États-Unis représentent de l'ordre de 62 milliards de dollars par an (AHRQ). Un système d'alerte précoce fonctionnel qui identifierait ne serait-ce que 20 % de vrais positifs supplémentaires à un seuil actionnable se traduirait par des milliards en journées de soins intensifs évitées et en séjours plus courts. Déployer un modèle sous-performant a ajouté à la place les coûts opérationnels du modèle et le coût du temps des cliniciens passé sur les fausses alertes, sans gain compensateur.
À emporter
Une AUC sans population ni seuil est un slogan, pas une mesure. Avant qu'un modèle touche vos patients, exigez ses performances sur des patients comme les vôtres, au seuil que vous emploieriez, et comptez les fausses alertes en personnes, pas en décimales.
Sources
Wong, A., Otles, E., Donnelly, J. P., et al. (2021). External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients. JAMA Internal Medicine, 181(8), 1065–1070. https://doi.org/10.1001/jamainternmed.2021.2626
Habib, A. R., Lin, A. L., & Grant, R. W. (2021). The Epic Sepsis Model Falls Short—The Importance of External Validation. JAMA Internal Medicine, 181(8), 1040–1041. https://doi.org/10.1001/jamainternmed.2021.3333
Kapoor, S., & Narayanan, A. (2022). Leakage and the Reproducibility Crisis in ML-based Science. arXiv preprint arXiv:2207.07048. https://arxiv.org/abs/2207.07048
Stat Exam Pro entraîne ROC, AUC, sensibilité et spécificité, et le reste des statistiques médicales, en QCM corrigés, en français et en anglais.
