Cette série chanceuse est-elle réelle - ou avez-vous simplement assez cherché ?

Appelez-le m, le nombre de tests. À un seuil de 5 %, le nombre attendu de fausses alertes est m fois 0,05. Pour m = 62 cela fait environ 3 - trouver trois contextes « chanceux » est donc exactement ce que produit le bruit. Compter les tests jamais formellement menés (le jardin aux sentiers qui bifurquent) est la partie difficile et honnête.

Pour un contexte de score moyen x-barre sur n observations et de dispersion s :

Plus d'observations réduit le dénominateur, donc le même avantage réel apparaît comme un z plus grand. C'est le fond de vérité de « collecter plus de données » - mais cela ne change rien aux 62 regards de l'étape suivante.

Trois petits jeux de données, trois formes de données - et la même recette à chaque fois : (moyenne observée − moyenne attendue sans chance), divisé par l'erreur-type.

Pour chaque jeu de données, on suit le chemin qu'un analyste suivrait au clavier : regarder quelques lignes brutes, vérifier la cohérence du fichier entier, grouper par contexte, puis transformer chaque groupe en un z. Les lignes surlignées sont les chiffres que la suite de la page réutilise.

Exemple 1 - un score continu avec une attente connue. Six mois du journal de loteries simulées de l'auteur : 1 800 lignes, une par tirage, avec les colonnes date, heure, jour de semaine et score - le résultat déjà normalisé par rapport à l'attente connue du jeu, si bien que « pas de chance » signifie un score moyen de 0, les tirages individuels se dispersant avec s = 1. Contexte à tester : « les mardis », soit n = 260 tirages de moyenne x-barre = +0,16. Erreur-type = s/√n = 1/√260 ≈ 0,062, donc z = 0,16/0,062 ≈ 2,6 - le z que nous suivons sur toute cette page.

À quoi ressemble le journal - les premières lignes du fichier :

Micro-EDA avant toute chasse aux motifs : la moyenne des 1 800 scores vaut +0,004 avec une dispersion de 1,00 - la normalisation se comporte bien, et une colonne de score cassée se verrait ici même. Groupez maintenant par jour de semaine et résumez chaque groupe : combien de tirages il contient, leur moyenne, et cette moyenne divisée par sa propre erreur-type :

Six jours flottent là où vit le bruit ; le mardi dépasse à z = 2,6. Répétez le même groupé-résumé pour les 24 heures et les 31 jours du mois, et vous tenez les 62 z - la colonne que jugeront les étapes 3 à 5.

Exemple 2 - des issues gagné/perdu. Un jeu où chaque essai gagne avec une probabilité connue de 20 % - l'attente est connue par construction, comme dans les simulations de loterie de l'auteur. 2 100 lignes : horodatage, heure, gain (1 ou 0). Contexte : « l'heure de 15 h », avec n = 150 essais et 41 gains - un taux de 27,3 % contre 20 % attendus. Pour une proportion, l'erreur-type vaut √(p(1−p)/n) avec p le taux attendu : √(0,20 × 0,80/150) ≈ 0,033, donc z = (0,273 − 0,200)/0,033 ≈ 2,2. Même recette - seule la formule de l'erreur-type change avec le type de données.

Le journal brut :

Micro-EDA : 424 gains sur 2 100 essais - un taux global de 20,2 %, pile sur les 20 % prévus par construction : le jeu est équitable dans l'ensemble, et toute chance éventuelle doit se cacher dans les tranches. Notez les tailles inégales des groupes : les essais se concentrent aux heures de veille, si bien que les heures chargées contiennent environ 150 essais et les heures matinales bien moins - c'est précisément pourquoi le résumé garde n visible. Groupez par heure :

Seule 15 h sort du lot - et tout le reste de cette page sert à décider si même cela vaut quelque chose.

Exemple 3 - des auto-évaluations rares. Le second flux de l'auteur : 400 soirées d'auto-évaluation, colonnes date et note - −1 (pire que d'habitude), 0 (comme attendu), +1 (mieux). Ici, aucune attente externe n'existe : « pas de chance » est la moyenne de long terme de la personne elle-même - soustrayez-la d'abord ; disons que les notes centrées se dispersent avec s = 0,75. Contexte : « le 13 du mois » - seulement n = 13 soirées, mais de moyenne x-barre = +0,31, et on jurerait que « le 13 est mon jour ». Erreur-type = 0,75/√13 ≈ 0,21, donc z = 0,31/0,21 ≈ 1,5. La leçon : un contexte rare a un n minuscule, donc même une moyenne impressionnante reste confortablement dans le bruit - et c'est avant la correction des 62 contextes.

Le journal brut :

Micro-EDA : les 400 notes se répartissent en 118 × (−1), 172 × 0 et 110 × (+1) - moyenne globale −0,02, dispersion s = 0,75. Aucune attente par construction ici : ce −0,02 est la ligne de base propre de la personne - soustrayez-le de tout avant de comparer les contextes, sinon un évaluateur globalement morose ou enjoué fabrique un signal dans chaque tranche. Groupez par jour du mois :

Regardez ce que cette table enseigne discrètement : avec n autour de 13 par jour, les moyennes centrées oscillent entre −0,23 et +0,31 alors que rien de réel ne se passe nulle part - les jours du mois pris un à un sont simplement aussi bruyants que cela. Le +0,31 du 13 paraît beaucoup ; z = 1,5 dit qu'une moyenne de 13 soirées vagabonde jusque-là couramment.

Quelle que soit la forme des données, les trois mêmes ingrédients : une moyenne observée, la moyenne attendue sans chance, et une erreur-type qui rétrécit comme la racine carrée de n. C'est ce z que jugent les étapes 3 à 5.

Toute la procédure en une ligne, applicable à n'importe quel journal : groupez les lignes par contexte ; comptez n et moyennez chaque groupe ; soustrayez la moyenne sans chance ; divisez par l'erreur-type (s/√n pour des scores, √(p(1−p)/n) pour gagné/perdu) - et vous tenez un z par contexte. Si vos données peuvent produire des tables comme celles ci-dessus, vous pouvez dérouler vous-même chaque étape de cette page.

Pour 62 contextes, le meilleur-des-62 z sous pur bruit a une médiane proche de 2,3 et un 95e centile proche de 3,1. Votre 2,6 se situe vers le 75e centile - le bruit l'égale ou le dépasse environ une fois sur quatre. Pas intéressant. La ligne « ça vaut un coup d'œil » est vers z = 3,1. Raccourci sans simulation : Bonferroni demande à chaque contexte de franchir 0,05 divisé par 62, environ 0,0008 (z au-dessus de 3,2) - votre 2,6 échoue. Si vous préférez cribler de nombreux candidats plutôt que faire une affirmation ferme, contrôlez plutôt le taux de fausses découvertes (Benjamini-Hochberg). Passage à l'échelle médicale : les études du génome testent environ un million de sites et utilisent un seuil de 5 sur 100 millions.

Un cousin proche, mais non. Le bootstrap rééchantillonne vos données avec remise pour demander « de combien mon estimation vacillerait-elle dans un nouvel échantillon du même monde ? » - il mesure l'incertitude autour d'une valeur. Ce que fait l'étape 3 est un test de permutation : mélanger les étiquettes temporelles sans remise pour construire le monde où la chance n'existe certainement pas, puis voir où votre résultat réel s'y place. Et prendre le meilleur des 62 contextes à chaque mélange est le schéma classique max-T (Westfall-Young) - il traite la multiplicité plus honnêtement que Bonferroni, car les mélanges respectent d'eux-mêmes le chevauchement des contextes (le même tirage siège à la fois dans « mardi » et dans « 15 h »), là où Bonferroni sur-corrige.

Et oui - le verdict ne demande aucune table de la courbe en cloche : vous vérifiez simplement si votre vrai meilleur tombe dans la queue des 5 % supérieurs de la distribution mélangée (unilatérale, car « chanceux » est une affirmation directionnelle). Un seul écueil empêche d'abandonner le score z : les contextes ont des tailles très différentes, et leurs moyennes brutes ne sont pas comparables entre elles. Reprenez les deux contextes de l'étape 2. « Les mardis » contiennent n = 260 tirages : leur moyenne vacille avec une erreur-type d'environ 0,062 - sous pur bruit, elle reste grosso modo à ±0,12 de zéro (deux erreurs-types). « Le 13 du mois » ne contient que n = 13 soirées, erreur-type d'environ 0,21 - une moyenne environ 3,4 fois plus bruyante, que le même pur hasard balance régulièrement jusqu'à ±0,4. Classez les contextes par moyenne brute et les contextes rares gagnent presque chaque mélange, simplement parce qu'ils sont plus bruyants - vos mardis à 260 tirages ne pourront jamais « sur-vaciller » un contexte de 13 soirées, aussi réel que soit leur avantage. Diviser chaque moyenne par sa propre erreur-type (c'est tout ce qu'est le score z) met tous les contextes sur une même règle : une unité de z coûte alors la même dose de surprise partout, et le maximum devient un concours équitable. Toute statistique ayant cette propriété convient - y compris le p de permutation propre à chaque contexte (la variante min-p).

En toute transparence : le simulateur ci-dessous tire des z indépendants d'une courbe en cloche au lieu de mélanger un vrai jeu de données - la bonne simplification pour une leçon. Sur vos propres données, la vraie permutation est strictement meilleure : elle hérite gratuitement de vos distributions biscornues et des dépendances entre contextes.

À l'étape de confirmation, il n'y a plus de multiplicité - vous testez une chose nommée d'avance, donc un simple 5 % redevient honnête. C'est aussi ce qui bat le regard continu et la régression vers la moyenne d'un seul coup : un hasard trouvé en cherchant partout ne se répétera pas sur des données qu'il n'a jamais touchées. S'il se reproduit, il mérite une étude ; s'il s'évapore, c'était du bruit depuis le début. Préenregistrer l'hypothèse, ou un plan en N-de-1, formalise la même idée.