Puissance d'un test

Un traitement produit réellement un effet, mais une étude peut passer à côté parce que son échantillon est petit ou ses mesures très dispersées. La puissance indique la chance que le test repère cet effet et conduise à rejeter l’hypothèse d’absence d’effet.

Avec une puissance de 80 %, le test détecterait en moyenne l’effet dans 80 études sur 100 conduites dans les mêmes conditions. On attendrait aussi en moyenne 20 faux négatifs, qui ne prouveraient pas que l’effet n’existe pas.

La puissance d’un test est une probabilité calculée sous une hypothèse alternative déterminée, donc pour un effet réel d’une taille donnée. Elle mesure la probabilité que la statistique de test tombe dans la région de rejet de l’hypothèse nulle. La probabilité de ne pas rejeter cette hypothèse alors que l’alternative choisie est vraie se note β : c’est l’erreur de type II.

La puissance vaut $1-\beta 1-\backslash beta$. Cette puissance n’est donc pas une propriété isolée du nom du test. Elle dépend notamment de la taille d’effet visée, du niveau de signification, de l’effectif et de la variabilité des observations. À méthode et hypothèses fixées, un effet plus marqué ou un échantillon plus grand est généralement plus facile à détecter. Une variabilité plus forte le rend généralement moins facile à détecter.

Le niveau de signification contrôle l’erreur de type I, tandis que la puissance contrôle la capacité à éviter un faux négatif pour l’alternative spécifiée. Pour annoncer une puissance, il faut donc préciser le test, l’effet retenu, le niveau de signification, le modèle de variabilité et la taille d’échantillon.

Une équipe prépare un test destiné à détecter un effet réel fixé à l’avance. Le calcul de planification, fondé sur le test choisi, le niveau de signification, l’effectif et la variabilité supposée, donne une probabilité d’erreur de type II de 20 %. Pour lire ce résultat, elle imagine 1 000 études indépendantes menées dans ces mêmes conditions, avec cet effet réellement présent.

1. La probabilité d’un faux négatif est β = 0,20. La puissance est son complément :

2. Sur 1 000 répétitions théoriques, le nombre moyen de détections est :

3. Le nombre moyen de faux négatifs est :

Le contrôle est immédiat : 800 + 200 = 1 000. Il s’agit de nombres moyens sur des répétitions, pas d’une garantie que toute série réelle de 1 000 études donnera exactement ces deux totaux.

Avant une expérience, la puissance sert à choisir un effectif. Le chercheur fixe un effet qu’il juge pertinent, un niveau de signification et un modèle de variabilité, puis cherche un échantillon assez grand pour limiter les faux négatifs.

Pour comparer deux protocoles, on calcule leur puissance pour le même effet et le même niveau de signification. Un protocole plus puissant est préférable si son coût et ses hypothèses restent acceptables ; sinon, augmenter l’effectif ou améliorer la précision des mesures peut être plus réaliste.

Après un résultat non significatif, une faible puissance invite à la prudence : l’étude a pu manquer un effet réel. Il faut alors examiner l’incertitude, l’effet compatible avec les données et le plan d’étude, plutôt que conclure automatiquement à l’absence d’effet.

Puissance et niveau de signification. La puissance concerne la détection lorsque l’effet choisi existe ; le niveau de signification borne le risque de rejeter l’hypothèse nulle lorsqu’elle est vraie. Une puissance de 80 % ne signifie donc pas un risque de faux positif de 20 %.

Puissance et valeur p. La puissance est une propriété du plan pour une alternative donnée, calculée avant ou indépendamment du résultat observé. La valeur p provient des données d’une étude précise sous l’hypothèse nulle. Un résultat avec une petite valeur p n’est pas, à lui seul, la mesure de la puissance du test.

Puissance et taille d’effet. La taille d’effet décrit l’ampleur du phénomène ; la puissance indique la probabilité de le détecter dans un protocole donné. Le même petit effet peut être difficile à repérer avec un faible effectif et bien détecté avec un effectif plus élevé.

Une puissance sans effet cible est incomplète. Un même test possède des puissances différentes selon l’alternative envisagée. Si aucune taille d’effet n’est indiquée, il faut demander pour quel effet la probabilité a été calculée.

80 % n’est pas un seuil universel. Dans l’exemple, β vaut 20 % et la puissance 80 %, mais ce choix ne garantit ni la qualité du modèle ni la pertinence de l’effet ciblé. Le niveau souhaitable dépend des conséquences d’un faux négatif et des ressources disponibles.

Les hypothèses alimentent le calcul. Une variabilité sous-estimée, des observations dépendantes traitées comme indépendantes ou un effet réel différent de l’effet prévu rendent la puissance annoncée peu représentative. Il faut recalculer avec un modèle adapté et des hypothèses justifiées.

Plus de puissance ne corrige pas un mauvais protocole. Un grand échantillon peut rendre détectable un effet minuscule sans le rendre important en pratique. L’interprétation doit associer puissance, taille d’effet, incertitude et pertinence scientifique.

Le glossaire test paramétrique précise la famille de tests dont le calcul de puissance repose sur un modèle paramétrique de la population.