biais d'un estimateur

Imaginez une pièce qui donne pile trois fois sur quatre. On veut estimer cette proportion à partir de quatre lancers, puis recommencer l'expérience de nombreuses fois. Une règle d'estimation est biaisée si la moyenne de tous ses résultats possibles se place systématiquement au-dessus ou au-dessous de la vraie proportion.

Le biais ne décrit donc pas un essai isolé. Il décrit le décalage moyen produit par la méthode lorsque l'expérience est répétée dans les mêmes conditions.

Un paramètre inconnu du modèle est noté θ. Un estimateur de ce paramètre, noté $\widehat{\theta }\backslash widehat\{\backslash theta\}$, est une variable aléatoire calculée à partir de l'échantillon. Son espérance dépend du modèle et, en général, de θ. Le biais au point θ est défini par :

L'estimateur est sans biais si cette différence vaut zéro pour toute valeur admissible de θ. Autrement dit, sa moyenne théorique coïncide avec le paramètre, même si chaque estimation observée peut s'en écarter. Le biais peut être positif, négatif ou nul et s'exprime dans la même unité que le paramètre.

Cette définition suppose un modèle probabiliste précisant la loi des données. Elle distingue le biais de l'erreur réalisée $\widehat{\theta }-\theta \backslash widehat\{\backslash theta\}-\backslash theta$, qui change d'un échantillon à l'autre. Pour une suite d'estimateurs indexée par la taille n, on parle d'absence de biais asymptotique lorsque le biais tend vers zéro quand n tend vers l'infini ; cela n'impose pas qu'il soit nul pour une taille finie.

Une pièce donne pile avec la probabilité inconnue p. Pour contrôler une règle d'estimation, on se place au cas p = 3/4 et on lance la pièce quatre fois. Le nombre de piles, noté X, suit alors une loi binomiale de paramètres 4 et 3/4. On étudie l'estimateur $\widehat{p}=(X+1)\mathrm{/}6\backslash widehat\{p\}=(X+1)/6$.

1. Pour quatre lancers, l'espérance du nombre de piles vaut E(X) = 4 × 3/4 = 3.

2. Par linéarité de l'espérance, la moyenne théorique de l'estimateur vaut E($\widehat{p}\backslash widehat\{p\}$) = (3 + 1) / 6 = 2/3.

3. Son biais au point p = 3/4 vaut donc 2/3 − 3/4 = −1/12, soit environ −0,083. La règle sous-estime en moyenne la probabilité de pile dans ce cas.

4. Le contrôle peut se refaire sur les cinq valeurs possibles de X. Le graphique associe à chacune sa probabilité binomiale et la valeur estimée correspondante ; leur moyenne pondérée est 2/3. En revanche, la fréquence usuelle X/4 a pour espérance 3/4 et son biais est nul.

Lors d'une simulation, on génère de nombreux échantillons sous une valeur connue du paramètre. On moyenne les estimations, puis on soustrait cette valeur connue. Cette procédure approche le biais de la règle dans le modèle simulé.

Pour comparer deux estimateurs, le biais ne suffit pas. Si l'un est peu biaisé mais très dispersé, on examine aussi sa variance ou son erreur quadratique moyenne. Le choix dépend alors du coût relatif d'un décalage systématique et des fluctuations.

Avec un petit échantillon, une correction de biais peut être utile lorsque la formule théorique du biais est connue. Si le modèle est incertain, une étude de sensibilité à plusieurs valeurs du paramètre est préférable à une conclusion fondée sur un seul scénario.

Biais et erreur d'estimation. Le biais est le décalage entre la moyenne théorique de l'estimateur et le paramètre, autrement dit l'espérance de l'erreur ; l'erreur est l'écart obtenu sur un échantillon particulier. Un estimateur sans biais peut donc produire une grande erreur lors d'une expérience donnée.

Biais et variance. Deux estimateurs de biais nul peuvent fluctuer très différemment. Si leurs moyennes théoriques valent toutes deux θ mais que l'un donne des valeurs beaucoup plus étalées, leurs biais sont identiques et leurs variances ne le sont pas.

Absence de biais et convergence. Être sans biais concerne l'espérance à une taille donnée ; être convergent concerne le rapprochement de l'estimateur vers le paramètre lorsque la taille augmente. L'une de ces propriétés n'entraîne pas automatiquement l'autre.

Un biais nul n'assure pas une bonne précision. Si les estimations sont très dispersées, leur moyenne peut être exactement θ tout en donnant souvent des valeurs éloignées. Il faut alors compléter le biais par la variance ou par l'erreur quadratique moyenne.

Le biais dépend de la valeur du paramètre. Dans l'exemple, pour une valeur générale p, le biais de (X + 1) / 6 vaut (1 − 2p) / 6. Il est nul au cas charnière p = 1/2, positif en dessous et négatif au-dessus. Tester seulement p = 1/2 masquerait donc le décalage présent ailleurs.

Le modèle fait partie du calcul. Une espérance évaluée sous une mauvaise loi ne décrit pas nécessairement le comportement réel de l'estimateur. Il faut annoncer les hypothèses d'échantillonnage et recommencer l'analyse sous des modèles plausibles.

Asymptotiquement sans biais ne signifie pas sans biais. Un biais qui tend vers zéro lorsque n augmente peut rester non nul pour tout échantillon fini. Il faut donc regarder sa valeur à la taille effectivement utilisée, pas seulement sa limite.

espérance mathématique — Revoir la moyenne théorique qui intervient directement dans la définition du biais.

loi binomiale — Retrouver la loi du nombre de piles utilisée dans l'exemple conducteur.

variance d'une variable aléatoire — Compléter le biais par une mesure de la dispersion des estimations.

Convergence en probabilité — Distinguer le comportement quand l'échantillon grandit de l'absence de biais à taille fixée.