Meilleur (estimateur)

On répète dix fois une expérience qui peut réussir ou échouer, puis on veut estimer sa probabilité de réussite. Plusieurs règles de calcul peuvent viser cette même probabilité sans la surestimer ni la sous-estimer en moyenne.

Le « meilleur » estimateur sans biais est celui dont les résultats fluctuent le moins d'un échantillon à l'autre. Ici, meilleur ne signifie donc ni plus simple ni toujours plus proche sur une expérience isolée. Il signifie : variance minimale dans la classe comparée, pour chaque valeur possible du paramètre.

Soit un paramètre inconnu noté θ et une classe d'estimateurs de θ. Un estimateur est sans biais lorsque son espérance vaut θ pour toute valeur admissible de ce paramètre. Un meilleur estimateur sans biais uniforme, abrégé MVUE, est un estimateur sans biais dont la variance est inférieure ou égale à celle de tout autre estimateur sans biais, pour chaque valeur de θ. Le mot « uniforme » porte sur toutes les valeurs du paramètre, et non sur une loi uniforme.

Sous les conditions de régularité qui rendent applicable l'inégalité de Cramér-Rao, l'information de Fisher notée I(θ) mesure l'information du modèle sur θ. Pour tout estimateur sans biais noté T, sa variance vérifie ${\mathrm{Var}}_{\theta }(T)\ge 1\mathrm{/}I(\theta )\backslash operatorname\{Var\}\_\backslash theta(T)\backslash geq\; 1/I(\backslash theta)$. Atteindre cette borne suffit à rendre T efficace et meilleur dans la classe des estimateurs sans biais. Ne pas l'atteindre ne prouve toutefois pas que T n'est pas MVUE : la borne peut être inaccessible.

Le théorème de Lehmann-Scheffé donne une autre voie. Si une statistique est à la fois suffisante et complète pour le paramètre, alors tout estimateur sans biais qui dépend de cette statistique est l'unique MVUE, à égalité presque sûre.

Une expérience de Bernoulli est répétée indépendamment 10 fois. Chaque essai a la même probabilité inconnue de réussite, notée p. On observe 7 réussites. Le nombre total de réussites est noté X.

1. La proportion observée, notée $\widehat{p}\backslash widehat\; p$, vaut $\widehat{p}=X\mathrm{/}10=7\mathrm{/}10=\mathrm{0,7}\backslash widehat\; p=X/10=7/10=0\{,\}7$.

2. Comme l'espérance de X vaut 10p, l'espérance de $\widehat{p}\backslash widehat\; p$ vaut p. La proportion est donc un estimateur sans biais.

3. Sa variance et l'information de Fisher des 10 essais sont :

4. Pour 0 < p < 1, l'inverse de l'information vaut exactement p(1 − p)/10. La variance atteint donc la borne de Cramér-Rao. La proportion est efficace et MVUE dans ce modèle.

Le contrôle se refait en multipliant les deux expressions : ${\mathrm{Var}}_p(\widehat{p})I(p)=1\backslash operatorname\{Var\}\_p(\backslash widehat\; p)I(p)=1$. La valeur 0,7 est l'estimation issue de l'échantillon observé ; elle n'est pas la variance et ne garantit pas que la vraie probabilité vaut 0,7.

Pour estimer une probabilité de réussite à partir d'essais indépendants comparables, on peut utiliser la proportion observée. Dans le modèle de Bernoulli, elle est sans biais et, pour 0 < p < 1, atteint la borne de Cramér-Rao ; aucune autre règle sans biais ne peut avoir une variance plus faible.

Pour départager deux estimateurs sans biais, on compare leurs variances comme fonctions du paramètre, pas seulement sur les données observées. Si l'un domine l'autre pour certaines valeurs mais perd ailleurs, cette comparaison ne désigne pas de MVUE uniforme.

Lorsque la borne de Cramér-Rao n'est pas atteinte, on cherche plutôt une statistique suffisante et complète, puis un estimateur sans biais qui en dépend. Le théorème de Lehmann-Scheffé établit alors son caractère MVUE et son unicité presque sûre.

Estimateur efficace. Il atteint la borne de Cramér-Rao, lorsque cette borne et ses conditions d'application sont valides. Un MVUE minimise la variance parmi les estimateurs sans biais ; il peut rester MVUE même si aucune égalité avec cette borne n'est possible.

Estimateur asymptotiquement sans biais. Son biais tend vers zéro lorsque la taille de l'échantillon augmente, mais il peut être biaisé pour toute taille finie. Pour dix essais, un biais non nul suffit à l'exclure de la classe comparée dans la définition du MVUE.

Estimateur convergent. Il se rapproche du paramètre quand la taille de l'échantillon croît. Cette propriété asymptotique ne garantit ni l'absence de biais à taille finie ni la variance minimale exigée d'un MVUE.

Le mot « meilleur » dépend de la classe. Un estimateur biaisé peut avoir une erreur quadratique moyenne plus faible. Le symptôme est une comparaison fondée seulement sur la dispersion : il faut contrôler le biais avant d'invoquer un MVUE.

Une variance minimale point par point ne suffit pas. Si un estimateur est préférable pour une valeur de θ et un autre ailleurs, aucun des deux ne domine uniformément. Il faut comparer les fonctions de variance sur tout l'espace du paramètre.

La borne de Cramér-Rao a des hypothèses. Un support qui dépend du paramètre ou un défaut de régularité peut invalider sa forme usuelle. Il faut alors vérifier les hypothèses du modèle ou employer Lehmann-Scheffé plutôt que conclure à partir de la borne.

Aux bords de l'exemple binomial. Pour p = 0 ou p = 1, la variance de la proportion vaut 0, tandis que l'expression 10/[p(1 − p)] n'est pas définie. Il faut traiter ces deux modèles dégénérés séparément, sans appliquer mécaniquement la formule intérieure.

La borne de Cramer-Rao précise la limite inférieure utilisée pour reconnaître un estimateur efficace et les hypothèses nécessaires à cette comparaison.

La variance d'une variable aléatoire approfondit la mesure de dispersion que le MVUE cherche à minimiser parmi les estimateurs sans biais.