borne de Cramer-Rao

Imaginez que l'on répète 100 fois une expérience pour estimer une probabilité inconnue. Même avec une méthode bien choisie, le résultat change légèrement d'un échantillon à l'autre. La borne de Cramér-Rao fixe le plus petit niveau de dispersion qu'un estimateur sans biais peut espérer atteindre.

Cette limite dépend de l'information contenue dans les observations. Plus l'information de Fisher est grande, plus la borne est basse et plus une estimation précise devient possible. Une méthode qui atteint la borne est dite efficace.

On considère un modèle statistique dépendant d'un paramètre réel θ et un estimateur T construit à partir des observations. Si T estime θ sans biais, sa moyenne sous le modèle de paramètre θ vaut θ. L'information de Fisher I(θ) mesure la sensibilité de la loi des observations à une petite variation de θ. Sous les conditions de régularité usuelles, la variance de T vérifie :

La vraisemblance doit être suffisamment dérivable, l'information doit être finie et strictement positive, et la dérivation sous le signe intégral doit être légitime. Le support de la loi ne doit notamment pas dépendre du paramètre, sauf traitement spécifique des termes de bord. Pour n observations indépendantes de même loi, les informations s'ajoutent : I_n(θ) = nI₁(θ). Si la variance égale la borne pour toute valeur admissible de θ, l'estimateur est efficace. Pour un estimateur sans biais d'une fonction g(θ), le numérateur devient [g′(θ)]².

Une expérience comporte 100 essais indépendants. Chaque essai réussit avec la même probabilité p, supposée comprise strictement entre 0 et 1. On estime p par la proportion de succès, notée P̂. Pour rendre les valeurs visibles, plaçons-nous au point p = 0,4 ; un échantillon particulier de 40 succès donne alors P̂ = 0,4.

1. La proportion P̂ est sans biais : sa moyenne sur des répétitions de l'expérience vaut p.
2. Pour 100 essais, l'information de Fisher sur p est :

3. À p = 0,4, l'inverse de cette information vaut 0,4 × 0,6 / 100 = 0,0024.
4. La variance exacte de P̂ vaut aussi p(1 − p) / 100, donc 0,0024. Son écart-type vaut √0,0024 ≈ 0,049.

La proportion atteint donc la borne : elle est efficace dans ce modèle. Le contrôle consiste à remplacer p par une autre valeur entre 0 et 1 dans les deux expressions ; elles restent égales. La courbe associée montre que cette variance maximale vaut 0,0025 à p = 0,5 et diminue vers les bords du domaine.

Lorsqu'on compare plusieurs estimateurs sans biais d'un même paramètre, on calcule leur variance et la borne. Celui qui atteint la borne exploite toute l'information disponible au sens de ce critère.

Pour préparer une expérience, la borne relie la précision espérée à la taille de l'échantillon. Dans un modèle à observations indépendantes, multiplier le nombre d'observations par quatre divise la borne de variance par quatre et la borne d'écart-type par deux.

Si l'estimateur est biaisé ou si les conditions de régularité échouent, la formule simple n'est plus le bon étalon. On examine alors une borne adaptée au biais, l'erreur quadratique moyenne ou une méthode propre au modèle concerné.

Borne de Cramér-Rao et intervalle de confiance. La première minore une variance à travers des répétitions d'échantillonnage ; le second fournit, à partir des données observées, une plage de valeurs plausible pour le paramètre. Une variance minimale de 0,0024 n'est donc pas un intervalle autour de 0,4.

Variance et erreur quadratique moyenne. Pour un estimateur sans biais, elles coïncident. Dès qu'un biais apparaît, l'erreur quadratique moyenne ajoute le carré de ce biais à la variance ; une faible variance ne suffit alors pas à garantir une bonne estimation.

Information de Fisher et borne. L'information mesure ce que le modèle et les observations révèlent sur le paramètre. La borne est son inverse dans le cas scalaire sans biais régulier ; ce ne sont donc pas deux noms pour la même quantité.

Estimateur biaisé. La formule 1 / I(θ) ne s'applique pas directement. Le symptôme est une moyenne de l'estimateur différente de θ ; il faut intégrer la dérivée du biais ou comparer les erreurs quadratiques moyennes.

Support dépendant du paramètre. Dans une loi uniforme sur un intervalle dont l'extrémité est θ, les conditions de régularité ordinaires échouent. Une application mécanique de la preuve classique peut donner un verdict faux ; il faut analyser les termes de bord ou employer une borne adaptée.

Borne non atteinte. Une borne inférieure n'assure pas l'existence d'un estimateur efficace. Si aucune variance ne lui est égale pour toutes les valeurs admissibles du paramètre, elle reste un repère théorique et non la performance d'une méthode disponible.

Paramètre au bord. Dans l'exemple de Bernoulli, p = 0 ou p = 1 rend l'observation dégénérée et sort du domaine régulier choisi, 0 < p < 1. Il faut traiter séparément ces deux valeurs, sans prolonger aveuglément la formule d'information.

Avec plusieurs paramètres, l'information de Fisher devient une matrice et la borne compare des matrices de covariance. Cette généralisation révèle aussi l'effet des paramètres de nuisance sur la précision accessible.

La fiche variance d'une variable aléatoire précise la mesure de dispersion que la borne vient minorer.

La notion de Meilleur (estimateur) prolonge la comparaison des procédures d'estimation et aide à situer le rôle de l'efficacité.