Probabilités et statistiquesNotion · Glossaire
Efficace (estimateur)
En statistique, dans un modèle correctement spécifié où les conditions de régularité de la borne de Cramér-Rao sont satisfaites, un estimateur sans biais est dit efficace s'il atteint cette borne inférieure, c'est-à-dire si sa variance est minimale parmi les estimateurs sans biais auxquels elle s'applique. Un estimateur efficace réalise donc le meilleur compromis possible entre biais nul et faible variance. L'efficacité relative de deux estimateurs est le rapport de leurs variances. Dans la famille exponentielle, les estimateurs du maximum de vraisemblance sont souvent efficaces asymptotiquement.
Sommaire
Ce que vous allez apprendre
- Relier l'efficacité à l'égalité dans la borne de Cramér-Rao.
- Recalculer l'efficacité de la moyenne de quatre observations normales.
- Interpréter un rapport d'efficacité relative sans inverser sa convention.
- Distinguer efficacité exacte, efficacité asymptotique et faible erreur quadratique moyenne.
En clair
Imaginez plusieurs méthodes pour estimer la moyenne d'une population à partir du même échantillon. Si elles visent juste en moyenne, la meilleure est celle dont les résultats fluctuent le moins d'un échantillon à l'autre. Un estimateur est efficace lorsqu'il atteint la plus petite dispersion autorisée par l'information contenue dans les données.
Cette limite porte le nom de borne de Cramér-Rao. L'efficacité ne signifie donc pas seulement qu'une estimation observée paraît proche de la vraie valeur : elle décrit la dispersion moyenne de la méthode sous le modèle, lorsque l'échantillonnage est répété.
Définition
On considère un paramètre inconnu, noté , et un estimateur, noté , construit à partir d'un échantillon. L'estimateur est sans biais lorsque son espérance vaut le paramètre pour toute valeur admissible de celui-ci. Sous les hypothèses de régularité de Cramér-Rao, sa variance vérifie , où désigne l'information de Fisher de l'échantillon.
Un estimateur sans biais est efficace s'il atteint cette borne, donc si . Il a alors la variance minimale parmi les estimateurs sans biais auxquels la borne s'applique. Cette propriété dépend du modèle statistique, du paramètre choisi et, éventuellement, de la valeur du paramètre.
Pour comparer deux estimateurs sans biais et , une convention courante définit l'efficacité de relativement à par . Il faut annoncer l'ordre retenu, car certains textes emploient le rapport réciproque. Dans de nombreux modèles réguliers, notamment au sein de familles exponentielles, l'estimateur du maximum de vraisemblance peut être efficace asymptotiquement : la propriété concerne alors la limite quand la taille de l'échantillon augmente, et non nécessairement chaque taille finie.
Un exemple, pas à pas
Une population suit une loi normale de moyenne inconnue et de variance connue 16. Quatre observations indépendantes valent 8, 10, 12 et 10. On estime par la moyenne de l'échantillon, notée .
1. La somme des observations vaut 8 + 10 + 12 + 10 = 40.
2. L'estimation observée est donc .
3. L'information de Fisher apportée par les quatre observations est . La borne de Cramér-Rao vaut alors .
4. La moyenne est sans biais et sa variance vaut . Elle atteint exactement la borne : dans ce modèle, est efficace pour estimer .
Le schéma réunit les quatre observations, leur moyenne et les deux calculs égaux à 4 qui établissent l'efficacité.
Un contrôle consiste à n'utiliser que les deux premières observations : leur moyenne reste sans biais, mais sa variance vaut 16/2 = 8. Son efficacité relative à la moyenne des quatre observations est donc 4/8 = 0,5 avec la convention annoncée.
En pratique
Pour choisir entre deux estimateurs sans biais d'un même paramètre, on compare leurs variances dans le même modèle et pour la même taille d'échantillon. Si l'un atteint la borne de Cramér-Rao, aucun concurrent sans biais soumis aux mêmes hypothèses ne peut être moins dispersé.
Quand un estimateur biaisé est admis, la variance seule ne suffit plus. On lui préfère éventuellement un estimateur de plus faible erreur quadratique moyenne, car ce critère additionne l'effet du biais et celui de la dispersion.
Avec de grands échantillons, on examine souvent l'efficacité asymptotique du maximum de vraisemblance. Ce choix est pertinent si les conditions de régularité sont vérifiées ; à petite taille ou près d'une frontière du paramètre, une comparaison exacte ou une simulation reste nécessaire.
À ne pas confondre
Estimateur convergent. La convergence décrit ce qui arrive lorsque la taille de l'échantillon tend vers l'infini ; l'efficacité exacte compare une variance à une borne pour une taille donnée. Un estimateur peut être convergent sans atteindre cette borne.
Estimateur asymptotiquement efficace. Sa variance approche la borne après la normalisation appropriée quand l'échantillon grandit. Un maximum de vraisemblance peut avoir cette propriété sans être efficace pour quatre ou dix observations.
Estimateur optimal pour l'erreur quadratique moyenne. Ce critère autorise un biais compensé par une forte baisse de variance. Un estimateur efficace au sens de Cramér-Rao est, lui, comparé dans la classe des estimateurs sans biais.
Limites et pièges
Hypothèses de régularité absentes. Si le support de la loi dépend du paramètre ou si les dérivations et intégrations ne peuvent pas être échangées, la forme usuelle de la borne de Cramér-Rao peut échouer. Il faut alors établir une borne adaptée avant de conclure à l'efficacité.
Borne non atteinte. La borne est une limite inférieure, pas la garantie qu'un estimateur efficace existe. Une variance strictement supérieure à ne prouve donc pas qu'une meilleure méthode atteindra nécessairement l'égalité.
Paramètre vectoriel. Pour plusieurs paramètres, l'information de Fisher et la borne deviennent des matrices. Comparer seulement une variance isolée peut masquer les covariances ; il faut employer l'inégalité matricielle correspondant au vecteur estimé.
Rapport inversé. Une efficacité relative égale à 0,5 avec une convention vaut 2 avec la convention réciproque. Le numérateur, le dénominateur et l'ordre des estimateurs doivent toujours être indiqués.
Pour aller plus loin
maximum de vraisemblance — Étudier la construction d'estimateurs souvent efficaces asymptotiquement dans les modèles réguliers.
variance d'une variable aléatoire — Revoir la mesure de dispersion utilisée pour comparer les estimateurs sans biais.
Meilleur (estimateur) — Situer l'efficacité parmi les critères qui rendent un estimateur préférable à un autre.
Explorez les mathématiques autrement
Retrouvez nos magazines, podcasts et jeux pour explorer les mathématiques autrement.
Découvrir les offres