méthode des moindres carrés
Imaginez un nuage de points expérimentaux : on cherche une droite ou une courbe qui passe au plus près de l’ensemble. La méthode des moindres carrés mesure les écarts verticaux entre les points Mᵢ(xᵢ, yᵢ) et une courbe fθ, puis détermine les paramètres qui minimisent la somme de leurs carrés ∑ᵢ₌₁ⁿ (fθ(xᵢ) − yᵢ)². Cette technique d’ajustement statistique et numérique peut employer une fonction fθ linéaire, polynomiale, exponentielle ou de toute autre forme paramétrique selon le contexte. Dans le cas linéaire, on parle de droite des moindres carrés. Élaborée indépendamment par Legendre et Gauss, la méthode reste aujourd’hui l’une des techniques d’estimation les plus répandues en statistique et en traitement de données.
Sommaire
Ce que vous allez apprendre
- Relier les écarts verticaux à la somme quadratique minimisée.
- Calculer pas à pas la droite ajustée à trois points.
- Distinguer moindres carrés, interpolation, régression linéaire et moindres écarts absolus.
- Repérer l’effet d’une valeur aberrante, d’abscisses identiques ou d’une extrapolation.
En clair
Imaginez trois mesures placées sur un graphique. Elles dessinent une tendance, mais ne sont pas parfaitement alignées. On cherche alors une droite, ou une autre courbe choisie à l’avance, qui passe au plus près de l’ensemble.
La méthode des moindres carrés mesure chaque écart vertical entre un point et la courbe, élève cet écart au carré, puis additionne tous les résultats. Les paramètres retenus sont ceux qui rendent cette somme aussi petite que possible. Le carré empêche les écarts positifs et négatifs de s’annuler.
Définition
La méthode des moindres carrés ajuste une fonction paramétrique à des observations. Pour chaque indice i, le nombre xi est la valeur d’entrée observée, le nombre yi est la valeur de sortie mesurée et fθ(xi) est la valeur prédite par la fonction dont les paramètres sont regroupés dans θ. L’écart, ou résidu, vaut fθ(xi) − yi.
La somme à minimiser est , où n désigne le nombre d’observations. Un jeu de paramètres qui atteint le minimum fournit l’ajustement des moindres carrés. La famille fθ doit être choisie avant le calcul : elle peut être linéaire, polynomiale, exponentielle ou prendre une autre forme paramétrique adaptée au contexte.
Quand fθ(x) = ax + b, les paramètres recherchés sont la pente a et l’ordonnée à l’origine b. La courbe obtenue est alors la droite des moindres carrés. La méthode, élaborée indépendamment par Legendre et Gauss, s’emploie en statistique comme en calcul numérique et en traitement de données.
Le principe
On choisit d’abord une famille de fonctions fθ et l’on dispose de n couples observés (xi, yi). Pour chaque valeur des paramètres θ, on calcule les n résidus verticaux fθ(xi) − yi, puis leur somme quadratique.
Le critère est . Lorsque le minimum est atteint, on cherche un paramètre qui le réalise. En pratique, un algorithme numérique s’arrête lorsque son critère de convergence est satisfait. Dans le cas d’une droite, θ regroupe sa pente et son ordonnée à l’origine.
Quand l'utiliser
La méthode s’applique à des couples de valeurs numériques et à une famille de courbes dont les paramètres sont à déterminer. Chaque observation doit fournir une entrée xi et une sortie yi. Il faut aussi préciser que l’écart mesuré est vertical, donc porté sur la valeur y, et choisir la forme de f avant l’ajustement.
Pour une droite, les valeurs xi ne doivent pas toutes être identiques : sinon la pente ne peut pas être déterminée par les formules usuelles. Si les incertitudes portent fortement sur les deux coordonnées, la distance verticale ne représente plus fidèlement l’erreur ; un ajustement fondé sur les distances orthogonales est alors plus adapté.
Un exemple, pas à pas
On ajuste une droite aux trois points (1, 2), (2, 3) et (3, 5). Les entrées sont donc 1, 2 et 3 ; les sorties observées sont 2, 3 et 5. La droite cherchée s’écrit y = ax + b, avec une pente a et une ordonnée à l’origine b.
1. La moyenne des entrées vaut x̄ = (1 + 2 + 3) / 3 = 2. La moyenne des sorties vaut ȳ = (2 + 3 + 5) / 3 = 10/3.
2. Au numérateur, les trois contributions sont (−1) × (−4/3), 0 × (−1/3) et 1 × (5/3) : leur somme vaut 3. Au dénominateur, les trois carrés valent 1, 0 et 1 : leur somme vaut 2. La pente est donc le quotient .
3. L’ordonnée à l’origine vaut b = ȳ − ax̄ = 10/3 − 3 = 1/3. La droite ajustée est donc y = 1,5x + 1/3. Le graphique associé rend visibles les trois résidus verticaux que le critère met au carré.
4. Pour x égal à 1, 2 et 3, les valeurs prédites sont 11/6, 10/3 et 29/6. Les résidus prédiction moins observation valent −1/6, 1/3 et −1/6.
La somme des carrés vaut . Pour contrôler le calcul, la somme des trois résidus est nulle : −1/6 + 1/3 − 1/6 = 0.
En pratique
Pour résumer la tendance d’un nuage de points presque aligné, on ajuste une droite. Une courbure nette dans les résidus conduit plutôt à essayer une famille polynomiale ou une autre forme paramétrique justifiée par le phénomène.
Pour étalonner un instrument, on relie des valeurs de référence aux mesures obtenues. La droite des moindres carrés convient lorsque la relation attendue est linéaire et que les écarts pertinents se lisent sur la mesure de sortie.
Pour prévoir une valeur, on évalue la fonction ajustée à une nouvelle entrée. Si cette entrée sort de l’intervalle observé, il s’agit d’une extrapolation : le résultat demande davantage de prudence qu’une estimation située entre les données.
À ne pas confondre
Interpolation. Une interpolation impose le passage par les données retenues, tandis qu’un ajustement des moindres carrés accepte des résidus pour réduire leur somme quadratique. Avec les points (1, 2), (2, 3) et (3, 5), la droite ajustée ne passe par aucun des trois points.
Régression linéaire. Les deux expressions coïncident souvent pour l’ajustement d’une droite, mais la méthode des moindres carrés désigne le critère de minimisation. Une régression précise en plus un modèle statistique, peut employer un autre critère et, sous des hypothèses probabilistes adaptées, permet l’inférence et l’étude de l’incertitude des estimations.
Moindres écarts absolus. Cette autre méthode minimise la somme des valeurs absolues des résidus, et non celle de leurs carrés. Un même nuage peut donc conduire à un ajustement différent, surtout lorsqu’un point est très éloigné des autres.
Limites et pièges
Valeur aberrante. Le carré donne un poids rapidement croissant aux grands résidus : un résidu de 10 contribue pour 100, contre 1 pour un résidu de 1. Si un point isolé déplace fortement la courbe, il faut vérifier la donnée et envisager une méthode robuste.
Forme mal choisie. Une petite somme de carrés ne prouve pas que la famille de courbes décrit correctement le phénomène. Une structure courbe visible dans les résidus d’un ajustement linéaire signale qu’il faut réexaminer le modèle, plutôt que seulement recalculer la droite.
Abscisses identiques. Pour une droite, si toutes les entrées xi sont égales, la somme des carrés (xi − x̄)2 vaut 0. La formule de la pente divise alors par zéro : aucune pente unique n’est identifiable avec ces données.
Extrapolation. Une courbe bien ajustée sur l’intervalle observé peut devenir trompeuse au-delà. Quand la valeur demandée sort de cet intervalle, il faut annoncer l’extrapolation et rechercher des données couvrant la zone visée.
Pour aller plus loin
Régression linéaire — Relier l’ajustement d’une droite au modèle statistique qui décrit la relation entre une entrée et une sortie.
ajustement linéaire — Approfondir le calcul et l’interprétation d’une droite choisie pour représenter un nuage de points.
Décomposition QR — Découvrir une factorisation matricielle employée pour résoudre numériquement des problèmes linéaires de moindres carrés.
Explorez les mathématiques autrement
Retrouvez nos magazines, podcasts et jeux pour explorer les mathématiques autrement.
Découvrir les offres