Droite des moindres carrés

Imaginez trois points placés sur un graphique. Une règle peut passer au milieu du nuage sans traverser chaque point. La droite des moindres carrés choisit la position qui rend globalement les écarts verticaux aussi petits que possible.

Pour empêcher les écarts positifs et négatifs de s'annuler, chacun est élevé au carré. La droite retenue est celle dont la somme de ces carrés est la plus faible. Elle résume ainsi une tendance linéaire, sans prétendre que tous les points sont alignés.

On considère des points dont les abscisses sont notées x_i et les ordonnées y_i. Parmi toutes les droites d'équation y = ax + b, la droite des moindres carrés minimise la somme des carrés des écarts verticaux entre chaque ordonnée observée et l'ordonnée donnée par la droite. Le nombre a est son coefficient directeur et b son ordonnée à l'origine.

Les moyennes des abscisses et des ordonnées sont notées respectivement $\bar{x}\backslash bar\{x\}$ et $\bar{y}\backslash bar\{y\}$. Si les abscisses ne sont pas toutes égales, les coefficients sont uniques et s'écrivent :

Le quotient donnant a est aussi celui de la covariance empirique de x et y par la variance empirique de x, à condition d'employer la même normalisation dans les deux calculs. La droite passe par le point moyen de coordonnées $(\bar{x},\bar{y})(\backslash bar\{x\},\backslash bar\{y\})$. Elle modélise une association linéaire ; cette propriété ne suffit pas à établir une relation de cause à effet.

La construction repose sur quatre éléments. Le nuage fournit les couples observés (x_i, y_i). Le point moyen fixe un point par lequel la droite doit passer. La pente a traduit la variation ajustée de y lorsque x augmente d'une unité. L'ordonnée à l'origine b place ensuite la droite verticalement.

La pente dépend à la fois de la variation des abscisses et de leur variation conjointe avec les ordonnées. Une fois a connu, le point moyen impose b. Enfin, les résidus sont les écarts verticaux entre les valeurs observées et ajustées ; leur somme de carrés sert à comparer les droites candidates. La couleur, l'épaisseur et la longueur du trait ne définissent pas la droite mathématique.

Considérons trois observations sans unité : (1, 2), (2, 3) et (3, 5). Les abscisses sont 1, 2 et 3 ; les ordonnées correspondantes sont 2, 3 et 5. Nous cherchons la droite y = ax + b qui ajuste ce nuage.

1. Moyennes. La moyenne des abscisses vaut (1 + 2 + 3) / 3 = 2. La moyenne des ordonnées vaut (2 + 3 + 5) / 3 = 10/3.

2. Pente. Le numérateur de la formule vaut 3 et son dénominateur vaut 2. Le coefficient directeur est donc a = 3/2.

3. Position verticale. Comme la droite passe par le point moyen (2, 10/3), son ordonnée à l'origine vaut b = 10/3 − (3/2) × 2 = 1/3.

4. Résultat et contrôle. La droite est $y=\frac{3}{2}x+\frac{1}{3}y=\backslash frac\{3\}\{2\}x+\backslash frac\{1\}\{3\}$. Aux abscisses 1, 2 et 3, les résidus observé moins ajusté valent 1/6, −1/3 et 1/6. Leur somme est nulle, et la somme de leurs carrés vaut 1/6. Le graphique rend visibles ces trois écarts verticaux.

Dans un nuage de mesures, la droite résume la tendance moyenne de y lorsque x varie. On examine d'abord la forme du nuage : si une courbure nette apparaît, un modèle non linéaire est plus approprié.

Pour estimer une valeur de y à une abscisse située dans la zone observée, on remplace x dans l'équation ajustée. Si les résidus sont très dispersés, une estimation par intervalle est préférable à une valeur isolée.

Pour comparer des séries, la pente indique leur rythme de variation dans les unités choisies. Si quelques points isolés commandent visiblement l'inclinaison, un ajustement robuste ou une analyse séparée de ces observations est préférable.

Droite des moindres carrés et interpolation. Une interpolation impose à la courbe de passer par les données utilisées, tandis qu'une droite de régression accepte des résidus. Avec les points (1, 2), (2, 3) et (3, 5), la droite ajustée ne passe par aucun des trois points : il ne s'agit pas d'une interpolation.

Droite de régression et coefficient de corrélation. La première est une droite exprimée dans les unités de x et y ; le second est un nombre sans unité qui mesure le sens et l'intensité d'une association linéaire. Changer l'unité de x modifie la pente, mais pas la corrélation.

Abscisses toutes identiques. Si la variance empirique de x vaut exactement 0, le dénominateur de la pente est nul. Aucune droite de la forme y = ax + b n'est alors déterminée de façon unique par cette formule ; il faut changer de variable explicative ou décrire la verticale x = constante.

Point très éloigné. La mise au carré donne un poids important aux grands résidus. Si retirer une observation change fortement la pente, il faut vérifier cette donnée et présenter une analyse de sensibilité ou un ajustement robuste.

Nuage courbe ou structuré en groupes. Une petite somme de carrés ne garantit pas que la relation soit vraiment linéaire. Une courbure ou des groupes visibles dans les résidus appellent un autre modèle ou des analyses distinctes.

Extrapolation. Prolonger la droite au-delà des abscisses observées suppose que la tendance reste valable. Lorsque la valeur visée sort de l'intervalle des données, le résultat doit être signalé comme une extrapolation et interprété avec prudence.

La régression linéaire replace la droite ajustée dans une démarche de modélisation et d'interprétation statistique.

La covariance précise comment les variations conjointes des deux variables interviennent dans le calcul de la pente.

Le nuage de points aide à lire la forme des données avant de choisir un ajustement linéaire.