Régression linéaire

Sur un graphique, quatre points indiquent le nombre d’heures d’entraînement et le score obtenu. Ils ne sont pas parfaitement alignés, mais une droite peut résumer leur tendance générale. La régression linéaire choisit la droite qui passe globalement au plus près de ces points.

Pour mesurer cet écart, on compare chaque valeur observée à celle prévue par la droite. Les différences, appelées résidus, sont mises au carré puis additionnées. La droite retenue est celle qui rend cette somme aussi petite que possible.

La régression linéaire modélise la valeur moyenne d’une variable à expliquer, notée Y, en fonction d’une ou plusieurs variables explicatives. Dans le modèle simple, une seule variable explicative, notée X, intervient. L’ordonnée à l’origine est notée a, la pente est notée b et le terme d’erreur aléatoire est noté ε. Le modèle s’écrit $Y=a+bX+\epsilon Y=a+bX+\backslash varepsilon$.

Pour des observations numérotées de 1 à n, la valeur ajustée associée à X_i est ŷ_i = â + b̂X_i. Le résidu e_i est la différence Y_i − ŷ_i. Les moindres carrés ordinaires choisissent â et b̂ afin de minimiser ${\sum }_{i=1}^n(Y_i-{\widehat{Y}}_i{)}^2\backslash sum\_\{i=1\}^\{n\}(Y\_i-\backslash hat\{Y\}\_i)^2$. Avec plusieurs variables explicatives, le même principe ajuste un plan ou, plus généralement, un hyperplan.

Sous les hypothèses de Gauss-Markov, les coefficients ainsi estimés sont les meilleurs estimateurs linéaires sans biais : « meilleurs » signifie ici qu’ils ont la plus petite variance dans cette classe. La décomposition de la variance compare la dispersion expliquée par le modèle à la dispersion résiduelle. Lorsque le modèle comporte une constante et que Y n’est pas constant, donc que ${\sum }_i(Y_i-\bar{Y}{)}^2>0\backslash sum\_i(Y\_i-\backslash bar\{Y\})^2>0$, le coefficient de détermination vaut $R^2=1-\frac{{\sum }_i(Y_i-{\widehat{Y}}_i{)}^2}{{\sum }_i(Y_i-\bar{Y}{)}^2}R^2=1-\backslash frac\{\backslash sum\_i(Y\_i-\backslash hat\{Y\}\_i)^2\}\{\backslash sum\_i(Y\_i-\backslash bar\{Y\})^2\}$, où Ȳ est la moyenne observée de Y.

On observe quatre séances. La durée X, en heures, vaut 1, 2, 3 et 4. Le score Y, en points, vaut respectivement 2, 3, 5 et 6.

1. Calculer les moyennes : X̄ = (1 + 2 + 3 + 4) / 4 = 2,5 heures et Ȳ = (2 + 3 + 5 + 6) / 4 = 4 points.

2. Calculer la pente à partir des écarts aux deux moyennes :

3. Calculer l’ordonnée à l’origine : â = 4 − 1,4 × 2,5 = 0,5 point. La droite $\widehat{Y}=\mathrm{0,5}+\mathrm{1,4}X\backslash hat\{Y\}=0\{,\}5+1\{,\}4X$ prévoit 1,9 ; 3,3 ; 4,7 et 6,1 points. Les résidus sont 0,1 ; −0,3 ; 0,3 et −0,1 point.

4. Contrôler : la somme des résidus vaut 0 et celle de leurs carrés vaut 0,2. La dispersion totale vaut 10, donc R² = 1 − 0,2 / 10 = 0,98. La droite rend compte de 98 % de la dispersion observée de Y.

Le nuage de points et les segments résiduels rendent visibles la tendance ajustée et les écarts mis au carré.

Pour résumer une tendance, on trace d’abord le nuage de points puis on examine si une droite suit sa forme générale. Si les résidus dessinent une courbe régulière, un modèle non linéaire est plus approprié.

Pour prévoir une valeur de Y, on introduit une valeur de X dans la droite ajustée. Une prévision située dans l’intervalle des données observées est une interpolation ; au-delà, l’extrapolation demande davantage de prudence.

Pour comparer l’ajustement à une référence constante, on calcule R² à partir des données ou des sommes de carrés. Le graphique des résidus complète ce diagnostic : un R² élevé ne suffit pas si quelques points atypiques pilotent la pente ou si les écarts présentent une structure visible.

Corrélation. Elle mesure l’intensité et le sens d’une association linéaire entre deux variables, sans désigner l’une comme réponse à prévoir. Une régression, elle, choisit explicitement Y comme variable à expliquer par X.

Interpolation. Elle cherche une valeur entre des observations et peut imposer le passage exact par les points. La droite des moindres carrés n’y passe généralement pas : dans l’exemple, elle prévoit 1,9 point lorsque la valeur observée est 2.

Régression polynomiale. Elle peut utiliser X et X² comme variables explicatives tout en restant linéaire par rapport à ses coefficients. Sa courbe ajustée n’est pourtant pas une droite en fonction de X.

Variable explicative constante. Si toutes les valeurs de X sont égales, la somme des carrés des écarts à X̄ vaut exactement 0. La pente n’est alors pas identifiable ; il faut recueillir des valeurs de X différentes ou renoncer à estimer son effet.

Points influents. L’influence d’un point dépend à la fois de son résidu et de son levier, lié à son éloignement dans la direction de X. Un point extrême en X peut ainsi modifier fortement la pente même si son résidu est faible. Il faut inspecter le nuage, vérifier la donnée et étudier la sensibilité de l’ajustement avant de conclure.

Structure oubliée. Une courbure, un éventail ou des groupes dans les résidus signalent que la relation linéaire ou la dispersion constante décrit mal les données. Il faut alors revoir les variables, transformer le modèle ou employer une méthode adaptée à cette structure.

Lecture excessive de R². Dans l’exemple, R² = 0,98 décrit seulement l’ajustement des quatre couples observés. Ce nombre ne prouve ni causalité, ni validité hors de l’intervalle de 1 à 4 heures ; ces questions exigent le contexte de collecte et une validation séparée.

La Droite des moindres carrés détaille l’objet géométrique obtenu lorsque la régression porte sur une seule variable explicative.

Le coefficient de détermination approfondit la décomposition de la dispersion qui conduit à R² et les précautions nécessaires à son interprétation.

La Covariance éclaire le numérateur qui détermine le signe et la valeur de la pente dans la régression linéaire simple.