Surdéterminé (système)

Trois mesures donnent 1, 2 et 3 pour une même quantité inconnue. Aucun nombre ne peut être à la fois égal à ces trois valeurs : il y a plus de contraintes que de nombres à trouver. Le système est surdéterminé.

Plutôt que d'abandonner, on cherche la valeur qui s'écarte globalement le moins des trois mesures. Les moindres carrés pénalisent chaque écart au carré. Ici, la valeur 2 équilibre les écarts −1, 0 et 1.

Un système linéaire est surdéterminé lorsque son nombre m d'équations est strictement supérieur à son nombre n d'inconnues. La matrice des coefficients, notée A, a donc m lignes et n colonnes. Le vecteur des données est noté b, et le vecteur inconnu x. Le système s'écrit $Ax=bAx=b$.

Une solution exacte existe seulement si les contraintes sont compatibles, c'est-à-dire si b appartient à l'ensemble des combinaisons linéaires des colonnes de A. Dans le cas général, on forme le vecteur des résidus r, défini par $r=Ax-br=Ax-b$, puis on minimise la somme de leurs carrés :

Tout minimiseur vérifie les équations normales $A^{T}Ax=A^{T}bA^T\; A\; x=A^T\; b$, où A^T est la transposée de A. Si les colonnes de A sont linéairement indépendantes, le minimiseur est unique. Sinon, plusieurs vecteurs peuvent donner le même meilleur ajustement. En calcul numérique, la factorisation QR traite directement la matrice rectangulaire, tandis que la décomposition en valeurs singulières, ou SVD, gère aussi une perte de rang et permet de choisir la solution de norme minimale.

Cinq éléments structurent le problème. La matrice des coefficients A contient une ligne par équation et une colonne par inconnue. Le vecteur des données b fournit le membre droit de chaque équation. Le vecteur inconnu x regroupe les valeurs recherchées. Le résidu r mesure, ligne par ligne, l'écart entre la prédiction Ax et les données. Enfin, le critère des moindres carrés additionne les carrés de ces écarts.

Le nombre de lignes de A fixe le nombre de composantes de b et de r. Son nombre de colonnes fixe celui des composantes de x. La condition « plus de lignes que de colonnes » définit le caractère surdéterminé ; les valeurs numériques déterminent ensuite l'existence d'une solution exacte, le meilleur ajustement et son éventuelle unicité.

On veut estimer une unique valeur x à partir de trois observations : 1, 2 et 3. Les trois équations ont toutes le coefficient 1. La matrice A a donc trois lignes et une colonne, et le vecteur b contient les trois observations.

1. Le système et ses données sont :

2. Aucune valeur ne satisfait simultanément les trois équations. Les équations normales ramènent pourtant le problème à une seule égalité :

3. On obtient exactement x = 2. Les résidus, calculés comme valeurs prédites moins valeurs observées, sont 1, 0 et −1. Leur somme des carrés vaut $1^2+0^2+(-1{)}^2=21^2+0^2+(-1)^2=2$.

La représentation met en regard les trois observations et la valeur ajustée commune. Pour contrôler le résultat, on teste une valeur voisine : avec x = 1, la somme devient $0^2+(-1{)}^2+(-2{)}^2=50^2+(-1)^2+(-2)^2=5$, donc elle est bien supérieure à 2.

En régression linéaire, chaque observation apporte une équation sur les paramètres du modèle. Quand les observations sont plus nombreuses que les paramètres et ne s'alignent pas exactement sur le modèle, les moindres carrés fournissent un ajustement global. Une résolution exacte reste préférable si toutes les équations sont compatibles.

Pour combiner plusieurs mesures d'une même quantité, on écrit une équation par mesure et on inspecte les résidus après l'ajustement. Des résidus nuls signalent une solution exacte ; des résidus non nuls quantifient l'accord imparfait avec les données.

Pour le calcul, les équations normales donnent une caractérisation compacte. Une factorisation QR est une alternative numérique stable. Si les colonnes sont dépendantes ou presque dépendantes, la SVD permet d'identifier la perte de rang et de sélectionner une solution de norme minimale.

Système sous-déterminé. Il possède moins d'équations que d'inconnues, alors qu'un système surdéterminé en possède davantage. Une équation à deux inconnues est sous-déterminée ; les trois équations de l'exemple portant sur une seule inconnue sont surdéterminées.

Système incompatible. Cette qualification signifie qu'aucune solution exacte n'existe ; elle ne compare pas le nombre d'équations et d'inconnues. Un système surdéterminé peut rester compatible si ses équations sont redondantes. Ainsi, les trois équations x = 2, x = 2 et 2x = 4 ont une solution exacte.

Plus d'équations ne signifie pas automatiquement absence de solution. Le seuil est strict : dès que m > n, le système est surdéterminé, mais des équations redondantes peuvent rester compatibles. Il faut donc tester les résidus : s'ils sont tous nuls, la solution est exacte.

Le meilleur ajustement n'est pas toujours unique. Si les colonnes de A sont linéairement dépendantes, plusieurs vecteurs inconnus peuvent produire la même prédiction et la même somme minimale. Les équations normales ne sélectionnent alors pas un unique vecteur ; la SVD peut fournir celui de norme minimale.

Une formule exacte n'est pas toujours la meilleure procédure numérique. Former explicitement A^TA peut amplifier les difficultés lorsque des colonnes sont presque dépendantes. Dans ce cas, on préfère une factorisation QR ou une SVD, qui résolvent le problème des moindres carrés de manière plus stable.

Le système surdéterminé est le cadre algébrique ; les moindres carrés sont le critère qui choisit un ajustement lorsque toutes les contraintes ne peuvent pas être satisfaites ensemble.

Régression linéaire — Relier les observations, les paramètres du modèle et les résidus minimisés.

Droite des moindres carrés — Voir le cas géométrique où l'ajustement recherché est une droite.