axe factoriel

Imaginez un nuage de points dessiné sur une feuille. Une direction traverse sa plus grande longueur ; une autre, perpendiculaire, décrit sa largeur. La première est le premier axe factoriel. Elle résume la variation la plus forte du nuage. La seconde recueille ce qui varie encore sans reprendre la première direction.

Dans un espace comportant davantage de variables, le principe reste le même : les axes sont classés par quantité d’information, mesurée ici par la variance expliquée.

Dans une analyse en composantes principales, ou ACP, un axe factoriel est une droite passant par le centre du nuage et dirigée par un vecteur propre de sa matrice de covariance. Cette matrice est symétrique. Elle possède donc une base orthonormée de vecteurs propres : les droites qu’ils dirigent sont orthogonales deux à deux.

Notons X la matrice des données centrées, avec m individus en lignes et n variables en colonnes. En prenant le diviseur m, la matrice de covariance S s’écrit $S=\frac{1}{m}{X}^{\mathsf{T}}XS=\backslash frac\{1\}\{m\}X^\{\backslash mathsf\; T\}X$. Un vecteur unitaire u dirige un axe factoriel lorsque $Su=\lambda uSu=\backslash lambda\; u$. La valeur propre λ est la variance des projections du nuage sur cet axe. Lorsque la variance totale est positive, les axes sont ordonnés par valeurs propres décroissantes ; la part expliquée par l’axe numéro k est ${\lambda }_k\mathrm{/}{\sum }_j{\lambda }_j\backslash lambda\_k/\backslash sum\_j\backslash lambda\_j$.

Pour n variables, on peut choisir n axes orthogonaux formant une base de l’espace des variables. Certains portent toutefois une variance nulle si les données sont contenues dans un sous-espace de dimension plus petite. Employer le diviseur m − 1 multiplie toutes les valeurs propres par le même facteur et ne change pas les axes. Si deux valeurs propres sont égales, les directions correspondantes ne sont pas déterminées de manière unique.

Considérons quatre points décrits par deux variables : A(2 ; 2), B(−2 ; −2), C(−1 ; 1) et D(1 ; −1). Leur centre est O(0 ; 0). Nous calculons les axes avec une covariance divisée par quatre.

1. Additionnons les produits de coordonnées des quatre points. La matrice de covariance S vaut :

2. Calculons les valeurs propres en résolvant $\det (S-\lambda I)=(\mathrm{2,5}-\lambda {)}^2-{\mathrm{1,5}}^2=0\backslash det(S-\backslash lambda\; I)=(2\{,\}5-\backslash lambda)^2-1\{,\}5^2=0$ : on obtient 4 et 1. Pour $\lambda =4\backslash lambda=4$, l’équation $(S-4I)(x,y{)}^{\mathsf{T}}=0(S-4I)(x,y)^\{\backslash mathsf\; T\}=0$ donne $y=xy=x$ ; après normalisation, la direction unitaire du premier axe est $u_1=\frac{1}{\sqrt{2}}(1,1)u\_1=\backslash frac\{1\}\{\backslash sqrt\{2\}\}(1,1)$. Pour $\lambda =1\backslash lambda=1$, l’équation $(S-I)(x,y{)}^{\mathsf{T}}=0(S-I)(x,y)^\{\backslash mathsf\; T\}=0$ donne $y=-xy=-x$, puis $u_2=\frac{1}{\sqrt{2}}(1,-1)u\_2=\backslash frac\{1\}\{\backslash sqrt\{2\}\}(1,-1)$. Leur produit scalaire est nul : les axes sont orthogonaux.

3. La variance totale vaut 4 + 1 = 5. Le premier axe en explique 4/5 = 80 %, et le second 1/5 = 20 %. Le schéma matérialise ces deux directions et la forme allongée du nuage.

4. Contrôlons le résultat par les projections. Sur le premier axe, les coordonnées sont 2√2, −2√2, 0 et 0 ; la moyenne de leurs carrés vaut 4. Sur le second, elles sont 0, 0, −√2 et √2 ; la moyenne de leurs carrés vaut 1. Nous retrouvons exactement les deux valeurs propres.

Pour visualiser des données comportant plusieurs variables, on projette les individus sur les deux premiers axes. Cette carte est pertinente lorsque leur pourcentage cumulé de variance expliquée est suffisamment élevé pour la question étudiée ; sinon, il faut aussi examiner les axes suivants.

Pour réduire la dimension, on conserve les premiers axes jusqu’à atteindre une part de variance choisie. Dans l’exemple, garder seulement le premier axe préserve 80 % de la variance, tandis que garder les deux restitue 100 % de la variation du nuage.

Avant une ACP, on regarde aussi les unités et les dispersions des variables. Si elles sont très différentes et que cette échelle n’a pas de sens à privilégier, une ACP sur données centrées-réduites est préférable à une ACP fondée sur la covariance brute.

Axe factoriel et composante principale. L’axe est une direction dans l’espace des variables ; la composante principale est la coordonnée obtenue en projetant chaque individu sur cette direction. Dans l’exemple, la droite dirigée par u₁ est l’axe, tandis que 2√2 est la composante de A sur cet axe.

Axe factoriel et vecteur propre. Un vecteur propre unitaire donne une orientation et une longueur de référence ; l’axe est la droite qu’il engendre. Les vecteurs u₁ et −u₁ définissent donc le même axe.

Axe factoriel et variable d’origine. Un axe combine généralement plusieurs variables. Dans l’exemple, le premier suit la direction (1 ; 1) : il ne coïncide ni avec la première variable ni avec la seconde.

Valeurs propres égales. Si deux axes portent la même variance, leur ordre et leurs directions individuelles ne sont pas uniques. Toute base orthonormée du sous-espace propre convient ; il faut alors interpréter ce sous-espace plutôt qu’une orientation particulière.

Nuage de rang inférieur. Avec n variables, il existe bien n directions dans une base orthonormée, mais un nuage contenu dans un sous-espace plus petit donne des valeurs propres nulles. Ces axes complètent la base sans expliquer de variance supplémentaire. Si tous les points coïncident, la variance totale vaut 0 : aucun pourcentage de variance expliquée n’est alors défini.

Effet des unités. Multiplier une variable par 100 peut faire pivoter les axes d’une ACP sur covariance. Le symptôme est qu’une variable à grande échelle domine les premiers axes. Il faut alors justifier l’échelle ou standardiser les variables.

Signe et convention de covariance. Inverser le signe d’un vecteur propre ne change ni l’axe ni la variance expliquée. Remplacer le diviseur m par m − 1 modifie les valeurs propres, mais pas leurs proportions ni les directions, à condition d’appliquer la même convention partout.

L’analyse en composantes principales replace les axes factoriels dans la méthode complète de projection et de réduction de dimension.

La Covariance précise comment les variations conjointes des variables forment la matrice dont sont issus les axes.

Le Vecteur propre éclaire l’équation qui associe chaque direction factorielle à sa variance.