Sous-représentation

Imaginez un plan où chaque élément d'un groupe déplace les vecteurs. Une droite passant par l'origine peut rester la même après tous ces déplacements : ses points bougent, mais ne quittent jamais la droite. Cette droite forme alors une sous-représentation. Elle constitue une partie plus petite de l'espace, fermée sous l'action du groupe. Chercher de telles parties aide à découper une action compliquée en morceaux plus simples.

Une représentation d'un groupe G sur un espace vectoriel V associe à chaque élément g de G une transformation linéaire inversible de V, notée ρ(g), en respectant le produit du groupe. Un sous-espace vectoriel W de V est une sous-représentation lorsque chaque transformation ρ(g) envoie tout vecteur de W dans W. Le critère complet s'écrit :

Comme ρ(g) est inversible et que l'inverse provient de l'élément g⁻¹, l'inclusion entraîne en fait ρ(g)(W) = W. La restriction de chaque ρ(g) à W fournit donc une représentation de G sur W. Les sous-espaces {0} et V sont toujours stables. Une sous-représentation est dite propre si elle est différente de V ; dans le critère d'irréductibilité, on écarte également {0}. Une représentation est irréductible lorsqu'elle ne possède aucune sous-représentation propre non nulle. Les théorèmes de Maschke et de Schur organisent l'étude de ces morceaux et de leurs relations.

On rencontre les sous-représentations dans un exercice où un groupe agit par matrices sur un espace vectoriel. Plusieurs indices les signalent : une droite ou un plan demeure stable ; les matrices prennent simultanément une forme par blocs ; une famille de vecteurs reste enfermée dans le sous-espace qu'elle engendre ; une décomposition de V en morceaux stables apparaît. Le support n'est donc pas un dessin particulier, mais l'action linéaire du groupe et les sous-espaces qu'elle préserve.

La propriété à lire est la stabilité du sous-espace W sous toute l'action du groupe G. 1. Vérifiez d'abord que W est bien un sous-espace vectoriel de V. 2. Prenez une transformation ρ(g) et un vecteur quelconque de W. 3. Montrez que son image appartient encore à W. 4. Répétez l'argument pour tout g ; si G est donné par des générateurs, il suffit de contrôler ceux-ci et leurs inverses.

La convention porte sur l'action entière, pas sur une matrice isolée. Un dessin peut donner l'impression qu'une droite revient sur elle-même après une transformation choisie. Le bon réflexe consiste à tester toutes les transformations requises et des vecteurs génériques de W, plutôt qu'un seul vecteur bien placé.

Le groupe à deux éléments G = {e, s} a pour élément neutre e et vérifie s² = e. Il agit sur V = ℝ². La transformation ρ(e) est l'identité et ρ(s) échange les deux coordonnées.

1. Choisir un premier sous-espace. Soit W₊ la droite engendrée par le vecteur (1, 1). Un vecteur de W₊ s'écrit (a, a), où a est un réel. L'échange donne ρ(s)(a, a) = (a, a), encore dans W₊.

2. Tester une seconde droite. Soit W₋ la droite engendrée par (1, −1). Un vecteur s'écrit (a, −a), et ρ(s)(a, −a) = (−a, a) = −(a, −a). Il reste donc dans W₋.

3. Contrôler toute l'action. L'identité préserve chaque sous-espace. Les deux éléments e et s ont été testés : W₊ et W₋ sont bien des sous-représentations.

4. Vérifier la décomposition. Les vecteurs (1, 1) et (1, −1) sont indépendants. Ainsi V est la somme directe de W₊ et W₋. La figure synthétise les deux calculs de stabilité.

Le contrôle est refaisable avec un vecteur quelconque : après échange des coordonnées, les formes (a, a) et (a, −a) sont conservées à un facteur scalaire près.

Pour simplifier des matrices représentant un groupe, on cherche une droite ou un plan stable. Une base adaptée à ces sous-espaces peut faire apparaître des blocs ; sans stabilité commune, ce découpage ne représente pas l'action entière.

Pour décider si une représentation est irréductible, on recherche un sous-espace stable qui ne soit ni {0} ni l'espace total. En trouver un suffit à conclure que la représentation est réductible ; n'en trouver aucun exige un argument portant sur tous les sous-espaces possibles.

Pour étudier une application compatible avec deux actions de groupe, on suit l'image et le noyau, qui fournissent naturellement des sous-espaces à tester. Cette approche est préférable à l'étude de vecteurs isolés lorsque la structure de l'application est au centre du problème.

Sous-espace vectoriel. Il est fermé pour l'addition et la multiplication par un scalaire, mais cela ne garantit pas sa stabilité sous G. Une droite déplacée vers une autre droite par un élément du groupe est un sous-espace, pas une sous-représentation.

Vecteur invariant. Un vecteur invariant reste fixé par chaque ρ(g). Dans une sous-représentation, les vecteurs peuvent bouger tant qu'ils restent dans W : dans l'exemple, (1, −1) devient (−1, 1), mais sa droite demeure stable.

Orbite d'un vecteur. L'orbite réunit les images d'un vecteur sous le groupe ; elle n'est pas nécessairement un sous-espace. C'est le sous-espace engendré par cette orbite qui constitue un candidat à tester.

Cas triviaux. Les sous-espaces {0} et V sont toujours des sous-représentations. Leur présence ne rend donc pas une représentation réductible : il faut trouver un sous-espace stable propre et non nul.

Test incomplet. La stabilité sous un seul élément ne suffit pas, sauf si les éléments contrôlés engendrent le groupe et si leurs inverses sont aussi couverts. Le symptôme est une conclusion tirée d'une seule matrice alors que d'autres transformations sont données.

Complément arbitraire. Un sous-espace stable peut posséder de nombreux compléments vectoriels, sans que chacun soit stable sous le groupe. Il faut vérifier séparément l'invariance du complément avant d'annoncer une décomposition en somme directe de sous-représentations.

Inclusion ou égalité. La définition demande ρ(g)(W) ⊆ W pour tout g. Pour une représentation de groupe, l'inversibilité et le test de g⁻¹ donnent l'égalité ; cet argument ne se transpose pas automatiquement à une famille de transformations non inversibles.

La fiche Irréductible (représentation) approfondit le cas où aucun sous-espace stable propre non nul ne peut être isolé.

Le théorème de Maschke situe les conditions sous lesquelles une représentation se décompose en sous-représentations irréductibles.