matrice stochastique

Imaginez deux états possibles pour demain : soleil ou pluie. Sur la ligne « soleil », les nombres 0,8 et 0,2 indiquent les chances de rester au soleil ou de passer à la pluie. Leur somme vaut 1, car ces deux possibilités couvrent tous les cas prévus.

Une matrice stochastique rassemble ainsi, ligne par ligne, les probabilités de quitter chaque état vers tous les états possibles. La lire revient à suivre les déplacements probables d’un système au fil des étapes.

Une matrice stochastique est une matrice carrée qui code les transitions entre un nombre fini d’états. Dans la convention par lignes retenue ici, le coefficient p_ij est la probabilité de passer de l’état de départ i à l’état d’arrivée j en une étape.

Pour une matrice P de taille n, tous les coefficients sont compris entre 0 et 1 et la somme de chaque ligne vaut 1 : La dernière condition doit être vérifiée pour chaque ligne i. Si la distribution des états à l’étape k est le vecteur-ligne μ_k, son évolution suit ${\mu }_{k+1}={\mu }_{k}P\backslash mu\_\{k+1\}=\backslash mu\_kP$. Certaines présentations utilisent des vecteurs-colonnes ; la matrice est alors transposée et ce sont les colonnes qui somment à 1.

Lorsque les colonnes de P somment elles aussi à 1, P est doublement stochastique. Les puissances P², P³, puis P^k donnent les probabilités de transition après plusieurs étapes. Leur convergence vers un régime stationnaire exige toutefois des conditions d’ergodicité ; la seule propriété stochastique ne suffit pas.

La matrice comporte autant de lignes et de colonnes que le système possède d’états. Chaque ligne fixe un état de départ ; chaque colonne fixe un état d’arrivée. À leur croisement, le coefficient de transition donne une probabilité comprise entre 0 et 1. La somme d’une ligne doit valoir 1, afin de répartir toute la probabilité issue de l’état correspondant.

L’ordre choisi pour les états détermine simultanément l’ordre des lignes et des colonnes. Modifier cet ordre sans réordonner les deux axes changerait donc le sens des coefficients. Ces données suffisent à calculer une transition, plusieurs transitions par les puissances de la matrice et, lorsqu’il existe, un régime stationnaire. La couleur ou le tracé d’un graphe associé ne font pas partie de la définition.

Un modèle possède deux états, soleil S et pluie P. Après un jour de soleil, les probabilités sont 0,8 pour S et 0,2 pour P. Après un jour de pluie, elles sont 0,4 pour S et 0,6 pour P. L’ordre des états est toujours (S, P).

1. Plaçons ces quatre données dans la matrice de transition : Chaque ligne somme à 1 : 0,8 + 0,2 = 1 et 0,4 + 0,6 = 1.

2. Le premier jour est ensoleillé, donc la distribution initiale est ${\mu }_0=(1,0)\backslash mu\_0=(1,0)$. Après une transition :

3. Après une seconde transition : Le modèle attribue donc 72 % au soleil et 28 % à la pluie après deux jours.

4. Le contrôle est refaisable : 0,72 + 0,28 = 1. Une distribution stationnaire π vérifie $\pi =\pi P\backslash pi=\backslash pi\; P$ ; ici, elle vaut exactement $\pi =(\frac{2}{3},\frac{1}{3})\backslash pi=(\backslash frac\{2\}\{3\},\backslash frac\{1\}\{3\})$. La figure traduit les mêmes quatre coefficients en flèches entre les deux états.

Pour construire un modèle de transitions, on fixe d’abord la liste et l’ordre des états. On inscrit ensuite sur chaque ligne toutes les probabilités de départ et on contrôle que leur somme vaut 1. Si une possibilité manque, la ligne révèle immédiatement une somme inférieure à 1.

Pour prévoir plusieurs étapes, on multiplie la distribution initiale par P autant de fois que nécessaire, ou directement par une puissance de P. Un calcul pas à pas reste préférable lorsqu’on veut expliquer chaque transition ; la puissance est plus concise pour une échéance lointaine.

Pour rechercher un régime stable, on cherche une distribution π qui reste inchangée après multiplication par P. Avant d’interpréter ce résultat comme une limite à long terme, on doit encore vérifier les conditions d’ergodicité du modèle.

Une matrice doublement stochastique impose une condition supplémentaire : chaque colonne somme aussi à 1. La matrice de l’exemple n’est pas doublement stochastique, car ses colonnes somment à 1,2 et 0,8.

Une chaîne de Markov est le modèle aléatoire qui évolue d’un état à l’autre ; la matrice stochastique est l’objet qui rassemble ses probabilités de transition. La chaîne décrit le processus, la matrice en code une étape.

Une distribution stationnaire est un vecteur de probabilités laissé inchangé par la transition. Ce n’est pas la matrice elle-même : dans l’exemple, P est la matrice et $(\frac{2}{3},\frac{1}{3})(\backslash frac\{2\}\{3\},\backslash frac\{1\}\{3\})$ est une distribution stationnaire.

Une matrice peut être stochastique sans que ses puissances convergent. La matrice suivante alterne entre deux états : Ses puissances oscillent au lieu de tendre vers une matrice fixe. Il faut donc vérifier l’ergodicité avant d’annoncer une limite.

La matrice identité est stochastique, mais chaque état y reste bloqué. Toutes les distributions sont alors stationnaires : la propriété stochastique n’assure ni mélange des états ni régime stationnaire unique.

Le sens des sommes dépend de la convention de calcul. Avec des distributions écrites en lignes, les lignes de P somment à 1 et l’évolution s’écrit μP. Avec des distributions en colonnes, on emploie la transposée. Mélanger ces conventions produit des probabilités mal placées, même si tous les coefficients restent entre 0 et 1.

La fiche chaîne de Markov replace la matrice dans le processus aléatoire dont elle décrit les transitions.

La fiche Doublement stochastique (matrice) approfondit le cas où les sommes des colonnes valent également 1.

L’article Markov : les chaînes de l'espoir prolonge la lecture par un éclairage consacré aux chaînes de Markov.