Espace des états

Imaginez une météo très simplifiée qui ne peut être que ensoleillée, nuageuse ou pluvieuse. Ces trois possibilités forment son espace des états. À un instant donné, une seule décrit la situation ; au fil du temps, le système passe de l’une à l’autre.

L’espace des états répond donc à la question « quelles situations sont possibles ? ». Il ne dit pas encore comment elles s’enchaînent : les règles de transition apportent cette information supplémentaire.

L’espace des états, noté ici E, est l’ensemble des états que peut prendre un système à un instant donné. Un état doit contenir toute l’information retenue pour décrire la configuration présente dans le modèle. Le choix de E dépend donc de ce que le modèle observe : deux descriptions d’un même phénomène peuvent avoir des espaces des états différents.

Dans le cas traité ici, celui d’une chaîne de Markov sur un ensemble fini ou dénombrable, E peut être énuméré. Une chaîne de Markov peut toutefois avoir un espace d’états non dénombrable. Une règle de transition précise ensuite la probabilité de passer d’un état à un autre. Cette règle ne fait pas partie du seul ensemble E, mais elle donne à ses éléments une structure : deux états communiquent lorsque chacun est accessible depuis l’autre en un nombre fini d’étapes. Les états qui communiquent se regroupent en classes. Une classe fermée ne peut pas être quittée ; dans une chaîne finie, elle est récurrente, tandis qu’une classe non fermée peut être transiente.

Pour un processus de diffusion, E n’est généralement pas dénombrable : il est souvent un ouvert d’un espace euclidien. Le même terme désigne donc toujours l’ensemble des configurations possibles, mais sa nature mathématique varie avec le processus étudié.

Dans l’exemple météo, l’ensemble E = {S, N, P} contient les états soleil, nuages et pluie. La règle de transition associe à chaque état de départ les probabilités des états d’arrivée. Le graphe orienté représente par une flèche chaque passage de probabilité non nulle. La relation de communication regroupe les états entre lesquels un aller et un retour sont possibles. Enfin, le caractère fermé, récurrent ou transient décrit le devenir des classes.

Les états définissent l’espace E ; les transitions définissent la dynamique sur E. Le graphe dépend des transitions, et les classes de communication dépendent des chemins du graphe. Ces données suffisent à construire la matrice de transition et à déterminer quels états peuvent être atteints. Les noms, couleurs ou positions dessinées des sommets ne changent pas la structure.

Considérons la météo simplifiée d’un lieu. Les données sont les états S pour soleil, N pour nuages et P pour pluie. Depuis S, les probabilités d’aller vers S, N et P valent 0,6, 0,3 et 0,1. Depuis N, elles valent 0,2, 0,5 et 0,3. Depuis P, la probabilité de rester en P vaut 1.

La matrice de transition M range les états de départ par ligne et les états d’arrivée par colonne, dans l’ordre S, N, P.

1. Vérifiez chaque ligne : 0,6 + 0,3 + 0,1 = 1 ; 0,2 + 0,5 + 0,3 = 1 ; la dernière somme vaut 1.
2. Repérez les trajets S → N et N → S : S et N communiquent.
3. Depuis S ou N, P est accessible. Depuis P, aucun retour vers S ou N n’est possible.
4. La classe {P} est fermée et récurrente. La classe {S, N} n’est pas fermée et elle est transiente.

Le contrôle est refaisable sur le graphe : les flèches confirment les passages possibles et la boucle de probabilité 1 en P confirme que P est absorbant.

Pour construire un modèle, on commence par choisir ce qu’un état doit mémoriser. Si la prochaine évolution dépend d’une information oubliée, il faut enrichir l’état plutôt que conserver un espace trop pauvre.

Pour une chaîne finie, on énumère les états puis on trace les transitions de probabilité non nulle. Le graphe est préférable pour voir l’accessibilité et les classes ; la matrice est préférable pour calculer des probabilités après plusieurs étapes.

Pour un processus de diffusion, une liste ne convient plus lorsque les valeurs possibles forment un continuum. On décrit alors l’espace par un domaine, souvent un ouvert euclidien, et l’on vérifie si la frontière appartient ou non au modèle.

État et espace des états. Un état est une configuration particulière ; l’espace des états est l’ensemble de toutes les configurations admises. Dans l’exemple, S est un état, tandis que {S, N, P} est l’espace des états.

Espace des états et matrice de transition. Le premier énumère les possibilités ; la seconde chiffre leurs passages. Deux chaînes peuvent partager {S, N, P} tout en ayant des probabilités de transition différentes.

Espace des états et espace des issues. L’espace des issues décrit les résultats complets d’une expérience aléatoire ; l’espace des états décrit les configurations présentes du processus. Une trajectoire météo complète est une issue, alors que S est l’état à un instant donné.

État insuffisant. Si deux situations portant le même nom conduisent à des évolutions différentes à cause d’une information passée, le symptôme est une règle de transition qui dépend encore de l’histoire. Il faut ajouter cette information à l’état.

Espace déclaré et états accessibles. Un modèle peut annoncer un ensemble plus grand que les états atteignables depuis une condition initiale donnée. Il faut préciser l’état initial et rechercher sa classe accessible avant de conclure sur les comportements possibles.

Chaîne réductible. L’existence de plusieurs classes empêche de traiter tous les états comme s’ils communiquaient. Dans l’exemple, la probabilité de revenir de P vers S est exactement 0 : P forme sa propre classe fermée.

Continu plutôt que discret. Pour une diffusion, les valeurs possibles peuvent remplir un ouvert euclidien. Une simple liste ou une matrice finie ne décrit alors pas l’espace ; il faut donner le domaine continu et préciser le traitement de sa frontière.

La fiche chaîne de Markov approfondit la règle probabiliste qui organise les passages entre les états et permet d’étudier les trajectoires successives.