équation de Chapman-Kolmogorov

Une météo simplifiée ne connaît que deux états : soleil ou pluie. Pour estimer le temps après-demain, on peut examiner ce qui arrivera demain, puis repartir de chacun de ces états intermédiaires.

L'équation de Chapman-Kolmogorov additionne les probabilités de tous ces chemins. Chaque chemin compte pour le produit de ses deux transitions : aujourd'hui vers demain, puis demain vers après-demain.

Dans une chaîne de Markov, une probabilité de transition mesure la chance de passer d'un état à un autre. Notons p_ij⁽ⁿ⁾ la probabilité d'être dans l'état j après n étapes lorsque l'on part de l'état i. Pour une chaîne homogène dans le temps, cette probabilité ne dépend que du nombre d'étapes, et non de l'instant de départ.

Si m et n désignent deux nombres d'étapes et si k parcourt tous les états intermédiaires possibles, l'équation de Chapman-Kolmogorov s'écrit :

Chaque terme est la probabilité d'un chemin qui passe par k après n étapes. La somme réunit ces chemins incompatibles et exhaustifs. En écriture matricielle, si P est la matrice des transitions en une étape, les transitions en n étapes sont données par Pⁿ. Plus généralement, la relation compose les noyaux de transition entre trois instants ; l'écriture par puissances suppose l'homogénéité temporelle.

La relation assemble cinq éléments. L'espace d'états fournit toutes les situations possibles. L'état de départ i et l'état d'arrivée j fixent la transition recherchée. L'état intermédiaire k décrit une étape de passage possible. Enfin, les durées n et m découpent le trajet total en deux portions.

Pour chaque k, la probabilité d'aller de i à k en n étapes est multipliée par celle d'aller de k à j en m étapes. Ce produit dépend de la propriété de Markov : une fois l'état intermédiaire connu, la suite ne requiert pas tout le passé. La somme dépend, elle, de la liste complète des états intermédiaires. Ces données suffisent à calculer une transition longue à partir de transitions plus courtes.

Considérons une météo à deux états, soleil et pluie. Depuis le soleil, la probabilité de rester au soleil vaut 0,7 et celle de passer à la pluie vaut 0,3. Depuis la pluie, les probabilités d'aller vers le soleil et de rester sous la pluie valent respectivement 0,4 et 0,6. Le schéma décompose la transition recherchée en deux chemins.

Données.
États : soleil et pluie.
Départ : soleil aujourd'hui.
Arrivée : pluie après-demain.
Transitions utiles : 0,7 ; 0,3 ; 0,3 ; 0,6.

Étape 1. Le chemin soleil, puis soleil, puis pluie a pour probabilité 0,7 × 0,3 = 0,21.

Étape 2. Le chemin soleil, puis pluie, puis pluie a pour probabilité 0,3 × 0,6 = 0,18.

Étape 3. Les deux états de demain couvrent tous les cas et ne peuvent pas se produire ensemble. La probabilité cherchée est donc :

Le résultat est 0,39, soit 39 %. Contrôle. Les deux probabilités d'arrivée après deux étapes valent 0,61 pour le soleil et 0,39 pour la pluie ; leur somme vaut 1.

Pour obtenir une probabilité à deux étapes, on énumère les états possibles à l'étape intermédiaire, on multiplie les probabilités le long de chaque chemin, puis on additionne. Cette méthode est lisible quand l'espace d'états est petit.

Quand les états sont nombreux, la multiplication des matrices de transition remplace l'énumération chemin par chemin. On préfère ce calcul dès que la matrice est disponible et que plusieurs probabilités d'arrivée sont demandées.

Pour contrôler un résultat, chaque probabilité doit rester entre 0 et 1 et la somme des probabilités d'arrivée doit valoir 1. Si ce total diffère de 1, il faut rechercher un état intermédiaire oublié ou une ligne de transition mal normalisée.

Équation de Chapman-Kolmogorov et propriété de Markov. La propriété de Markov affirme que, conditionnellement à l'état présent, l'évolution future ne dépend pas du passé. L'équation compose des probabilités de transition. Vérifier seulement que des matrices se multiplient ne suffit donc pas à établir qu'un modèle possède la propriété de Markov.

Équation de Chapman-Kolmogorov et équations de Kolmogorov. La première relie des transitions sur des intervalles successifs. Les équations dites en avant ou en arrière décrivent, sous des hypothèses supplémentaires, l'évolution infinitésimale en temps continu. Un découpage en deux instants intermédiaires appelle la relation de composition, pas directement une équation différentielle.

Temps non homogène. Si les transitions changent avec l'instant, une seule matrice P et ses puissances ne décrivent plus le système. Il faut conserver les instants de départ, intermédiaire et d'arrivée, puis composer les matrices propres aux intervalles concernés.

Espace d'états continu. Une somme sur des états isolés ne convient pas lorsque l'état varie continûment. La relation subsiste sous forme d'une intégrale par rapport à l'état intermédiaire ; il faut alors employer un noyau ou une densité adaptée.

Chemin impossible. Une transition directe de probabilité nulle peut devenir possible en deux étapes grâce à un état intermédiaire. Il faut calculer tous les produits pertinents avant de conclure que la probabilité à plusieurs étapes est nulle.

Normalisation. Dans l'exemple, 0,61 + 0,39 = 1 est un contrôle nécessaire. Un total différent de 1 signale une donnée ou un calcul incohérent ; un total égal à 1 ne prouve cependant pas, à lui seul, que chaque chemin a été correctement attribué.

La chaîne de Markov replace la relation dans le modèle probabiliste où l'état présent résume l'information utile pour prévoir la transition suivante.

La matrice de transition donne l'outil de calcul : ses puissances regroupent automatiquement les produits associés aux états intermédiaires.

Dans un cadre continu, la même idée devient une composition de noyaux : la somme discrète est remplacée par une intégrale sur tous les états intermédiaires possibles.