Bayes Thomas

En 1763, un mémoire de Thomas Bayes paraît après la mort de son auteur. Ce théologien et mathématicien anglais, né en 1702 et mort en 1761, y laisse une manière nouvelle de raisonner sur l'incertain.

L'idée est concrète : on part d'une estimation, puis une observation apporte un indice. Le théorème associé à Bayes indique comment réviser l'estimation sans oublier ce que l'on savait auparavant. Cette mise à jour est au cœur du raisonnement bayésien.

Thomas Bayes (1702–1761) est un théologien et mathématicien anglais. Il apprend les mathématiques auprès d'Abraham de Moivre. Ses travaux portent sur le calcul différentiel et le calcul des probabilités, notamment les probabilités conditionnelles. Son nom désigne ici une personne ; il reste surtout attaché à un résultat mathématique.

Son résultat le plus célèbre paraît à titre posthume en 1763 dans Essay towards solving a problem in the doctrine of chances. Le théorème de Bayes relie une hypothèse H à une observation E. La probabilité initiale P(H) est dite a priori. La probabilité P(E | H) mesure la vraisemblance de l'observation si l'hypothèse est vraie. Si P(E) n'est pas nulle, la probabilité révisée, dite a posteriori, vérifie la relation suivante. Celle-ci formalise une mise à jour à la lumière d'une observation et fonde le raisonnement probabiliste bayésien.

Deux urnes sont proposées. L'urne A est choisie avec une probabilité de 1/4 et contient trois boules rouges pour une noire. L'urne B est choisie avec une probabilité de 3/4 et contient une boule rouge pour trois noires. Une boule rouge est tirée. Quelle urne a probablement été choisie ? Un diagramme de branches rend visibles les produits qui alimentent la mise à jour.

1. Pour l'urne A, la probabilité de choisir A puis de tirer rouge vaut $\frac{1}{4}\times \frac{3}{4}=\frac{3}{16}\backslash frac14\backslash times\backslash frac34=\backslash frac3\{16\}$.

2. Pour l'urne B, la probabilité de choisir B puis de tirer rouge vaut aussi $\frac{3}{4}\times \frac{1}{4}=\frac{3}{16}\backslash frac34\backslash times\backslash frac14=\backslash frac3\{16\}$.

3. La probabilité totale d'observer rouge est la somme des deux chemins : $\frac{3}{16}+\frac{3}{16}=\frac{6}{16}=\frac{3}{8}\backslash frac3\{16\}+\backslash frac3\{16\}=\backslash frac6\{16\}=\backslash frac38$.

4. Sachant que la boule est rouge, la probabilité que l'urne A ait été choisie vaut $P(A\mid R)=\frac{3\mathrm{/}16}{6\mathrm{/}16}=\frac{1}{2}P(A\backslash mid\; R)=\backslash frac\{3/16\}\{6/16\}=\backslash frac12$.

Le résultat est exactement 1/2, soit 50 %. Le contrôle consiste à calculer de même P(B | R) : on obtient 1/2, et les deux probabilités conditionnelles totalisent bien 1. L'observation rouge compense donc ici le choix initial plus rare de l'urne A.

Face à un nouvel indice, le raisonnement bayésien oblige à noter l'estimation de départ avant de la réviser. Une simple proportion observée suffit lorsque seule la fréquence finale importe ; Bayes est utile quand la question porte sur une hypothèse conditionnée par l'indice.

Dans un problème à plusieurs causes possibles, on calcule pour chacune le produit « probabilité initiale × vraisemblance de l'observation ». On normalise ensuite ces produits pour que les probabilités révisées totalisent 1. Un arbre de probabilités reste préférable quand quelques branches suffisent à montrer tous les cas.

Pour contrôler un résultat, on vérifie que l'observation a une probabilité strictement positive et que toutes les hypothèses concurrentes ont été comptées. Si les cas possibles ne forment pas un ensemble complet, la normalisation donne une réponse trompeuse.

Thomas Bayes et le théorème de Bayes. Le premier est le théologien et mathématicien anglais mort en 1761 ; le second est la relation probabiliste publiée à titre posthume en 1763. Une date biographique concerne la personne, tandis qu'un calcul conditionnel emploie le théorème.

P(H | E) et P(E | H). La première probabilité évalue l'hypothèse après l'observation ; la seconde évalue l'observation sous l'hypothèse. Dans l'exemple des urnes, P(A | R) vaut 1/2, tandis que P(R | A) vaut 3/4 : les inverser change le résultat.

Probabilité a priori et probabilité a posteriori. L'a priori précède la prise en compte de l'observation ; l'a posteriori lui succède. Pour l'urne A, ces valeurs sont respectivement 1/4 et 1/2 après une boule rouge.

Observation impossible. Si P(E) = 0, la division exigée par la formule n'est pas définie. Il faut revoir le modèle ou l'événement observé, et non annoncer une probabilité a posteriori.

A priori oublié. Une observation très compatible avec une hypothèse ne rend pas automatiquement celle-ci très probable. Le symptôme est l'emploi de la seule vraisemblance P(E | H). Il faut aussi intégrer P(H) et toutes les causes concurrentes de E.

Indice compté deux fois. Réutiliser la même observation comme si elle apportait deux informations distinctes renforce artificiellement la conclusion. Il faut décrire la dépendance entre les indices ou ne mettre à jour qu'une seule fois.

Modèle incomplet. Dans l'exemple, les urnes A et B épuisent les choix possibles et leurs probabilités initiales totalisent 1. Si une troisième urne existe mais reste omise, il faut l'ajouter avant de normaliser.

Conditionnelle (probabilité) précise le sens de P(H | E), la quantité que le théorème de Bayes recalcule.

Le théorème de Bayes... star de l'Internet ! prolonge l'histoire du résultat et sa place dans la culture mathématique contemporaine.

Le théorème de Bayes, un outil pour le médecin montre comment une mise à jour conditionnelle intervient dans une décision médicale.

Moivre Abraham de situe le mathématicien auprès duquel Thomas Bayes apprit les mathématiques.