Probabilités et statistiquesNotion · Glossaire
Entropie
L'entropie de Shannon mesure l'incertitude liée à une distribution de probabilités : plus l'issue à venir est difficile à prévoir, plus l'entropie peut être élevée. Elle se calcule en bits lorsque le logarithme est en base 2 et indique la quantité moyenne d'information nécessaire pour coder un message.
Sommaire
Ce que vous allez apprendre
- Relier l'entropie à l'incertitude d'une distribution de probabilité.
- Calculer pas à pas une entropie en bits.
- Reconnaître les distributions d'entropie nulle ou maximale.
- Distinguer l'entropie de l'information d'une issue et de l'entropie thermodynamique.
En clair
Un appareil envoie trois messages : A une fois sur deux, B une fois sur quatre et C une fois sur quatre. Avant de recevoir le prochain message, une incertitude subsiste. L'entropie traduit cette incertitude par un nombre.
Si A est toujours envoyé, il n'y a aucune surprise et l'entropie est nulle. Si plusieurs messages sont possibles avec des probabilités proches, l'incertitude augmente. L'entropie de Shannon relie ainsi la répartition des probabilités à l'information moyenne requise pour coder le message.
Définition
Soit une variable aléatoire discrète X qui peut prendre n valeurs. La probabilité de la valeur numéro i est notée pi. L'entropie de Shannon de X est la moyenne pondérée de l'information associée à ses valeurs. Elle dépend de la distribution de probabilité, et non du nom donné à chaque valeur.
Pour des probabilités p1, …, pn dont la somme vaut 1, cette entropie est :
La base b du logarithme fixe l'unité. La base 2 donne des bits ; le logarithme naturel donne des nats. Par convention, une probabilité nulle apporte une contribution nulle à la somme.
Parmi les distributions portant sur n valeurs, l'entropie est maximale lorsque toutes les valeurs ont la probabilité 1/n. Elle vaut alors . Elle est nulle pour une distribution dégénérée, c'est-à-dire lorsqu'une valeur a la probabilité 1 et toutes les autres la probabilité 0.
Un exemple, pas à pas
Un appareil envoie A avec la probabilité 1/2, B avec la probabilité 1/4 et C avec la probabilité 1/4. Le calcul emploie le logarithme en base 2 ; le résultat sera donc exprimé en bits.
1. On contrôle les données : 1/2 + 1/4 + 1/4 = 1. Elles forment bien une distribution de probabilité.
2. On remplace les trois probabilités dans la formule :
3. Comme et , les trois contributions valent respectivement 1/2, 1/2 et 1/2 bit.
4. Leur somme donne exactement 1,5 bit. Le contrôle est refaisable : pour trois messages, le maximum est bit ; 1,5 bit est donc bien inférieur au maximum et supérieur à 0.
En pratique
Pour comparer deux sources de messages, on calcule leur entropie avec la même base logarithmique. La source d'entropie la plus élevée présente davantage d'incertitude moyenne. Une simple comparaison des nombres de messages possibles ne suffit pas si leurs probabilités diffèrent.
Pour raisonner sur le codage, l'entropie en base 2 fournit une quantité moyenne d'information en bits. On préfère cette unité au nat lorsque le codage est binaire ; le nat convient lorsque les calculs utilisent le logarithme naturel.
Pour repérer les cas extrêmes, on observe la distribution avant tout calcul. Une seule issue certaine annonce une entropie nulle. Des probabilités toutes égales annoncent l'entropie maximale parmi les distributions ayant le même nombre d'issues.
À ne pas confondre
Entropie de Shannon et information d'une issue. L'information d'une issue dépend de sa seule probabilité ; l'entropie est la moyenne de ces informations sur toutes les issues. Pour A de probabilité 1/2, l'information vaut 1 bit, tandis que l'entropie de toute la source vaut 1,5 bit.
Entropie de Shannon et entropie thermodynamique. Elles portent le même nom et mobilisent une idée de multiplicité, mais elles ne s'appliquent pas au même objet. Une distribution de messages et un état physique imposent donc des définitions, des unités et un contexte distincts.
Limites et pièges
Une issue de probabilité nulle. L'écriture pi log(pi) semble demander le logarithme de 0, qui n'est pas défini. Il faut employer la convention issue de la limite : la contribution de cette issue est 0.
Un maximum sans domaine fixé. Dire que la loi uniforme maximise l'entropie n'a de sens ici qu'à nombre n d'issues fixé. Pour n issues, le maximum vaut logb(n) ; changer n change la borne.
Des unités mélangées. Une valeur calculée en bits ne se compare pas directement à une valeur en nats. Il faut reprendre les deux calculs avec la même base, ou convertir les unités avant la comparaison.
Le mot « désordre » pris au pied de la lettre. En théorie de l'information, l'entropie est calculée sur des probabilités. Une impression visuelle de désordre ne suffit pas : il faut d'abord définir les issues et leur distribution.
Pour aller plus loin
variable aléatoire — Pour préciser l'objet dont la distribution fournit les probabilités utilisées dans le calcul.
Loi uniforme discrète — Pour examiner la distribution qui atteint l'entropie maximale lorsque le nombre d'issues est fixé.
Théorie de l'information — Pour replacer l'entropie dans l'étude de l'information et du codage des messages.
Explorez les mathématiques autrement
Retrouvez nos magazines, podcasts et jeux pour explorer les mathématiques autrement.
Découvrir les offres