Logique et ensemblesNotion · Glossaire
Shannon Claude
Claude Shannon (1916-2001) est un mathématicien et ingénieur américain, fondateur de la théorie mathématique de l'information. Après des études à l'université du Michigan, il rejoint le Massachusetts Institute of Technology (MIT), où il conduit l'essentiel de ses travaux. Personnalité atypique, il cultive des loisirs originaux et s'intéresse aux paradoxes logiques. Durant la Seconde Guerre mondiale, il travaille pour les services de renseignement sur des problèmes de cryptographie. En 1948, il publie A Mathematical Theory of Communication, ouvrage fondateur qui pose les bases formelles de la transmission de l'information : il y introduit notamment le concept de bit comme unité élémentaire d'information et quantifie la notion d'entropie de l'information. En 1949, il publie Communication Theory of Secrecy Systems, qui établit des fondements rigoureux pour la cryptographie moderne. L'ensemble de ses recherches a posé les bases théoriques sur lesquelles repose aujourd'hui l'ensemble des télécommunications et de l'informatique numérique.
Sommaire
Ce que vous allez apprendre
- Situer Claude Shannon, le MIT et ses publications de 1948 et 1949.
- Relier le bit et l'entropie à la théorie mathématique de l'information.
- Refaire un calcul d'entropie pour huit messages équiprobables.
- Distinguer transmission de l'information et étude cryptographique du secret.
En clair
En 1948, au MIT, Claude Shannon publie un texte qui transforme la transmission des messages en problème mathématique. Un message peut alors être décrit par des choix élémentaires, comptés en bits. À probabilités fixées, la réception d'un message de probabilité p apporte bits : moins il est probable, plus elle apporte d'information. Shannon donne aussi un moyen de quantifier l'incertitude moyenne avant réception, appelée entropie de l'information. Cette approche fournit un langage commun aux télécommunications et à l'informatique numérique.
Définition
Claude Shannon (1916-2001) est le mathématicien et ingénieur américain qui a fondé la théorie mathématique de l'information. Après l'université du Michigan, il rejoint le MIT, où il mène l'essentiel de ses travaux. Son approche porte sur la représentation et la transmission formelles de l'information, indépendamment du sens particulier d'un message.
Dans A Mathematical Theory of Communication, publié en 1948, Shannon introduit notamment le bit comme unité élémentaire d'information et quantifie l'entropie de l'information. Pour des messages possibles numérotés par l'indice i, chacun de probabilité pi, l'entropie H en bits s'écrit , avec la convention . Cette quantité mesure l'incertitude moyenne avant la réception du message.
La contribution de Shannon comprend aussi la cryptographie. Pendant la Seconde Guerre mondiale, il travaille pour les services de renseignement sur des problèmes cryptographiques. En 1949, Communication Theory of Secrecy Systems donne des fondements rigoureux à la cryptographie moderne. Ces travaux constituent des bases théoriques des télécommunications et de l'informatique numérique.
Un exemple, pas à pas
Un émetteur doit annoncer l'un de huit messages possibles, tous aussi probables. Les données sont les suivantes : huit messages ; une probabilité de 1/8 pour chacun ; deux réponses possibles à chaque choix élémentaire.
1. Partagez les huit messages en deux groupes de quatre. Un premier choix binaire indique le bon groupe.
2. Partagez les quatre messages restants en deux groupes de deux. Un deuxième choix précise le nouveau groupe.
3. Séparez enfin les deux derniers messages. Un troisième choix identifie le message.
2. Partagez les quatre messages restants en deux groupes de deux. Un deuxième choix précise le nouveau groupe.
3. Séparez enfin les deux derniers messages. Un troisième choix identifie le message.
L'entropie H vaut alors . Le résultat concorde avec les trois choix binaires de l'arbre : chacun réduit de moitié le nombre de possibilités.
Le contrôle se refait sans formule : après trois divisions par deux, huit possibilités deviennent quatre, puis deux, puis une. Trois bits suffisent donc à distinguer les huit messages équiprobables.
En pratique
Dans une transmission numérique, le cadre de Shannon conduit à compter l'information transportée plutôt qu'à interpréter le sens du message. Ce point de vue est préférable quand la question porte sur la transmission elle-même.
Pour comparer des ensembles de messages possibles, on examine leur incertitude et leur entropie. Un simple comptage suffit dans le cas équiprobable ; des probabilités distinctes exigent de les prendre en compte dans le calcul.
En cryptographie, les travaux de 1949 offrent un cadre rigoureux pour étudier les systèmes de secret. Ce cadre est pertinent lorsqu'il faut raisonner sur la sécurité d'une communication, plutôt que seulement sur son transport.
À ne pas confondre
Claude Shannon et la théorie de l'information. Shannon est la personne ; la théorie de l'information est le cadre mathématique qu'il fonde. Une date biographique comme 1916 concerne le chercheur, tandis qu'un calcul d'entropie concerne la théorie.
Bit et entropie. Le bit est une unité élémentaire d'information. L'entropie est une quantité qui mesure l'incertitude liée aux messages possibles. Dans l'exemple de huit messages équiprobables, l'entropie prend la valeur de 3 bits : l'unité et la quantité ne sont pas interchangeables.
Transmission et secret. Le texte de 1948 formalise la transmission de l'information ; celui de 1949 établit des fondements pour la cryptographie moderne. Une question sur la quantité transmise ne se confond donc pas avec une question sur le secret du système.
Limites et pièges
Le sens du message n'entre pas dans le calcul présenté. Deux messages de sens très différent peuvent être deux possibilités du même ensemble. Il faut alors étudier leur représentation et leur probabilité, sans attribuer une valeur sémantique au nombre de bits.
L'équiprobabilité est une hypothèse de l'exemple, pas une règle générale. Si les huit messages n'ont pas tous la probabilité 1/8, le raisonnement par trois divisions identiques ne suffit plus. Il faut utiliser les probabilités pi dans la formule de l'entropie.
Les deux publications ne répondent pas à la même question. Prendre le texte de 1949 pour une simple suite du calcul de 1948 masque son objet cryptographique. Il faut distinguer le problème de transmission du problème de secret.
Pour aller plus loin
Théorie de l'information — Pour approfondir le cadre mathématique fondé par Shannon et son étude formelle des messages.
Entropie — Pour préciser la mesure d'incertitude employée dans le calcul de l'exemple.
cryptographie — Pour situer le domaine auquel Shannon donne des fondements rigoureux en 1949.
Claude Shannon, l'Américain précurseur — Pour prolonger le portrait du chercheur par une lecture qui lui est entièrement consacrée.
Explorez les mathématiques autrement
Retrouvez nos magazines, podcasts et jeux pour explorer les mathématiques autrement.
Découvrir les offres