Les fréquences d’apparition
Une partie de sa thèse de doctorat publiée en 1952 est ainsi consacrée à la théorie de l’information et plus spécifiquement à la question de la fréquence des mots dans un texte donné.
Il s’agit d’une question fort ancienne puisque les premiers travaux sur le sujet datent des années 1380 avec le Liber Zifrorum de Cicco Simonetta. À l’époque, les cryptographes établissaient des tables de fréquences des lettres, des bi-grammes (suites de deux lettres consécutives) et tri-grammes pour une langue donnée. Voici le début de la table des fréquences des lettres en français contemporain :
| 12,1 % | 7,11 % | 6,59 % | 6,51 % | 6,39 % | 6,07 % | 5,92 % | 5,02 % |
| e | a | i | s | n | r | t | o |
Plus récemment, le sténographe français Jean-Baptiste Estoup (1868-1950), qui fut l’un des fondateurs des méthodes statistiques d’analyse de textes, s’intéressa au problème. Comme le note Mandelbrot : « En étudiant le problème sténographique, J.-B. Estoup a observé une relation qui semble hyperbolique entre le nombre des mots nouveaux et différents dans des tranches consécutives de 1 000 mots de français d’une part, et l’effectif cumulé des mots d’autre part. »
