Deux grandes tendances actuelles sont la « géométrisation » et la « probabilisation » des domaines techniques et scientifiques. Née au milieu du XX e siècle, la géométrie de l’information est à l’intersection des deux, via la métrique de Fisher–Koszul–Souriau (voir FOCUS). Elle consiste à introduire une distance entre des éléments d’un espace de probabilité, que l’on munit d’une structure métrique. Cette distance peut ainsi être définie entre deux variables aléatoires indépendantes ou, de façon équivalente, entre deux densités de probabilités (associées à ces deux variables). Le mathématicien japonais Shun-ichi Amari (né en 1936), qui a développé ses outils avec le Russe Nicolai N. Chentsov, a reçu de l’empereur l’Ordre de la culture en 2019.
Un succès planétaire --------------------
La géométrie de l’information connaît actuellement un succès planétaire. Si l’on effectue la requête « Information Geometry » dans Google, on obtient 186 000 occurrences ! En France, le groupement de recherche CNRS ISIS (Information, signal, image et vision) a organisé en 2019 une école d’été à Peyresq (Alpes-de-Haute-Provence) qui a dû refuser du monde. Le laboratoire d’excellence Centre international de mathématiques et d’informatique (CIMI) et l’Institut mathématique de Toulouse (Haute-Garonne) ont dédié un trimestre entier au sujet. Les actes des années 2013, 2015, 2017 et 2019 de la conférence « Geometric Science of Information » totalisent quatre volumes de près de neuf cents pages chacun édités chez Springer, qui a d’ailleurs lancé un journal spécialisé dédié à ce thème.
La géométrie de l’information est utilisée en particulier pour comprendre les « espaces latents » en apprentissage profond et pour faire des modèles génératifs. Dans les entreprises, la géométrie de l’information est devenue un outil populaire en IA : les GAFAMI (Google, Amazon, Facebook, Apple, Microsoft, IBM) utilisent le gradient naturel associé à la métrique de Fisher dans leurs outils d’apprentissage profonds.
Récemment, Yann Ollivier, médaille de bronze du CNRS, a été embauché par Facebook AI Paris en particulier pour ses travaux sur le gradient naturel. D’autres mathématiciens, comme Guillaume Desjardins et James Martens, employés par Google Deepmind, ou Takayuki Osogami, travaillant pour IBM Research, ont adapté le gradient naturel de la géométrie de l’information au deep learning. Gaetan Marceau Caron, ancien thésard de Thales, récemment embauché par le Montréal Institute for Learning Algorithms (MILA) au Canada, a couplé le gradient naturel avec le gradient stochastique de Langevin pour définir un gradient « natural Langevin dynamics », qui permet de régulariser l’apprentissage des réseaux profonds. En fait, le machine learning est très géométrique par essence.