Ne pas tricher, ne pas sacrifier la vie ou l’éthique : nous ne le disons pas, cela va de soi. L’IA, elle, ne poursuit que l’objectif qu’on a su chiffrer et l’exécute à la lettre ; plus elle est capable, mieux elle exploite nos angles morts, jusqu’à tromper ses juges. Comment lui apprendre ce qui va sans dire ? C’est le défi de l’alignement.
Fabriquer des trombones. Difficile d’imaginer mission plus inoffensive. Confions à une machine l’objectif d’en fabriquer le plus possible. Pourtant, une question manque : que sommes-nous prêts à sacrifier pour obtenir le trombone suivant ? Quelques secondes, un peu d’énergie, certainement. Une forêt, une ville, une vie humaine ? Évidemment pas. Mais où cet « évidemment » figure-t-il dans l’objectif ?
Cette expérience de pensée, popularisée par le philosophe suédois Nick Bostrom (né en 1973), pousse jusqu’à l’absurde une difficulté très concrète. Nous formulons nos demandes avec un immense bagage d’implicites. Nous supposons des limites, des usages, une hiérarchie de valeurs. Traduire cet ensemble en un système capable de guider une machine est autrement plus délicat que d’écrire : « maximiser la production ».
L’alignement désigne précisément la recherche d’une adéquation entre le comportement des IA et les intentions, les intérêts ou les valeurs humaines que l’on souhaite leur faire respecter.

Ce que mesure la récompense