Apprendre, pour une machine, c'est minimiser une erreur. À partir d'un exemple simple, la distinction d'un 2 et d'un 7, suivons pas à pas les étapes de l'apprentissage statistique : entraînement, test et généralisation.
L'enjeu de l'apprentissage statistique est d'estimer la réponse à une question à partir de données numériques, en faisant le moins d'erreurs possible. On peut imaginer, par exemple, avoir à distinguer des photos de chats et de chiens.
Pour cela, on dispose d'un algorithme dont la particularité est d'inclure des paramètres. Pour optimiser ces paramètres, on utilise une base de données d'entraînement qui inclut non seulement les données, mais aussi les réponses à la question. Il faut alors mesurer l'erreur de l'algorithme : en moyenne sur toute la base de données, c'est la proportion de fois où la réponse calculée, notée , diffère de la vraie réponse .
On note cette erreur moyenne, qui dépend des paramètres de l'algorithme. L'apprentissage consiste à modifier petit à petit les paramètres de manière à minimiser cette erreur. Les meilleurs paramètres, notés ici , sont ceux qui minimisent l'erreur moyenne sur l'ensemble des données d'entraînement.
Le but, évidemment, n'est pas de répondre à des questions dont on connaît déjà la réponse, mais à des questions portant sur de nouvelles données. Dans une seconde phase, pour vérifier que l'algorithme ainsi paramétré est capable de trouver les bonnes réponses, on effectue un test qui porte sur des données du même type, mais différentes de celles utilisées à l'entraînement. Par « même type », on entend par exemple que, si l'entraînement a porté sur des images de visages, le test portera lui aussi sur des images de visages. On calcule alors la réponse pour les données de test et on en déduit le taux d'erreur .
