Fu questa osservazione a condurre alla scoperta delle catene di Markov, che possono essere considerate tra i precursori dei processi stocastici. Studiando la successione dei caratteri cirillici del romanzo in versi Eugenio Onegin di Aleksandr Puškin, il matematico russo Andrej Andrejevič Markov (1856–1922) notò che ogni lettera dipendeva, secondo una certa distribuzione di probabilità, dalla lettera immediatamente precedente. Prima di diventare un oggetto matematico classico, furono queste successioni di lettere a prendere il nome di catena di Markov. Nel mondo della matematica, le catene di Markov descrivono un sistema in evoluzione che può assumere un numero finito o numerabile di stati E1, E 2… I cambiamenti di stato del sistema si osservano a ogni istante di tempo, supposto discreto. Markov postula che il passaggio dallo stato E *i allo stato E j avvenga ogni volta con probabilità pi, j . Descrive un processo senza memoria: le probabilità di transizione dipendono soltanto dallo stato del sistema prima della sua trasformazione (E i ) e dal suo stato successivo (E j ). In generale, si chiama processo markoviano* un sistema che evolve casualmente nel tempo e la cui distribuzione di probabilità condizionata degli stati futuri, data la conoscenza dei suoi stati passati e del suo stato presente, dipende soltanto da quest’ultimo. Per tali processi, la migliore previsione del futuro che si possa fare a partire dal passato e dal presente coincide con la migliore previsione basata sulla sola conoscenza dello stato attuale.
