Esta observación condujo al descubrimiento de las cadenas de Markov, que pueden considerarse precursoras de los procesos estocásticos. Al estudiar la sucesión de caracteres cirílicos de la novela en verso Eugène Onéguine de Alexandre Pouchkine, el matemático ruso Andreï Andreïevitch Markov (1856–1922) advirtió que cada letra dependía, según una determinada distribución de probabilidad, de la letra que la precedía inmediatamente. Antes de convertirse en un objeto matemático clásico, fueron estas sucesiones de letras las que recibieron el nombre de cadena de Markov. En el mundo de las matemáticas, las cadenas de Markov permiten describir un sistema en evolución que puede adoptar un número finito o numerable de estados E1, E 2… Los cambios de estado del sistema se observan en cada unidad de tiempo (que se supone discreta). Markov postula que el paso del estado E *i al estado E j se produce cada vez con una probabilidad pi, j . Describe un proceso sin memoria: las probabilidades de transición dependen únicamente del estado del sistema antes de la transición (E i ) y de su estado posterior (E j ). En general, se denomina proceso markoviano* a un sistema que evoluciona aleatoriamente en el tiempo y cuya distribución de probabilidad condicional para los estados futuros, dados sus estados pasados y su estado presente, depende únicamente de este último. Para tales procesos, la mejor predicción que puede hacerse del futuro a partir de su pasado y de su presente es idéntica a la mejor predicción elaborada basándose únicamente en el conocimiento de su estado actual.
