Sebbene fenomeni di regolarità statistica fossero stati osservati e quantificati fin dalla metà del 18º secolo da grandi matematici come de Moivre, Laplace e Gauss, si dovette attendere il 20º secolo perché venissero proposte formalizzazioni complete e dimostrazioni convincenti delle proprietà. Spesso si riduce l’insieme delle leggi dei grandi numeri al solo teorema detto «teorema centrale del limite». Questa denominazione si deve al matematico George Pólya, che la usò in un articolo del 1920 intitolato «Über den zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung», traducibile letteralmente con «Sul teorema centrale del limite del calcolo delle probabilità». Qual è il contenuto di questo teorema? Riguarda quella che si chiama «convergenza in distribuzione», ossia «in distribuzione di probabilità». Questo risultato riguarda le distribuzioni di probabilità delle variabili, non le variabili stesse!
La distribuzione normale
-----------------------
La distribuzione normale ha la gradevole proprietà di essere stabile rispetto all’addizione, il che ne rende agevole la tabulazione: ogni combinazione lineare di distribuzioni normali indipendenti è anch’essa una distribuzione normale. Questo teorema ammette una reciproca: se una somma di variabili aleatorie indipendenti è normale, allora lo è anche ciascun termine della somma! Ma c’è molto di più. Ogni somma di variabili indipendenti e identicamente distribuite (che obbediscono alla stessa distribuzione di probabilità, indicata con «i.i.d.» in riferimento all’espressione «indipendenti e identicamente distribuite»), a varianza finita ma non necessariamente normali, è asintoticamente normale.