Studente solitario e brillante, entrò all’École normale supérieure di rue d’Ulm e nel 1939 si classificò primo all’agrégation di matematica. Mobilitato nel settembre 1939, fu fatto prigioniero di guerra nel giugno 1940 e poi liberato, per ragioni di salute, nell’agosto 1941.
Grazie a Élie Cartan, Apéry ottenne un posto di assistente alla Sorbona. Anticlericale, proseguì l’attività politica, iniziata nel 1937 nel Partito radicale dell’epoca, e si impegnò nella Resistenza, dove ebbe un ruolo importante. Intransigente e dal carattere forte, proseguì la sua attività politica fino alla fine degli anni Sessanta.
In matematica, dopo una tesi in geometria algebrica e numerosi lavori in questo campo, si orientò gradualmente verso la teoria dei numeri, senza seguire la strada della teoria degli schemi introdotta da Alexandre Grothendieck e lo «sconvolgimento» che ne seguì. Fu professore all’università di Caen (Calvados) dal 1949 fino al pensionamento, nel 1986. La sua visione della matematica era individualista e refrattaria a ogni ortodossia. Era costruttivista e riteneva che il formalismo alla maniera di Hilbert non corrispondesse al lavoro del matematico. Negli anni Settanta attaccò la riforma dell’insegnamento della cosiddetta matematica «moderna».