méthode de rééchantillonnage

On ne dispose que de trois mesures : 2, 4 et 6. Pour savoir si leur moyenne est stable, on fabrique de nouvelles séries à partir de ces trois valeurs. Certaines répètent le 2, d'autres le 6, puis on recalcule chaque moyenne.

La dispersion des résultats obtenus indique combien la moyenne pourrait varier d'un échantillon à l'autre. Le bootstrap ordinaire effectue ces tirages avec remise ; le jackknife retire chaque valeur à tour de rôle. Les données observées jouent ainsi le rôle d'une population miniature.

Une méthode de rééchantillonnage applique plusieurs fois une règle de tirage ou de découpage à un échantillon observé, puis recalcule la statistique étudiée. Les valeurs ainsi obtenues forment une distribution empirique. Elle sert notamment à estimer une erreur standard ou un biais, à construire un intervalle de confiance, à tester une hypothèse ou à évaluer les performances d'un modèle.

Avec un échantillon de taille n, le bootstrap produit en général des réplications de taille n par tirages avec remise : une observation peut donc apparaître plusieurs fois ou pas du tout. Le jackknife classique produit n réplications de taille n − 1 en retirant successivement une observation. Un test de permutation suit une autre règle : il réattribue des étiquettes sous l'hypothèse nulle afin de mesurer combien le résultat observé est exceptionnel.

Ces méthodes évitent souvent de fixer une forme paramétrique complète pour la population, mais elles ne sont pas dépourvues d'hypothèses. L'échantillon doit représenter le mécanisme étudié, et la règle de rééchantillonnage doit préserver les dépendances utiles, par exemple des blocs temporels pour une série corrélée.

On fixe d'abord la statistique d'intérêt et une règle de rééchantillonnage compatible avec les données. On génère ensuite B réplications, on calcule la statistique sur chacune, puis on résume leur distribution empirique. Si la valeur obtenue sur la réplication numéro b est notée θ̂^*_b et si leur moyenne est notée θ̄^*, l'erreur standard bootstrap s'estime par :

Le calcul s'arrête au nombre B fixé avant l'analyse ; augmenter B réduit l'aléa de simulation, pas le défaut éventuel de l'échantillon initial.

Le rééchantillonnage s'applique à une statistique calculable sur chaque réplication : moyenne, médiane, coefficient ajusté ou score de prédiction. Il faut disposer des observations élémentaires, pas seulement d'un résumé, et annoncer la règle de tirage ainsi que le nombre de réplications.

Pour le bootstrap ordinaire, les observations sont traitées comme échangeables et l'échantillon doit refléter la population visée. Pour un test de permutation, l'échangeabilité doit être vraie sous l'hypothèse nulle. Pour une validation de modèle, les données d'évaluation doivent rester séparées des données d'ajustement.

Contre-cas : des ventes quotidiennes successives présentent une dépendance temporelle. Tirer les jours isolément détruit les séquences et sous-estime souvent l'incertitude. Il faut alors rééchantillonner des blocs de jours, employer un modèle temporel adapté ou recueillir des séries indépendantes.

On observe trois valeurs sans unité : 2, 4 et 6. La statistique étudiée est leur moyenne. Pour le bootstrap exact, on considère les 27 suites ordonnées de trois tirages avec remise. Pour le jackknife, on retire successivement chacune des trois valeurs.

1. La moyenne de l'échantillon initial vaut (2 + 4 + 6) / 3 = 4.

2. Les moyennes bootstrap possibles sont 2 ; 8/3 ; 10/3 ; 4 ; 14/3 ; 16/3 et 6. Parmi les 27 réplications, elles apparaissent respectivement 1, 3, 6, 7, 6, 3 et 1 fois. Leur moyenne vaut exactement 4 et leur variance, calculée avec le poids 1/27, vaut 8/9 ; l'écart-type vaut donc $\sqrt{8\mathrm{/}9}=\frac{2\sqrt{2}}{3}\approx \mathrm{0,943}\backslash sqrt\{8/9\}=\backslash frac\{2\backslash sqrt\{2\}\}\{3\}\backslash approx\; 0\{,\}943$.

3. Les trois échantillons jackknife sont (4, 6), (2, 6) et (2, 4), de moyennes 5, 4 et 3. Leur moyenne vaut 4. Avec la formule jackknife, l'erreur standard vaut $\sqrt{\frac{2}{3}[(5-4{)}^2+(4-4{)}^2+(3-4{)}^2]}=\frac{2}{\sqrt{3}}\approx \mathrm{1,155}\backslash sqrt\{\backslash frac\{2\}\{3\}\backslash left[(5-4)^2+(4-4)^2+(3-4)^2\backslash right]\}=\backslash frac\{2\}\{\backslash sqrt\{3\}\}\backslash approx\; 1\{,\}155$.

4. Le contrôle est direct : la distribution bootstrap est symétrique autour de 4, ses effectifs totalisent 27 et les trois moyennes jackknife totalisent 12. Les deux erreurs standards diffèrent parce que les deux distributions de rééchantillonnage ne sont pas construites de la même façon.

Pour quantifier l'incertitude d'une médiane ou d'un coefficient dont la formule d'erreur standard est difficile, on choisit souvent le bootstrap. Une formule analytique reste préférable lorsqu'elle est connue, que ses hypothèses sont crédibles et que le calcul doit être très rapide.

Pour tester une différence entre deux groupes, une permutation des étiquettes fournit une distribution sous l'hypothèse nulle. On la retient lorsque les unités sont échangeables ; sinon, un modèle tenant compte des paires, strates ou dépendances est nécessaire.

Pour évaluer un modèle prédictif, on répète des séparations entre apprentissage et évaluation. Une validation par blocs ou par groupes remplace le découpage aléatoire lorsque des dates ou plusieurs mesures d'une même personne risqueraient de faire fuiter de l'information.

Nouvel échantillonnage de la population. Le rééchantillonnage réutilise les données déjà observées ; une nouvelle enquête recueille de nouvelles unités. Si une personne supplémentaire est effectivement mesurée, il ne s'agit plus d'une réplication bootstrap.

Simulation paramétrique. Un bootstrap non paramétrique tire dans l'échantillon empirique. Une simulation paramétrique tire dans une loi ajustée. Une valeur absente des observations peut apparaître directement dans le second cas, mais pas dans un tirage bootstrap ordinaire.

Augmentation de données. L'augmentation transforme des observations pour enrichir l'apprentissage d'un modèle ; le rééchantillonnage mesure une variabilité ou construit une référence statistique. Faire pivoter une image crée une observation transformée, et non un simple tirage avec remise.

Échantillon biaisé. Si un groupe est absent des données initiales, il le restera dans toutes les réplications. Une distribution bootstrap très resserrée ne corrige donc pas un défaut de recrutement ; il faut améliorer le plan d'échantillonnage ou limiter la population visée.

Dépendances détruites. Des résultats trop stables après tirage observation par observation signalent parfois que des paires, groupes ou périodes ont été séparés. Il faut rééchantillonner l'unité indépendante pertinente, par blocs ou par grappes.

Échantillon minuscule ou statistique irrégulière. Avec n = 1, le jackknife par retrait ne laisse aucune donnée et ne peut pas estimer une variabilité. Pour un maximum, un paramètre sur une frontière ou un événement rare absent, le bootstrap ordinaire peut être trompeur ; une méthode spécialisée ou davantage de données s'impose.

Trop peu de réplications aléatoires. Deux exécutions donnent alors des quantiles visiblement différents. Il faut augmenter B, fixer la graine pour reproduire le calcul et vérifier la stabilité numérique ; cela ne remédie toutefois ni au biais ni au manque d'information de départ.

La méthode de bootstrap détaille le tirage avec remise et la construction d'une distribution empirique.

La méthode de jackknife approfondit le retrait successif d'une observation et l'estimation du biais.

La moyenne arithmétique précise la statistique utilisée dans l'exemple et ses propriétés.

L'intervalle de confiance prolonge l'estimation ponctuelle par une plage de valeurs compatibles avec les données.