Catalogue Licence
L2 • Statistiques
Approfondissement L2

Statistique inférentielle : estimation, intervalles de confiance et tests

Estimateurs et leurs propriétés, biais et risque quadratique, maximum de vraisemblance, intervalles de confiance et tests d'hypothèses

Point d'entrée intuitif

Comment affirmer quelque chose sur une population entière à partir de mille personnes seulement — et que signifie exactement la confiance de quatre-vingt-quinze pour cent qu'on annonce alors ?

Idée en une phrase :
Un estimateur est une variable aléatoire : c'est en connaissant SA loi, donnée par le théorème central limite, qu'on peut quantifier l'erreur commise.
Généalogie historique du concept :

Gauss et Legendre développent les moindres carrés vers 1805 pour l'astronomie, premiers estimateurs de l'histoire. Fisher fonde la théorie moderne dans les années 1920 : vraisemblance, information, exhaustivité. Neyman et Pearson formalisent en 1933 la théorie des tests avec les deux espèces d'erreur, et Neyman introduit en 1937 les intervalles de confiance. Le désaccord entre Fisher d'une part, Neyman et Pearson d'autre part, sur l'interprétation même des tests, n'a jamais été entièrement résolu — et il resurgit aujourd'hui dans la crise de la reproductibilité.

Pourquoi CETTE définition formelle :

Pourquoi définir un intervalle de confiance comme un intervalle ALÉATOIRE contenant le paramètre avec probabilité , plutôt que comme un intervalle contenant le paramètre à de chances ? Parce que le paramètre est FIXE : il n'est pas aléatoire, et une fois l'intervalle calculé, il le contient ou ne le contient pas — sans probabilité intermédiaire. C'est la PROCÉDURE qui a de chances de produire un intervalle correct. Cette distinction, apparemment byzantine, est la source de la quasi-totalité des mésinterprétations statistiques.

Images Mentales & Modèles d'Intuition (3)

Modèle #1

Un estimateur est un instrument de mesure : il peut être juste — sans biais — ou précis — de faible variance, et ces deux qualités sont distinctes.

Ce qu'elle capture :

Une balance déréglée de deux kilos est précise et biaisée ; une balance qui oscille autour de la bonne valeur est juste et imprécise. Le risque quadratique combine les deux défauts.

⚠️ Où l'analogie ment :

L'image suggère qu'il faut toujours préférer un estimateur sans biais. Faux : un léger biais réduisant fortement la variance peut donner un risque plus faible. C'est le principe des estimateurs régularisés, omniprésents en apprentissage statistique.

Modèle #2

Un intervalle de confiance est un filet lancé sur une cible immobile : le filet bouge d'un lancer à l'autre, la cible non.

Ce qu'elle capture :

La probabilité porte sur le FILET, non sur la cible. Sur cent lancers, environ quatre-vingt-quinze attrapent la cible — mais pour un lancer donné, c'est attrapé ou raté.

⚠️ Où l'analogie ment :

L'image ne dit pas qu'on ignore, pour un intervalle particulier, s'il a réussi. C'est précisément ce qui rend l'interprétation fréquentiste inconfortable, et ce qui motive l'approche bayésienne, où l'on peut parler de la probabilité du paramètre.

Modèle #3

Un test d'hypothèses est un procès : l'hypothèse nulle est présumée vraie, et il faut des preuves solides pour la rejeter.

Ce qu'elle capture :

L'asymétrie des deux erreurs devient claire : condamner un innocent — rejeter à tort — est jugé plus grave que d'acquitter un coupable, d'où le contrôle prioritaire du risque de première espèce.

⚠️ Où l'analogie ment :

L'image suggère qu'un acquittement prouve l'innocence. Faux : ne pas rejeter l'hypothèse nulle ne la démontre PAS, cela signifie seulement que les données ne suffisent pas à la rejeter. Confondre les deux est l'erreur la plus répandue en pratique.

Les Pièges Conceptuels Classiques

1
Un intervalle de confiance à contient le paramètre avec probabilité .

Correction :

Le paramètre est FIXE, l'intervalle est aléatoire. Une fois calculé, l'intervalle contient ou ne contient pas la vraie valeur : la probabilité vaut ou , et l'on ignore laquelle. Ce sont des intervalles construits par cette PROCÉDURE qui contiennent le paramètre. La probabilité porte sur la méthode, jamais sur un résultat particulier.

2
Ne pas rejeter l'hypothèse nulle, c'est la démontrer.

Correction :

L'absence de preuve n'est pas preuve d'absence. Un test non significatif peut résulter d'un effet réel mais d'un échantillon trop petit : c'est un manque de PUISSANCE. Avec dix observations, presque aucune différence n'est détectable, ce qui ne prouve rien. Conclure à l'égalité exige un test d'équivalence, construit tout autrement.

3
Une -valeur de signifie qu'il y a de chances que l'hypothèse nulle soit vraie.

Correction :

La -valeur est , non . C'est exactement l'inversion du conditionnement dénoncée au module L1-13 — l'erreur du procureur. Passer de l'une à l'autre exigerait la formule de Bayes ET une probabilité a priori sur .

4
Un estimateur sans biais est toujours préférable.

Correction :

Le critère pertinent est le RISQUE QUADRATIQUE, qui est la somme du carré du biais et de la variance. Un estimateur légèrement biaisé mais de variance bien plus faible peut être nettement meilleur : c'est le principe de la régularisation, et le phénomène de Stein montre même qu'en dimension au moins , l'estimateur naturel sans biais est inadmissible.

Glossaire des Notations Mathématiques

estimateur de theta

VARIABLE ALÉATOIRE, non un nombre : elle a une loi, un biais, une variance

risque de première espèce

probabilité de rejeter $H_0$ alors qu'elle est vraie ; fixé À L'AVANCE

p-valeur

$P(\text{données extrêmes}\mid H_0)$, JAMAIS $P(H_0\mid\text{données})$