Comparer un pourcentage à une valeur théorique : le principe des tests

Le test commence par un renversement contre-intuitif. Au lieu de chercher à prouver qu'il se passe quelque chose, on fait comme si rien n'avait changé. C'est l'hypothèse nulle, notée $H_0$ :

Sous $H_0$, la vraie proportion vaut toujours 8 % ; les 12 % observés ne seraient qu'une fluctuation. On lui oppose l'hypothèse alternative $H_1 : p \ne p_0$.

La stratégie : calculer à quel point les données seraient surprenantes si $H_0$ était vraie. Si elles sont très surprenantes, on abandonne $H_0$. Sinon, on la garde faute de preuve du contraire.

Sous $H_0$, nous connaissons la proportion vraie ($p_0$), donc l'écart-type des fluctuations se calcule directement avec $p_0$ — et non avec la fréquence observée :

Appliquons à la maternité, avec $f = 0{,}12$, $p_0 = 0{,}08$, $n = 250$ :

L'écart observé vaut 2,33 écarts-types. Sur le graphique des deux risques, cet écart-réduit tombe déjà dans la zone que $H_0$ juge peu probable.

Avant de regarder les données, on fixe un seuil de décision $\alpha$, presque toujours 5 %. Il représente le risque qu'on s'autorise de rejeter $H_0$ à tort — le risque de première espèce.

Pour un test bilatéral à $\alpha = 5$, la frontière est notre vieille connaissance 1,96. La règle :

• si $|z| > 1{,}96$ : on rejette $H_0$, l'écart est dit significatif ;
• si $|z| \le 1{,}96$ : on ne rejette pas $H_0$, l'écart est compatible avec le hasard.

Ici $z = 2{,}33 > 1{,}96$ : on rejette $H_0$. La hausse de 8 % à 12 % est significative au seuil de 5 % ; il est raisonnable de chercher une cause.

Le seuil α donne une réponse en tout ou rien. On préfère souvent chiffrer précisément le degré de surprise : c'est le degré de signification, la fameuse valeur $p$.

Pour $z = 2{,}33$, la loi normale donne, en bilatéral, $p \approx 0{,}02$. On l'interprète ainsi : si la vraie fréquence était bien 8 %, un écart aussi marqué que celui observé ne surviendrait qu'environ 2 fois sur 100. C'est assez rare pour douter de $H_0$.

La règle de décision devient : rejeter $H_0$ quand $p < \alpha$.

• Un test oppose $H_0$ (la valeur théorique $p_0$ est vraie, l'écart n'est qu'une fluctuation) à $H_1$.
• On calcule l'écart-réduit sous $H_0$, donc avec $p_0$ : $z = (f - p_0)/\sqrt{p_0(1-p_0)/n}$.
• On décide au seuil $\alpha$ (souvent 5 %) : $|z| > 1{,}96$ conduit à rejeter $H_0$ (résultat significatif).
• Le degré de signification $p$ est la probabilité d'un écart au moins aussi grand si $H_0$ est vraie ; on rejette quand $p < \alpha$.
• On ne prouve jamais $H_0$ : « non significatif » veut dire compatible avec le hasard, pas identique à $p_0$.