La droite de régression : estimation et prédiction

Pour chaque individu, l'écart vertical entre son point et la droite s'appelle le résidu : c'est l'erreur de prédiction pour ce sujet. Une bonne droite rend ces résidus globalement petits.

La méthode des moindres carrés choisit la droite qui rend minimale la somme des carrés des résidus. Pourquoi les carrés ? Pour que les écarts positifs et négatifs ne s'annulent pas, et pour pénaliser lourdement les grosses erreurs.

Cette droite a deux propriétés remarquables : elle passe toujours par le point moyen $(\bar{x}, \bar{y})$, et sa pente se calcule directement à partir des mêmes sommes que $r$ :

Sur nos cinq adultes, nous avions $\sum (x_i-\bar{x})(y_i-\bar{y}) = 800$ et $\sum (x_i-\bar{x})^2 = 1000$, avec $\bar{x} = 50$ et $\bar{y} = 137$. D'où :

La droite est donc :

La pente est le résultat le plus important. Ici $a = 0{,}80$ mmHg par année : en moyenne, un an de plus s'accompagne de $+0{,}80$ mmHg de PAS. L'ordonnée $b = 97$ mmHg serait la PAS « prédite » à l'âge $0$ — une valeur formelle, dénuée de sens biologique ici, sur laquelle nous reviendrons.

La droite sert à prédire. Pour un patient de 45 ans :

Mais ce $133$ est une moyenne attendue, pas une certitude. Les points réels s'écartaient de la droite ; un nouveau patient de 45 ans en fera autant. On mesure cette dispersion résiduelle par l'écart-type des résidus :

Concrètement, la vraie PAS de ce patient a de bonnes chances de tomber à quelques $\pm 13$ mmHg (environ deux écarts-types) autour de $133$. Une prédiction sans son incertitude est trompeuse : elle donne une fausse impression de précision.

La droite $y = 0{,}80,x + 97$ a été ajustée entre 30 et 70 ans. Rien n'autorise à l'utiliser en dehors.

Prédisons la PAS d'un nouveau-né ($x = 0$) : le modèle annonce $97$ mmHg — plausible par accident. Prédisons celle d'un centenaire ($x = 120$) : $0{,}80 \times 120 + 97 = 193$ mmHg, ou pour un âge de 200 ans, une valeur absurde. La relation n'est linéaire que dans la plage observée ; hors de cette plage, on ne sait rien, et la droite ment avec assurance.

• La régression cherche la droite des moindres carrés : celle qui minimise la somme des carrés des résidus (écarts verticaux points-droite).
• Elle passe par le point moyen $(\bar{x}, \bar{y})$ ; sa pente $a$ dit de combien $y$ varie par unité de $x$, son ordonnée $b$ la valeur prédite en $x = 0$.
• Pente $a$ ≠ coefficient $r$ : $a$ a une unité et dépend des échelles, $r$ est un nombre pur.
• Une prédiction $\hat{y} = a x + b$ est une moyenne attendue, toujours entachée d'incertitude (écart-type des résidus $s_{\text{res}}$).
• Ne jamais extrapoler hors de la plage des $x$ observés : la droite y devient une pure spéculation.