Gradient boosting : XGBoost et CatBoost

Racym Berrah, PharmD PMx Explain Relecture scientifique par l'auteur : 2026-07-09 ORCID

Additionner de petits arbres qui corrigent les erreurs du précédent : les modèles qui gagnent sur données tabulaires.

01 · Pourquoi ce chapitre

Sur les données tabulaires, les méthodes de gradient boosting (XGBoost, CatBoost, LightGBM) sont souvent les plus performantes — au point d'être le premier réflexe en compétition et de plus en plus utilisées en pharmacométrie (estimation d'AUC, TDM).

Elles reposent sur les arbres du chapitre précédent, mais assemblés autrement.

02 · Intuition

Là où la forêt moyenne des arbres indépendants, le boosting les ajoute séquentiellement : chaque nouvel arbre corrige les erreurs (résidus) laissées par la somme des précédents.

Passez le module en mode « Boosting » et augmentez les itérations : l'ajustement s'affine pas à pas, comme une mise au point progressive.

03 · La formule décortiquée

On construit le modèle additif par étapes. À l'itération $m$ :

F_m(x) = F_{m-1}(x) + \nu\, h_m(x)

où $h_m$ ajuste le gradient négatif de la perte (les résidus pour une perte quadratique) et $\nu$ est le taux d'apprentissage. XGBoost minimise un objectif régularisé avec une approximation au second ordre :

\mathcal{L} = \sum_i \ell(y_i,\hat y_i) + \sum_k \Omega(f_k),\qquad \Omega(f)=\gamma T + \tfrac{1}{2}\lambda\lVert w\rVert^2

CatBoost ajoute le boosting ordonné (réduit le biais de fuite) et un traitement natif des variables catégorielles.

04 · Exemple concret

Pour prédire une exposition à partir de covariables et de prélèvements épars, un XGBoost bien réglé (profondeur faible, $\nu$ petit, beaucoup d'arbres) atteint souvent une meilleure précision qu'un modèle bayésien — à condition d'une base d'apprentissage riche.

CatBoost brille quand des covariables sont catégorielles (centre, formulation, génotype codé en classes).

05 · Piège fréquent

Le boosting surajuste vite si on le laisse faire.

06 · À retenir

Boosting = arbres ajoutés séquentiellement, chacun corrigeant les résidus (le gradient).
$F_m = F_{m-1} + \nu,h_m$ ; le taux d'apprentissage $\nu$ contrôle la vitesse.
XGBoost : objectif régularisé + second ordre ; CatBoost : boosting ordonné + catégories.
Puissant sur données tabulaires, mais surajuste sans validation (arrêt précoce).

Point de contrôle

Vérifiez votre compréhension

Q1. Le principe du gradient boosting est de...

Q2. Par rapport au gradient boosting classique, XGBoost ajoute surtout...

Q3. CatBoost est particulièrement adapté quand...

Exercices d'entraînement

Activités guidées

Cas en plusieurs étapes combinant calcul, interprétation et raisonnement.

Activité guidée · 10 min · Niveau 2

Une correction à petit pas

Calcul · InterprétationÀ commencer

Citer cette page

Berrah R. Gradient boosting : XGBoost et CatBoost. PMx Explain, 2026. https://rberrah.github.io/pharmacometrie/chapitres/ai-boosting/

@misc{berrah2026aiboosting,
  author       = {Berrah, Racym},
  title        = {{Gradient boosting : XGBoost et CatBoost}},
  howpublished = {PMx Explain},
  year         = {2026},
  url          = {https://rberrah.github.io/pharmacometrie/chapitres/ai-boosting/},
  note         = {Texte actuel sous licence CC BY-NC-SA 4.0}
}