1. Régression linéaire et régularisation

La régression linéaire ordinaire (OLS) minimise la somme des carrés résiduels. Quand le nombre de features p approche ou dépasse le nombre d'observations n, ou en cas de multicolinéarité, la solution explose. La régularisation ajoute une pénalité sur la norme du vecteur de coefficients.

Selon scikit-learn (User Guide 1.1.4) : « The Lasso is a linear model that estimates sparse coefficients. It is useful in some contexts due to its tendency to prefer solutions with fewer non-zero coefficients. »
Source : scikit-learn.org/stable/modules/linear_model.html#lasso

from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('ridge', Ridge())
])

param_grid = {'ridge__alpha': [0.001, 0.01, 0.1, 1, 10, 100, 1000]}
grid = GridSearchCV(pipe, param_grid, cv=5, scoring='neg_mean_squared_error', n_jobs=-1)
grid.fit(X_train, y_train)
print(f"Best alpha: {grid.best_params_}, score: {-grid.best_score_:.3f}")

2. Classification — Logistic Regression et au-delà

2.1 Logistic Regression

Malgré son nom, c'est un classificateur. Modélise la probabilité d'appartenance à une classe via la fonction sigmoïde. Avec penalty='l1', équivalent au Lasso pour la classification.

Multinomial (multi_class='multinomial', solver lbfgs ou saga) pour la classification multiclasse softmax. Évitez One-vs-Rest sauf cas particulier.

2.2 SVM — Support Vector Machine

Construit l'hyperplan maximisant la marge entre classes. Avec le kernel trick, traite des frontières non-linéaires sans projeter explicitement.

3. Random Forest — L'ensemble bagging

Construit n_estimators arbres décisionnels indépendants sur des échantillons bootstrap (tirage avec remise) et un sous-ensemble aléatoire de features (max_features). Agrège par moyenne (régression) ou vote majoritaire (classification).

3.1 Hyperparamètres essentiels

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(
    n_estimators=500,
    max_depth=20,
    min_samples_split=10,
    max_features='sqrt',
    class_weight='balanced',     # déséquilibre 0.17 % fraude
    n_jobs=-1,
    random_state=42
)
rf.fit(X_train, y_train)
print(f"Train: {rf.score(X_train, y_train):.4f}")
print(f"Test:  {rf.score(X_test, y_test):.4f}")

4. Gradient Boosting (sklearn natif)

Construit les arbres séquentiellement, chaque nouvel arbre corrigeant les erreurs résiduelles du précédent. Plus performant que Random Forest sur la majorité des tâches tabulaires, mais entraînement séquentiel = plus lent.

scikit-learn fournit GradientBoostingClassifier et HistGradientBoostingClassifier. HistGBM (depuis sklearn 0.21) est 10-100× plus rapide grâce à la binarisation par histogrammes — équivalent fonctionnel de LightGBM/XGBoost en pure sklearn.

5. Choisir le bon algorithme — Arbre de décision pratique

6. Évaluation des modèles

6.1 Métriques classification

• Accuracy : à éviter si déséquilibre > 70/30
• Precision / Recall / F1 : selon coût des erreurs (fraude → priorité Recall ; spam → priorité Precision)
• ROC-AUC : qualité du ranking, insensible au seuil
• PR-AUC (Average Precision) : préféré à ROC-AUC quand classe minoritaire < 5 %
• Matrice de confusion : indispensable pour comprendre le type d'erreurs

6.2 Métriques régression

• MAE : robuste aux outliers, interprétable dans l'unité de la cible
• RMSE : pénalise davantage les grandes erreurs
• R² : variance expliquée, sensible aux outliers et à la dispersion
• MAPE : erreur relative en %, mais explose si y proche de zéro

7. Synthèse et points-clés

• Régression : Ridge en défaut, Lasso pour la sélection de features, ElasticNet pour groupes corrélés
• Classification linéaire : LogisticRegression L2 en défaut, L1 si sparse, multinomial > OvR
• SVM RBF : excellent < 50 000 lignes, hyperparams C et gamma en grille log
• Random Forest : robuste, peu sensible aux hyperparams, baseline solide
• HistGradientBoosting : meilleur baseline tabulaire 2026 (10-100× > GradientBoostingClassifier)
• Adapter la métrique au déséquilibre (PR-AUC, F1) et au coût des erreurs
• Always pipeline + cross-validation

Pour aller plus loin

• Documentation officielle Supervised learning
• HistGradientBoosting User Guide
• Tuning C et gamma SVM RBF
• Hastie T., Tibshirani R., Friedman J., The Elements of Statistical Learning, Springer 2009 (gratuit)