Atelier ML - Explorer un jeu de données et entraîner un modèle avec son incertitude

Description

Le résultat d'un modèle se résume trop souvent à un chiffre unique dont personne ne connaît la marge d'erreur, et c'est ce point que l'atelier traite en premier. On dépose un fichier CSV, Excel ou Parquet, on regarde ce qu'il contient (distributions, corrélations, valeurs manquantes et aberrantes), puis un assistant en quatre étapes entraîne, règle, évalue et explique le modèle. Chaque session est conservée, archivable et exportable, et deux sessions se comparent côte à côte. Il s'adresse à l'analyste ou à l'expert métier qui veut de la rigueur statistique sans passer par un notebook.

Points clés

• Sept objectifs de prédiction, dont cinq rendent une incertitude au lieu d'un point unique (quantiles, intervalle conformalisé, RMSEWithUncertainty, deux modes bayésiens)
• Intervalles CQR calibrés par zone de cible, avec planchers de 50 échantillons globaux et 30 par zone
• Inférence bayésienne PyMC/NUTS à part entière, avec deux verdicts de convergence délibérément séparés : r-hat et divergences d'un côté, taille d'échantillon effective de l'autre
• Quatorze modèles enregistrés, dont deux baselines, filtrés par objectif pour ne proposer que les modèles compatibles

Outils & Technologies

Approche & Méthodes

• Régression conformalisée par quantiles (CQR), avec tampon calculé par quartile de cible
• Décomposition aléatoire et épistémique par ensembles virtuels CatBoost, utilisée comme signal hors distribution
• Inférence bayésienne par NUTS en régression et en classification, diagnostic prédictif PSIS-LOO
• Sélection de variables par SHAP et variables fantômes
• Optimisation d'hyperparamètres par Optuna, désactivée sur les tâches bayésiennes au profit des réglages d'échantillonnage

Statut