Sur-apprentissage / overfitting – DatArtisanal

Return to course: Parcours Data Scientist

Leçon précédente Précédent Next Prochaine Leçon

Parcours Data Scientist

Resources

Contexte et Objectifs
Construire un dossier de modélisation
Banque et méthodes de scoring
Prise en main de l'environnement R
Importer des données multi-formats
Explication de l'objectif du cours et compréhension de la base
Analyses exploratoires des données
Gestion des labels des variables
Identifier des anomalies et des atypies
Variable dépendante / cible / à expliquer
Variables explicatives / indépendantes
Automatisation des analyses exploratoires
Analyser la variable cible du modèle
Synthèse vision stock versus flux
Observation du risque et des caractéristiques
Implication sur la variable Y
Implication sur les variables X
Principes de collecte des données

Introduction à la Data Quality
Gestion des valeurs manquantes
Détection des valeurs manquantes
Imputation des valeurs manquantes
Méthode d’imputation stochastique
Traitement des valeurs manquantes par imputation stochastique
Valeurs extrêmes / Valeurs aberrantes
Détection des valeurs extrêmes et aberrantes
Analyser le risque des valeurs extrêmes
Clé primaire / Clé secondaire
Contrôle des informations doublonnées
Création d'un mini dashboard de Data Quality
Synthèse des résultats
Comprendre le feature scaling
Application du Min-Max Scaler
Application du Unit Vector Scaler

Quizz Module 2 - Traitement de données

Comprendre la discrétisation des variables
Fonctions de regroupement des modalités
Discrétisation de la variable "Adresse Géographique"
Discrétisation de la variable "Genre"
Discrétisation de la variable "Ancienneté bancaire"
Discrétisation de la variable "Nombre de crédit"
Discrétisation de la variable "Montant d'encours"
Discrétisation de la variable "Age"
Discrétisation de la variable "Notation interne"
Discrétisation de la variable "Revenu estimé"
Discrétisation des variables "Top CB" et "Top Mobilité Bancaire"
Objectifs de l'échantillonnage (train/test)
Introduction aux techniques de sondage (1/4)
Introduction aux techniques de sondage (2/4)
Introduction aux techniques de sondage (3/4)
Introduction aux techniques de sondage (4/4)
Construction des échantillons train et test
Validation structurelle sur petit échantillon
Implémentation de la variable structurelle
Comprendre l’indicateur de stabilité en volume
Analyse de représentativité de la stratification
Analyse de la stabilité des variables
Gestion des formats de la base d'apprentissage

Qu'est-ce qu'un modèle ?
Etat de l'art des techniques de modélisation
Régression logistique et régression linéaire
Régression logistique - compréhension avancée
Intuition sur le Maximum de Vraisemblance
Comprendre les coefficients de la régression logistique
Attribution des modalités de référence
Intensité du lien entre les variables
Introduction au V de Cramer
Corrélation avec la variable cible
Corrélation des variables explicatives entre elles
Backward Elimination
Test de Wald – Compréhension
Application de la Backward Elimination sur la régression logistique
Tester des variables croisées
Matrice de confusion
Courbe ROC
Indice de Gini
Pilotage de la performance du modèle
Visualisation de la performance du modèle
Sur-apprentissage / overfitting
Vérifier le sur-apprentissage
Construction des courbes de sélection
Logit et transformation en probabilité
Coefficient de Spearman
Contrôle des rankings par le coefficent de Spearman

Comprendre l'intérêt d'une période Hors Temps
Analyse des données de la base Hors Temps
Analyse de la qualité des données de la base Hors Temps
Analyse de la variable cible sur la période Hors temps
Discrétisation de la variable "Notation interne"
Discrétisation des variables "Top Mobilité Bancaire" et "Age"
Discrétisation des variable « Adresse bancaire » et "Genre" (détection anomalie)
Discrétisation la variable "Nombre de crédit" (parler à l'IT)
Rapprochement des bases d'Apprentissage et d'Hors Temps
Etudier la stabilité temporelle des variables
Analyse de la représentativité de la base Hors Temps
Mesure de performance globale sur la base Hors Temps
Mesure de performance temporelle (fine)
Analyse de l'évolution des corrélations des variables explicatives
Analyse de l'évolution des corrélations avec la variable cible
Analyse et confrontation des résultats

Grille de score
Calculer les points de chaque observation
Implémentation du calcul des points
Comprendre le cut-off d'un score
Fixer un cut-off de score
Application de la matrice de confusion
Calculer la contribution de chaque variable au score
Implémentation du calcul des contributions
Construction de la grille de score
Approfondir l'indicateur de stabilité
Implémentation de l'IS Score et de l'IS - VG
Analyse des résultats
Principe de la segmentation amont en statistique
Comprendre la méthode de Satterwhaite
Pilotage stratégie et coût du risque
Cut-off et changement de modèle
Application de la stratégie de pilotage

Concevoir correctement un CV
Préparer son entretien d'embauche
Les erreurs à éviter lors de l'échange
Question type 1 : Décrivez les étapes d'un score
Question type 2 : Parlez nous du processus ETL
Question type 3 : Etes-vous à l'aise avec le ML ?
Question type 4 : Décrivez les principes de modélisation

Prenez 5 mins...

Sur-apprentissage / overfitting

You are unauthorized to view this page.

Login

Politique de Confidentialité des Cookies

Pour offrir une expérience optimale, nous utilisons des technologies comme les cookies afin d’assurer le bon fonctionnement du site et d’adapter son contenu. Votre consentement nous aide à améliorer la navigation et à proposer des services mieux adaptés. Vous avez la possibilité de gérer vos préférences à tout moment, sachant que certains choix peuvent influencer certaines fonctionnalités du site.

Fonctionnel Fonctionnel Toujours activé

L’accès ou le stockage technique est strictement nécessaire dans la finalité d’intérêt légitime de permettre l’utilisation d’un service spécifique explicitement demandé par l’abonné ou l’utilisateur, ou dans le seul but d’effectuer la transmission d’une communication sur un réseau de communications électroniques.

Préférences Préférences

Le stockage ou l’accès technique est nécessaire dans la finalité d’intérêt légitime de stocker des préférences qui ne sont pas demandées par l’abonné ou l’utilisateur.

Statistiques Statistiques

Le stockage ou l’accès technique qui est utilisé exclusivement à des fins statistiques. Le stockage ou l’accès technique qui est utilisé exclusivement dans des finalités statistiques anonymes. En l’absence d’une assignation à comparaître, d’une conformité volontaire de la part de votre fournisseur d’accès à internet ou d’enregistrements supplémentaires provenant d’une tierce partie, les informations stockées ou extraites à cette seule fin ne peuvent généralement pas être utilisées pour vous identifier.

Marketing Marketing

Le stockage ou l’accès technique est nécessaire pour créer des profils d’utilisateurs afin d’envoyer des publicités, ou pour suivre l’utilisateur sur un site web ou sur plusieurs sites web ayant des finalités marketing similaires.

Gérer les options
Gérer les services
Gérer {vendor_count} fournisseurs
En savoir plus sur ces finalités

Voir les préférences

{title}
{title}
{title}