Décision de classement

Le panneau Décision de classement vous permet de choisir le seuil de décision pour chaque cible binaire avant d'appliquer le modèle en mode "Décision". Cette décision figurera pour chaque observation dans le fichier de résultats de l'application du modèle.

La décision repose sur l'un des critères de décision suivants :

  • Score : indique le score utilisé pour séparer les observations positives des observations négatives.
  • Pourcentage attendu de cibles détectées : détecte x% de la population cible.
  • Pourcentage attendu de la population visée : détecte x% de la population totale.
Définitions
  • On appelle observation positive toute observation appartenant à la population cible.
  • On appelle observation négative toute observation n'appartenant pas à la population cible.
Paramètres

Cible

Sélectionnez la variable cible pour laquelle vous voulez afficher la matrice de confusion en cliquant sur l'onglet correspondant. Seules les cibles nominales sont disponibles.

Matrice de confusion

Il existe trois façons de définir le seuil à l'aide du curseur affiché :

  • en sélectionnant le pourcentage de population visé si la population est triée par ordre décroissant de score (% de la population)
  • en sélectionnant le pourcentage d'observations positives que vous souhaitez détecter (% de cible détectée)
  • en sélectionnant directement le score à utiliser comme seuil (Score). Toute observation dont le score est supérieur au seuil est considérée comme positive et toute observation dont le score est inférieur au seuil est considérée comme négative.

L'échelle est graduée du plus petit score (à gauche), au plus grand (à droite). Les valeurs correspondant à chaque option sont affichées dans des champs situés sous l'échelle.

Lorsque vous déplacez le curseur sur l'échelle, la matrice de confusion est modifiée en conséquence. Le tableau ci-dessous indique comment lire la matrice de confusion.

Predicted[Target Category]

Observations positives prédites

Predicted[Non-target Category]

Observations négatives prédites

True[Target Category]

Observations positives réelles

Nombre d'observations positives correctement prévues Nombre d'observations réellement positives mais prédites négatives

True[Non-target Category]

Observations négatives réelles

Nombre d'observations réellement négatives mais prédites positives Nombre d'observations négatives correctement prévues

Par défaut, la Population totale est égale au nombre d'enregistrements dans le jeu de données de validation. Vous pouvez modifier ce nombre pour visualiser la matrice sur la population sur laquelle vous voulez appliquer votre modèle.

Les Métriques

  • Le Taux de classement correspond à la proportion de données correctement classée par le modèle lors de son application sur le jeu de données d'entraînement.
  • La Sensibilité d'un test mesure sa capacité à donner un résultat positif lorsqu'une hypothèse est vérifiée.
  • La Spécificité d'un test mesure sa capacité à donner un résultat négatif lorsque l'hypothèse n'est pas vérifiée.
  • La Précision est le pourcentage avec lequel des mesures répétées dans des conditions inchangées donnent des résultats identiques.
  • Le Score indique à quel point la fonction de vraisemblance dépend de son paramètre.

    La fonction de vraisemblance est une fonction de probabilités conditionnelles qui décrit les valeurs d'une loi statistique en fonction de paramètres supposés connus.

Profit

Cette section vous permet de visualiser votre profit par rapport au score sélectionné, ou bien de sélectionner automatiquement le score d'après les paramètres de profit.

Pour chaque catégorie d'observations, saisissez un profit ou un coût par observation. Le profit total est automatiquement affiché dans le champ Profit situé à droite.

Pour sélectionner automatiquement le seuil de score qui vous permettra de faire le maximum de profit, remplissez la matrice de coût puis cliquez sur le bouton Maximiser le profit.

Exemple

Dans le tableau profit-coût ci-dessous, chaque observation positive correctement identifiée rapportera 15 € mais chaque observation négative identifiée comme positive coûtera 8 €.

Catégorie Prévu[1] Prévu[0]
Réel[1] 15 0
Réel[0] -8 0