Verwechslungsmatrix

Im Bereich Verwechslungsmatrix können Sie die vom Modell prognostizierten Zielwerte im Vergleich mit den realen Werten visualisieren. Des Weiteren können Sie den Punktwert festlegen, über dem die Beobachtungen als positiv angesehen werden. Diese Beobachtungen weisen den gewünschten Zielwert auf. In diesem Bereich können Sie den Gewinn je nach dem ausgewählten Schwellenpunktwert simulieren oder die Schwelle automatisch anpassen, um einen maximalen Gewinn zu erhalten.

Definitionen
  • Eine positive Beobachtung ist eine Beobachtung, die zur Zielpopulation gehört.
  • Eine negative Beobachtung ist eine Beobachtung, die nicht zur Zielpopulation gehört.
Parameter
  • Ziel

Wählen Sie die Zielvariable aus, für die Sie die Verwechslungsmatrix anzeigen möchten, indem Sie die entsprechende Registerkarte auswählen. Nur nominale Ziele sind verfügbar.

Verwechslungsmatrix

Die Schwelle kann mithilfe des angezeigten Schiebereglers auf drei verschiedene Arten festgelegt werden:

  • durch Auswahl des Prozentsatzes der Population zum Ziel, wenn die Population nach absteigendem Punktwert sortiert ist (% der Population),
  • durch Auswahl des Prozentsatzes der positiven Beobachtungen, die Sie ermitteln möchten (% des erkannten Ziels),
  • durch Auswahl des Punktwerts der zur Unterscheidung der positiven Beobachtungen von negativen verwendet wird (Punktwertschwelle). Jede Beobachtung mit einem Punktwert über der Schwelle wird als positiv angesehen, jede Beobachtung mit einem Punktwert unter der Schwelle hingegen als negativ.

Der Schieberegler reicht vom niedrigsten Punktwert (links) bis zum höchsten Punktwert (rechts). Die jeder Option entsprechenden Werte werden unter dem Schieberegler angezeigt.

Wenn Sie den Regler verschieben, wird die Verwechslungsmatrix entsprechend aktualisiert. In der folgenden Tabelle wird erläutert, wie die Verwechslungsmatrix zu lesen ist.

Predicted[Target Category]

Positive Beobachtungen prognostiziert

Predicted[Non-target Category]

Negative Beobachtungen prognostiziert

Wahr[Zielkategorie]

Tatsächliche positive Beobachtungen

Anzahl der korrekt prognostizierten positiven Beobachtungen Anzahl der tatsächlichen positiven Beobachtungen, die negativ prognostiziert wurden

Wahr[Keine Zielkategorie]

Tatsächliche negative Beobachtungen

Anzahl der tatsächlichen negativen Beobachtungen, die positiv prognostiziert wurden Anzahl der korrekt prognostizierten negativen Beobachtungen

Standardmäßig ist die Gesamtpopulation die Anzahl der Datensätze im Validierungsdatenset. Sie können diese Zahl ändern, um die Verwechslungsmatrix für die Population anzuzeigen, auf die Sie das Modell anwenden möchten.

  • Metriken
  • Die Klassifikationsrate ist der Prozentsatz der Daten, die vom Modell bei der Anwendung auf das Trainingsdatenset korrekt klassifiziert wurden.
  • Die Sensitivität ist der Prozentsatz der tatsächlichen positiven Beobachtungen, die korrekt als solche identifiziert wurden.
  • Die Spezifizität ist der Prozentsatz der negativen Beobachtungen, die korrekt als solche identifiziert wurden.
  • Die Genauigkeit ist der Prozentsatz, zu dem wiederholte Messungen unter veränderten Bedingungen zu denselben Ergebnissen führen.
  • Der Punktwert zeigt an, wie stark eine Wahrscheinlichkeitsfunktion von ihren Parametern abhängt.

    Die Wahrscheinlichkeit eines Satzes von Parameterwerten, wenn bestimmte beobachtete Ergebnisse vorliegen, entspricht der Wahrscheinlichkeit dieser beobachteten Ergebnisse, wenn jene Parameterwerte gegeben sind.

Gewinn

In diesem Abschnitt können Sie den Gewinn je nach dem ausgewählten Punktwert visualisieren oder den Punktwert je nach den Gewinnparametern automatisch auswählen.

Geben Sie für jede Beobachtungskategorie einen Gewinn oder Kosten pro Beobachtung ein. Der Gesamtgewinn wird automatisch auf der rechten Seite der Tabelle angezeigt.

Um die Schwelle zu erfahren, die Ihnen einen maximalen Gewinn für die von Ihnen festgelegten Gewinnparameter liefert, wählen Sie Gewinn maximieren.

Beispiel

In der folgenden Gewinn-/Kostentabelle bringt jede korrekt identifizierte positive Beobachtung 15 Dollar, aber jede negative Beobachtung, die als positive identifiziert wurde, kostet Sie 8 Dollar.

Kategorie Prognostiziert[1] Prognostiziert[0]
Wahr[1] 15 0
Wahr[0] -8 0