Klassifikationsentscheidung

Im Bereich Klassifikationsentscheidung können Sie die Entscheidungsschwelle für jedes binäre Ziel auswählen, bevor Sie das Modell im "Entscheidungsmodus" anwenden. Diese Entscheidung erscheint dann für jede Beobachtung in der Ergebnisdatei der Modellanwendung.

Die Entscheidung wird anhand der folgenden benutzerfreundlichen Entscheidungskriterien getroffen:

  • Punktwertschwelle: gibt den Punktwert an, mit dem positive Beobachtungen von negativen Beobachtungen getrennt werden.
  • Erwarteter Prozentanteil des erkannten Ziels: erkennt x Prozent der Zielpopulation.
  • Erwarteter Prozentanteil der als Ziel gesetzten Population: erkennt x Prozent der gesamten Population.
Definitionen
  • Eine positive Beobachtung ist eine Beobachtung, die zur Zielpopulation gehört.
  • Eine negative Beobachtung ist eine Beobachtung, die nicht zur Zielpopulation gehört.
Parameter

Ziel

Wählen Sie die Zielvariable aus, für die Sie die Verwechslungsmatrix anzeigen möchten, indem Sie die entsprechende Registerkarte auswählen. Nur nominale Ziele sind verfügbar.

Verwechslungsmatrix

Die Schwelle kann mithilfe des angezeigten Schiebereglers auf drei verschiedene Arten festgelegt werden:

  • durch Auswahl des Prozentsatzes der Population zum Ziel, wenn die Population nach absteigendem Punktwert sortiert ist (% der Population),
  • durch Auswahl des Prozentsatzes der positiven Beobachtungen, die Sie ermitteln möchten (% des erkannten Ziels),
  • durch Auswahl des Punktwerts der zur Unterscheidung der positiven Beobachtungen von negativen verwendet wird (Punktwertschwelle). Jede Beobachtung mit einem Punktwert über der Schwelle wird als positiv angesehen, jede Beobachtung mit einem Punktwert unter der Schwelle hingegen als negativ.

Der Schieberegler reicht vom niedrigsten Punktwert (links) bis zum höchsten Punktwert (rechts). Die jeder Option entsprechenden Werte werden unter dem Schieberegler angezeigt.

Wenn Sie den Regler verschieben, wird die Verwechslungsmatrix entsprechend aktualisiert. In der folgenden Tabelle wird erläutert, wie die Verwechslungsmatrix zu lesen ist.

Predicted[Target Category]

Positive Beobachtungen prognostiziert

Predicted[Non-target Category]

Negative Beobachtungen prognostiziert

True[Target Category]

Tatsächliche positive Beobachtungen

Anzahl der korrekt prognostizierten positiven Beobachtungen Anzahl der tatsächlichen positiven Beobachtungen, die negativ prognostiziert wurden

True[Non-target Category]

Tatsächliche negative Beobachtungen

Anzahl der tatsächlichen negativen Beobachtungen, die positiv prognostiziert wurden Anzahl der korrekt prognostizierten negativen Beobachtungen

Standardmäßig ist die Gesamtpopulation die Anzahl der Datensätze im Validierungsdatenset. Sie können diese Zahl ändern, um die Verwechslungsmatrix für die Population anzuzeigen, auf die Sie das Modell anwenden möchten.

Metriken

  • Die Klassifikationsrate ist der Prozentsatz der Daten, die vom Modell bei der Anwendung auf das Trainingsdatenset korrekt klassifiziert wurden.
  • Die Sensitivität ist der Prozentsatz der tatsächlichen positiven Beobachtungen, die korrekt als solche identifiziert wurden.
  • Die Spezifizität ist der Prozentsatz der negativen Beobachtungen, die korrekt als solche identifiziert wurden.
  • Die Genauigkeit ist der Prozentsatz, zu dem wiederholte Messungen unter veränderten Bedingungen zu denselben Ergebnissen führen.
  • Der Punktwert zeigt an, wie stark eine Wahrscheinlichkeitsfunktion von ihren Parametern abhängt.

    Die Wahrscheinlichkeit eines Satzes von Parameterwerten, wenn bestimmte beobachtete Ergebnisse vorliegen, entspricht der Wahrscheinlichkeit dieser beobachteten Ergebnisse, wenn jene Parameterwerte gegeben sind.

Gewinn

In diesem Abschnitt können Sie den Gewinn je nach dem ausgewählten Punktwert visualisieren oder den Punktwert je nach den Gewinnparametern automatisch auswählen.

Geben Sie für jede Beobachtungskategorie einen Gewinn oder Kosten pro Beobachtung ein. Der Gesamtgewinn wird automatisch auf der rechten Seite der Tabelle angezeigt.

Um die Schwelle zu erfahren, die Ihnen einen maximalen Gewinn für die von Ihnen festgelegten Gewinnparameter liefert, wählen Sie Gewinn maximieren.

Beispiel

In der folgenden Gewinn-/Kostentabelle bringt jede korrekt identifizierte positive Beobachtung 15 Dollar, aber jede negative Beobachtung, die als positive identifiziert wurde, kostet Sie 8 Dollar.

Kategorie Prognostiziert[1] Prognostiziert[0]
Wahr[1] 15 0
Wahr[0] -8 0