Матрица неточностей

На панели Матрица неточностей можно визуализировать целевые значения, прогнозируемые моделью, в сравнении с фактическими значениями и определить оценку, наблюдения выше которой считаются положительными, то есть наблюдениями с требуемым целевым значением. На этой панели также можно смоделировать прибыль в зависимости от выбранной пороговой оценки или автоматически адаптировать порог для получения максимальной прибыли.

Определения
  • Положительное наблюдение — это наблюдение, которое относится к целевой популяции.
  • Отрицательное наблюдение — это наблюдение, которое не относится к целевой популяции.
Параметры
  • Цель

Чтобы выбрать целевую переменную для просмотра матрицы неточностей, перейдите на соответствующую вкладку. Доступны только номинальные цели.

Матрица неточностей

Существует три способа настройки порога с помощью отображаемого ползунка.

  • Выберите процент целевой популяции, если популяция сортируется по оценке по нисходящей (% популяции).
  • Выберите процент положительных наблюдений, чтобы определить (% распознанной цели).
  • Выберите оценку для дифференциации положительных наблюдений от отрицательных (Порог оценки). Наблюдения с оценкой выше порога считаются положительными, с оценкой ниже порога — отрицательными.

Ползунок имеет шкалу от низшей оценки (слева) до высшей оценки (справа). Значения для каждой опции отображаются под ползунком.

При перемещении курсора матрица неточностей обновляется соответствующим образом. В следующей таблице приведено объяснение матрицы неточностей.

Predicted[Target Category]

Прогнозируемые положительные наблюдения

Predicted[Non-target Category]

Прогнозируемые отрицательные наблюдения

True[целевая категория]

Фактические положительные наблюдения

Число корректно спрогнозированных положительных наблюдений Число фактических положительных наблюдений, спрогнозированных как отрицательные

True[не целевая категория]

Фактические отрицательные наблюдения

Число фактических отрицательных наблюдений, спрогнозированных как положительные Число корректно спрогнозированных отрицательных наблюдений

По умолчанию для числа записей в наборе проверочных данных выбрано Вся популяция. Это число можно изменить, чтобы просмотреть матрицу неточностей для популяции, к которой применяется модель.

  • Метрики
  • Процент классификации — это процент данных, точно классифицированных моделью при применении к набору данных для обучения.
  • Чувствительность — это процент фактических положительных наблюдений, распознанных корректно.
  • Специфичность — это процент фактических отрицательных наблюдений, распознанных корректно.
  • Точность — это процент совпадения результатов повторных изменений в одинаковых условиях.
  • Оценка указывает, насколько функция вероятности зависит от параметров.

    Вероятность набора значений параметров при определенных наблюдаемых результатах равна вероятности этих наблюдаемых результатов при таких значениях параметров.

Прибыль

В этом разделе можно визуализировать прибыль в зависимости от выбранной оценки или автоматически выбрать оценку по параметрам прибыли.

Для каждой категории наблюдения введите прибыль или затраты на наблюдение. Общая прибыль автоматически отображается справа от таблицы.

Чтобы определить порог, который принесет максимальную прибыль при установленных параметрах прибыли, нажмите кнопку Максимально увеличить прибыль.

Пример

В следующей таблице прибыли и затрат каждое корректно определенное положительное наблюдение приносит 15 долларов, а каждое отрицательное наблюдение, определенное как положительное, несет затраты в 8 долларов.

Категория Predicted[1] Predicted[0]
True[1] 15 0
True[0] -8 0