Поделиться через

Просмотр точности и производительности моделей прогнозной оценки

  • Статья

Знание точности модель прогнозного скоринга помогает решить, готова ли модель к использованию или она требуется точной настройки для повышения точности. Это также поможет вам убедить руководство и продавцов принять модель для улучшения результатов бизнеса.

Показатели, описанные в этой статье, применимы как к оценке возможных сделок, так и к оценке интересов.

Требования к лицензии и роли

Тип требования Вы должны иметь
Виды Dynamics 365 Sales Premium или Dynamics 365 Sales Enterprise
Подробнее: Цены на Dynamics 365 Sales
Роли безопасности Системный администратор
Дополнительные сведения: Предопределенные роли безопасности для Sales

Факторы, которые влияют на точность

Модель прогнозного скоринга вычисляет вероятность того, что возможная сделка или интерес приведут к продаже. Точность модели зависит от следующих факторов:

  • Качество и объект данных, доступных для обучения модели
  • Выбранные вами поток бизнес-процесса и фильтры
  • Выбираемые вами этапы и атрибуты, если модель использует поэтапное моделирование

Модель обучается на 80% закрытых возможных сделок или интересов в обучающем наборе данных. Это проверяется с использованием оставшихся 20% в качестве тестового набора данных, состоящего из самых последних записей. Точность модели рассчитывается с помощью проверенного тестового набора данных на основе параметров, таких как истинные положительные результаты, ложные положительные результаты и т. д.

Просмотр показателей точности и производительности

  1. Выберите Изменить область в нижнем левом углу приложения "Центр продаж" и выберите Параметры Sales Insights.

  2. На карте сайта выберите в разделе Прогнозные модели выберите Оценка возможной сделки или Оценка потенциального клиента.

  3. В списке Выберите модель выберите модель.

  4. Выберите вкладку Производительность.

    Снимок экрана вкладки «Производительность», на которой показаны показатели точности модели.

Вкладка Производительность отображает следующие метрики. Если вы не видите ни одной метрики на вкладке Производительность, отредактируйте и переобучите модель оценки возможных сделок.

  • Эффективность модели: указывает, готова ли модель к публикации, на основе следующих параметров:

    • Точность: как часто ваша модель делает правильные прогнозы, как положительные, так и отрицательные. Этот показатель наиболее полезен, когда набор данных сбалансирован, а стоимость ложноположительных и ложноотрицательных результатов одинакова. Показатель точности рассчитывается по следующей формуле:

      Точность = (Истинные положительные + Истинные отрицательные) / (Общее количество оцененных возможных сделок или интересов) * 100

    • Отзыв: как часто модель правильно предсказывала положительный результат по сравнению с фактическими положительными результатами. Низкий балл отзыва означает, что модель предсказывает меньше истинных положительных результатов. Показатель отзыва рассчитывается по следующей формуле:

      Отзыв = Истинные положительные / (Истинные положительные + Ложноотрицательные) * 100

    • Коэффициент конверсии: процент возможных сделок или интересов, которые были квалифицированы или реализованы, согласно историческим данным, или вероятность того, что возможная сделка или интерес будет конвертирован. Модель использует это значение, чтобы определить, как атрибут повлияет на прогнозную оценку. Коэффициент конверсии рассчитывается по следующей формуле:

      Коэффициент конверсии = (Истинные положительные + Ложноотрицательные) / (Общее количество оцененных возможных сделок или интересов) * 100

  • Матрица несоответствий: насколько хорошо ваша модель прогнозировала результаты, когда она была протестирована на исторических данных. Матрица отображает количество истинно положительных, истинно отрицательных, ложноположительных и ложноотрицательных результатов.

    Метрика Спрогнозировано Факт
    Истинно положительный результат Да Да
    Истинно отрицательный результат No No
    Ложноположительный результат Да No
    Ложноотрицательный результат No Да

  • Площадь под кривой: показатель площади под кривой (AUC) модели. Показатель AUC определяет вероятность того, что модель ранжирует случайно выбранный положительный экземпляр (выигранную возможную сделку или квалифицированный интерес) выше, чем случайно выбранный отрицательный экземпляр (упущенная возможная сделка или квалифицированный интерес). Модель с более высоким значением AUC лучше предсказывает истинные положительные и истинные отрицательные значения.

  • Оценка F1: оценка F1, рассчитанную на основе оценок точности и полноты модели. Оценка F1 определяет качество модели даже тогда, когда данные не сбалансированы.

  • Порог: порог, при котором интерес или возможная сделка считается квалифицированной или выигранной. Например, если порог равен 45, возможные сделки с оценкой выше 45 будут прогнозироваться как реализованные. Порог выбирается для оптимизации оценки F1.

Пример: показатели производительности модели

Давайте посмотрим на результаты прогноза для выборки набора данных с 1000 возможных сделок:

Данные Число возможных сделок
Истинноположительный результат 650
Ложноположительный результат 200
Истинноотрицательный результат 100
Ложноотрицательный результат 50

Модель предсказала 850 возможных сделок (TP+FP) будут реализованы; однако фактически были реализованы только 650 (TP) возможных сделок. Аналогично, модель предсказывала, что будет упущено 150 (TN + FN) возможных сделок, но фактически было упущено только 100 (TN) возможных сделок.

Следующая таблица показывает метрики для данных.

Метрика Балл
Правильность (650 + 100) / 1000 = 75%
Отзыв 650 / (650 + 50) = 92%
Коэффициент конверсии (650 + 50) / 1000 = 70%

Повышение эффективности модели

Если ваша модель не готова к публикации или работает плохо, попробуйте выполнить следующие действия, чтобы улучшить ее оценки.

  • Просмотрите атрибуты, которые она использует.
  • Просмотрите сведения об атрибутах, чтобы понять влияние из на прогноз модели в целом.
  • Игнорируйте пустые значения для атрибутов, которые имеют более высокий процент пустых значений и могут приводить к ложноположительным или ложноотрицательным результатам.
  • Включите интеллектуальные поля, чтобы помочь модели оценки интересов различать факторы, улучшающие или ухудшающие оценку.
  • Используйте поэтапное моделирование в модели оценки возможных сделок, чтобы выбрать атрибуты, которые будут применяться к каждому этапу бизнес-процесса.
  • Уточните критерии фильтра, период времени для обучающих данных или другие конфигурации модели. Например, если вы выбрали два года как период времени для обучающих данных и имеется слишком много тестовых или неверных записей за этот период, выберите более коротки период времени, шесть месяцев или один год, когда качество ваших данных лучше.

Не можете найти эти параметры в своем приложении?

Существует три возможных причины:

  • У вас нет необходимой лицензии или роли. Проверьте раздел «Требования к лицензиям и ролям» в верхней части этой страницы.
  • Ваш администратор не включил эту функцию.
  • В вашей организации используется пользовательское приложение. Чтобы узнать, какие действия необходимо выполнить, обратитесь к администратору. Описанные в этой статье действия относятся к готовым приложениям "Центр продаж" и Sales Professional.

Настройка прогнозной оценки интересов
Настройка прогнозной оценки возможных сделок