Поділитися через

Перегляд точності та ефективності моделей прогнозного оцінювання

  • Стаття

Знання того, наскільки точною є модель прогнозного оцінювання, допоможе вам вирішити, чи готова модель до використання, чи її потрібно доопрацювати для підвищення точності. Це також допоможе вам переконати вашу команду керівників і продавців прийняти модель для покращення бізнес-результатів.

Показники, описані в цій статті, застосовуються як до оцінювання можливостей, так і до оцінювання потенційних клієнтів.

Вимоги до ліцензії та ролей

Тип вимоги У вас повинно бути
Ліцензія Dynamics 365 Sales Premium або Dynamics 365 Sales Enterprise
Додаткові відомості: Dynamics 365 Ціноутворення продажів
Ролі безпеки системного адміністратора
Додаткові відомості: Попередньо визначені ролі безпеки для продажів

Фактори, що впливають на точність

Модель прогнозного оцінювання розраховує ймовірність того, що потенційна угода або потенційний клієнт призведе до продажу. Точність моделі залежить від наступних факторів:

  • Якість і обсяг даних, доступних для навчання моделі
  • потік бізнес-процесу та фільтри, які ви вибираєте
  • Етапи та атрибути, які ви вибираєте, якщо модель використовує поетапне моделювання

Модель тренується з використанням 80% закритих можливостей або лідів у тренувальному наборі даних. Він перевіряється з використанням решти 20% як тестового набору даних, який складається з найновіших записів. Точність моделі розраховується за допомогою валідованого набору тестових даних на основі таких параметрів, як правдиві спрацьовування, помилкові спрацьовування тощо.

Переглядайте показники точності та ефективності

  1. Перейдіть до області змін у нижньому лівому куті програми Центр збуту та виберіть Налаштування статистики продажів.

  2. На карті сайту в розділі "Прогнозні моделі" виберіть Оцінка можливостей або Оцінювання потенційних клієнтів.

  3. У списку Вибрати модель виберіть модель.

  4. Виберіть вкладку Продуктивність .

    Знімок екрана вкладки

На вкладці "Ефективність " відображаються наведені нижче показники. Якщо на вкладці "Ефективність " ви не бачите жодних показників, відредагуйте та перенавчайте модель оцінювання можливостей.

  • Продуктивність моделі: визначає, чи готова модель до публікації на основі таких параметрів:

    • Точність: як часто модель робила правильні прогнози, позитивні або негативні. Цей показник найбільш корисний, коли набір даних збалансований, а вартість помилкових спрацьовувань і помилкових негативних результатів однакова. Tоцінка точності розраховується за такою формулою:

      Точність = (TP + TN) / (Загальна кількість набраних можливостей або лідів) *100

    • Нагадаємо: як часто модель правильно передбачала позитивний результат у порівнянні з фактичними позитивними результатами. Низький показник пригадування означає, що модель прогнозує менше справжніх позитивних результатів. Оцінка за відкликання розраховується за такою формулою:

      Відкликання = ТП / (ТП + ФН) *100

    • Коефіцієнт конверсії: відсоток потенційних клієнтів або потенційних клієнтів, які були кваліфіковані або виграні відповідно до історичних даних, або ймовірність того, що потенційна угода або потенційний клієнт здійснить конверсію. Модель використовує це значення, щоб визначити, як атрибут впливатиме на прогнозну оцінку. Коефіцієнт конвертації розраховується за такою формулою:

      Коефіцієнт конверсії = (TP + FN) / (Загальна кількість отриманих можливостей або лідів) *100

  • Матриця плутанини: наскільки добре ваша модель передбачила результати, коли її перевіряли на історичних даних. Матриця відображає кількість істинно позитивних, істинно негативних, помилкових спрацьовувань і помилкових негативних результатів.

    Показник Передбачив Фактично
    Істинно позитивний результат (TP) Так Так
    Істинно негативний результат (TN) No No
    Помилковий результат (FP) Так No
    Хибно негативний результат (FN) No Так

  • Площа під кривою: оцінка області під кривою (AUC) моделі. Оцінка AUC визначає ймовірність того, що модель оцінить випадково вибраний позитивний екземпляр (виграна можливість або кваліфікований лід) вище, ніж випадково вибраний негативний (втрачена можливість або дискваліфікований лід). Модель з більш високим AUC краще прогнозує справжні позитивні і істинні негативні.

  • Оцінка Формули-1: оцінка Формули-1, розрахована на основі точності моделі та показників запам’ятовування. Оцінка F1 визначає якість моделі навіть при незбалансованості даних.

  • Поріг: поріг, за якого потенційний клієнт або потенційна угода вважаються кваліфікованими або виграними. Наприклад, якщо поріг становить 45, можливості з рахунком більше 45 будуть прогнозуватися як виграні. Поріг вибирається для оптимізації оцінки Формули-1.

Приклад: показники ефективності моделі

Давайте подивимося на результати прогнозу для вибіркового набору даних з 1 000 можливостей:

Дані Кількість можливостей
Справжній позитив 650
Помилковий результат 200
Істинний негатив 100
Хибно негативний 50

Модель передбачала 850 (TP + FP) можливостей, які будуть виграні; однак насправді було виграно лише 650 (ТП) можливостей. Аналогічно, модель передбачала 150 (TN + FN) можливостей, які будуть втрачені, але насправді було втрачено лише 100 (TN) можливостей.

У наведеній нижче таблиці наведено показники для даних.

Показник Оцінка
Точність (650 + 100) / 1 000 = 75%
Відкликати 650 / (650 + 50) = 92%
Коефіцієнт конверсії (650 + 50) / 1 000 = 70%

Покращення продуктивності моделі

Якщо ваша модель не готова до публікації або демонструє погану ефективність, спробуйте покращити її оцінки.

  • Перегляньте атрибути, які він використовує.
  • Переглядайте статистику атрибутів , щоб зрозуміти її вплив на загальний прогноз моделі.
  • Ігноруйте порожні значення для атрибутів, які мають більший відсоток порожніх значень і можуть спричиняти помилкові спрацьовування або помилкові негативні результати.
  • Додавайте інтелектуальні поля , які допоможуть моделі оцінювання потенційних клієнтів відрізняти фактори, які покращують або шкодять оцінці.
  • Використовуйте поетапне моделювання в моделі оцінювання можливостей, щоб вибрати атрибути, які будуть застосовуватися до кожного етапу бізнес-процесу.
  • Уточніть критерії фільтра, період часу для даних тренувань або інші конфігурації моделі. Наприклад, якщо ви вибрали два роки як період часу для тренувальних даних, але за цей період забагато тестів або неправильних записів, виберіть коротший період часу, наприклад шість місяців або один рік, коли якість ваших даних краща.

Не вдається знайти параметри в програмі?

Можливі три причини.

  • У вас немає необхідної ліцензії або ролі. Перегляньте розділ Вимоги до ліцензії та ролей угорі цієї сторінки.
  • Ваш адміністратор не вмикав цю функцію.
  • У вашій організації використовується настроювана програма. Зверніться до свого адміністратора, щоб отримати точні вказівки. Кроки, описані в цій статті, стосуються виключно готових програм Центр збуту та Sales Professional.

Налаштуйте Прогнозне оцінювання потенційних клієнтів
Налаштування Прогнозне оцінювання потенційних угод