Перегляд точності та продуктивності прогнозних скорингових моделей

Стаття
11/08/2023

Знання того, наскільки точним є модель прогнозного оцінювання, допомагає вирішити, чи готова модель до використання, чи її потрібно доопрацювати для більшої точності. Це також допоможе вам переконати вашу команду керівників і продавців прийняти модель для покращення бізнес-результатів.

Показники, описані в цій статті, стосуються як скорингу можливостей, так і оцінювання потенційних клієнтів.

Вимоги до ліцензії та посади

Тип вимоги	Ви повинні мати
Ліцензія	Dynamics 365 Sales Premium або Dynamics 365 Sales Enterprise Додаткові відомості: Ціни на продажі Dynamics 365
Ролі безпеки	системного адміністратора Додаткові відомості: Попередньо визначені ролі безпеки для відділу продажів

Фактори, що впливають на точність

модель прогнозного оцінювання обчислює ймовірність того, що потенційна угода або потенційний клієнт призведе до продажу. Точність моделі залежить від наступних факторів:

Якість і обсяг даних, доступних для навчання моделі
Вибрані потік бізнес-процесу та фільтри
Етапи та атрибути, які ви вибираєте, якщо модель використовує для кожного етапу моделювання

Модель навчається з використанням 80% закритих можливостей або лідів у навчальному наборі даних. Він перевіряється з використанням решти 20% як тестового набору даних, який складається з найновіших записів. Точність моделі обчислюється за допомогою валідованого набору тестових даних на основі таких параметрів, як істинні спрацьовування, помилкові спрацьовування тощо.

Перегляд показників точності та ефективності

Перейдіть до області «Змінити» в нижньому лівому куті програми Центр збуту і виберіть «Налаштування статистики продажів».
На карті сайту в розділі Прогнозні моделі виберіть Оцінка можливостей або Оцінювання потенційних клієнтів.
У списку Вибір моделі виберіть модель.
Виберіть вкладку Продуктивність .

На вкладці «Ефективність » відображаються наведені нижче показники. Якщо на вкладці "Ефективність " немає показників, відредагуйте та перенавчайте модель оцінювання можливостей.

Продуктивність моделі: визначає, чи готова модель до публікації на основі таких параметрів:
- Точність: як часто модель робила правильні прогнози, позитивні або негативні. Цей показник найбільш корисний, коли набір даних збалансований, а вартість помилкових спрацьовувань і помилкових негативних результатів однакова. T оцінка точності розраховується за такою формулою:
  
  Точність = (ТП + ТН) / (Загальна кількість забитих можливостей або лідів) *100
- Нагадаємо: як часто модель правильно передбачала позитивний результат у порівнянні з фактичними позитивними результатами. Низький показник запам’ятовування означає, що модель передбачає менше справжніх позитивних результатів. Показник відкликання розраховується за такою формулою:
  
  Відкликання = ТП / (ТП + ФН) *100
- Коефіцієнт конверсії: відсоток потенційних клієнтів або потенційних клієнтів, які були кваліфіковані або виграні відповідно до історичних даних, або ймовірність того, що потенційна угода чи потенційний клієнт здійснить конверсію. Модель використовує це значення, щоб визначити, як атрибут впливатиме на прогнозна оцінка. Коефіцієнт конверсії розраховується за такою формулою:
  
  Коефіцієнт конверсії = (ТП + ФН) / (Загальна кількість набраних можливостей або лідів) *100

Матриця плутанини: наскільки добре ваша модель передбачала результати, коли її перевіряли на історичних даних. Матриця відображає кількість істинних спрацьовувань, істинних негативних результатів, помилкових спрацьовувань і помилкових негативних результатів.

Показник	Передбачив	Фактично
Істинно позитивний результат (TP)	Так	Так
Істинно негативний результат (TN)	No	No
Помилковий результат (FP)	Так	No
Хибно негативний результат (FN)	No	Так

Площа під кривою: оцінка площі під кривою (AUC) моделі. Оцінка AUC визначає ймовірність того, що модель оцінить випадково вибраний позитивний екземпляр (виграна можливість або кваліфікований потенційний клієнт) вище, ніж випадково обраний негативний (втрачена можливість або дискваліфікований потенційний клієнт). Модель з більш високим AUC краще прогнозує справжні позитивні і істинно негативні моменти.
Оцінка F1: оцінка F1, розрахована на основі точності моделі та показників запам’ятовування. Оцінка F1 визначає якість моделі навіть при незбалансованості даних.
Поріг – поріг, за якого потенційний клієнт або потенційна угода вважаються кваліфікованими або виграними. Наприклад, якщо поріг дорівнює 45, потенційні місця з рахунком більше 45 будуть прогнозуватися як виграні. Поріг вибирається для оптимізації оцінки Формули-1.

Приклад: показники ефективності моделі

Давайте подивимося на прогноз результати для вибірки з набору даних з 1 000 можливостей:

Дані	Кількість можливостей
Справжній позитив	650
Помилковий результат	200
Істинний негатив	100
Хибно негативний	50

Модель передбачала 850 (TP + FP) можливостей; однак насправді було виграно лише 650 можливостей (ТЦУ). Аналогічно, модель передбачала втрату 150 (TN + FN) можливостей, але насправді було втрачено лише 100 (TN).

У наведеній нижче таблиці наведено показники даних.

Показник	Оцінка
Точність	(650 + 100) / 1 000 = 75%
Відкликати	650 / (650 + 50) = 92%
Коефіцієнт конверсії	(650 + 50) / 1 000 = 70%

Підвищення продуктивності моделі

Якщо ваша модель не готова до публікації або неефективна, спробуйте виконати наведені нижче дії, щоб покращити її оцінку.

Перегляньте атрибути, які він використовує.
Переглядайте статистику атрибутів , щоб зрозуміти, як вона впливає на загальний прогноз моделі.
Ігноруйте порожні значення для атрибутів, які мають більший відсоток порожніх значень і можуть спричиняти помилкові спрацьовування або помилкові негативні результати.
Включіть інтелектуальні поля , щоб допомогти модель оцінювання потенційних клієнтів розрізняти фактори, які покращують або шкодять оцінці.
Використовуйте поетапне моделювання в моделі оцінки можливостей, щоб вибрати атрибути, які будуть застосовуватися до кожного етапу бізнес-процесу.
Уточніть критерії фільтра, період часу для навчальних даних або інші конфігурації моделі. Наприклад, якщо ви вибрали два роки як період часу для навчальних даних, але за цей період було забагато тестових або неправильних записів, виберіть коротший період часу, наприклад шість місяців або один рік, коли якість даних буде кращою.

Не вдається знайти параметри в програмі?

Можливі три причини.

У вас немає необхідної ліцензії або ролі.
Ваш адміністратор не вмикав цю функцію.
У вашій організації використовується настроювана програма. Зверніться до свого адміністратора, щоб отримати точні вказівки. Кроки, описані в цій статті, стосуються виключно готових програм Центр збуту та Sales Professional.

Див. також

Налаштування Прогнозне оцінювання потенційних клієнтів
Налаштування Прогнозне оцінювання потенційних угод

Поділитися через