Zobrazení přesnosti a výkonu prediktivních modelů určování skóre

Znalost přesnosti prediktivního model určování skóre pomáhá při rozhodování, zda je model připraven k použití nebo potřebuje vyladit pro vyšší přesnost. Pomáhá vám také přesvědčit vedoucí tým a prodejce, aby přijali model pro lepší obchodní výsledky.

Metriky popsané v tomto článku platí jak pro hodnocení příležitostí, tak pro hodnocení potenciálních zákazníků.

Požadavky na licenci a roli

Typ požadavku	Musíte mít
Licence	Dynamics 365 Sales Premium nebo Dynamics 365 Sales Enterprise Další informace: Ceny Dynamics 365 Sales
Role zabezpečení	Správce systému Další informace: Předdefinované role zabezpečení pro Sales

Faktory, které ovlivňují přesnost

Prediktivní model určování skóre vypočítá pravděpodobnost konverze příležitosti nebo potenciálního zákazníka v prodej. Přesnost modelu závisí na následujících faktorech:

• Kvalita a množství dat dostupných pro trénování modelu
• Výběr toku obchodního procesu a filtrů
• Vybrané fáze a atributy, pokud je model využívá modelování podle jednotlivých fází

Model je trénován pomocí 80 % uzavřených příležitostí nebo potenciálních zákazníků v trénovací datové sadě. Je ověřeno pomocí zbývajících 20 % jako testovací datové sady, která se skládá z nejnovějších záznamů. Přesnost modelu je vypočítána na ověřeném testovacím souboru dat na základě parametrů, jako jsou pravdivé pozitivní, falešně pozitivní a tak dále.

Zobrazení metrik přesnosti a výkonu

1. Přejděte na sekci Změnit oblast v levém dolním rohu aplikace Centrum prodeje a poté vyberte Nastavení Sales Insights.

2. Na mapě webu v části Prediktivní modely vyberte Určování skóre příležitostí nebo Určování skóre potenciálního zákazníka.

3. V seznamu Vybrat model vyberte model.

4. Vyberte kartu Výkon.

   

Karta Výkon zobrazuje následující metriky. Pokud nevidíte žádné metriky na kartě Výkon karta, upravte a přetrénujte model pro určování skóre příležitostí.

• Výkon modelu: Určuje, zda je model připraven k publikování, na základě následujících parametrů:

  • Přesnost: Jak často model vytvářel správné předpovědi, ať už pozitivní, nebo negativní. Tato metrika je nejužitečnější, když je datová sada vyvážená a náklady na falešně pozitivní a falešně negativní výsledky jsou stejné. Skóre přesnosti je vypočítáno pomocí následujícího vzorce:

    Přesnost = (TP + TN) / (celkový počet úspěšných příležitostí nebo potenciálních zákazníků) * 100

  • Úplnost: Jak často model správně předpověděl pozitivní výsledek ve srovnání se skutečnými pozitivními výsledky. Nízké skóre úplnosti znamená, že model předpovídá méně skutečných pozitivních výsledků. Skóre úplnosti se vypočítává na základě následujícího vzorce:

    Úplnost = TP / (TP + FN) * 100

  • Poměr konverzí: Procento příležitostí nebo potenciálních zákazníků, kteří se kvalifikovali nebo byli získáni, podle historických údajů nebo pravděpodobnost, že příležitost nebo potenciální zákazník bude konvertován. Model využívá tuto hodnotu, aby určil, jak atribut ovlivní prediktivní skóre. Poměr konverze se vypočítává na základě následujícího vzorce:

    Poměr konverze = (TP + FN) / (celkový počet úspěšně získaných příležitostí nebo potenciálních zákazníků) * 100

• Konfuzní matice: Jak dobře model předpovídal výsledky, když byl testován na historických datech. Matice zobrazuje počet skutečně pozitivních, skutečných negativních, falešně pozitivních a falešně negativních.

  Metrické	Předpovídáno	Skutečnost
  Pravdivě pozitivní (TP)	Ano	Ano
  Pravdivě negativní (TN)	Ne	Ne
  Falešně pozitivní (FP)	Ano	Ne
  Falešně negativní (FN)	Ne	Ano

• Plocha pod křivkou: Skóre plochy pod křivkou (AUC) modelu. Skóre AUC určuje pravděpodobnost, že model zařadí náhodně vybranou pozitivní instanci (vyhraná příležitost nebo potenciální zákazník) výše než náhodně zvolenou negativní instanci (ztracená příležitost nebo potenciální zákazník). Model s vyšší AUC je lepší v předpovídání skutečných pozitiv a skutečných negativ.

• Skóre F1: Skóre F1 vypočítané na základě přesnosti modelu a skóre úplnosti. Skóre F1 určuje kvalitu modelu v případech nevyváženosti dat.

• Mezi hodnota: Mezní hodnota, při které je potenciální zákazník nebo příležitost považována za kvalifikovanou nebo získanou. Pokud je například mezní hodnota 45, příležitosti se skóre vyšším než 45 budou považovány za vyhrané. Prahová hodnota je zvolena pro optimalizaci skóre F1.

Příklad: Metriky výkonu modelu

Podívejme se na predikce výsledky pro ukázkovou datovou sadu 1000 příležitostí:

Data	Počet příležitostí
Pravdivě pozitivní výsledek	650
Falešně pozitivní	200
Pravdivě negativní výsledek	100
Falešně negativní	50

Model předpověděl 850 vyhraných příležitostí (TP + FP), ale ve skutečnosti bylo vyhráno pouze 650 (TP) příležitostí. Podobně model předpovídal 150 (TN + FN) ztracených příležitostí, ale ve skutečnosti bylo pouze 100 (TN) ztracených příležitostí.

Následující tabulka ukazuje metriky pro data.

Metrické	Skóre
Úspěšnost	(650 + 100) / 1000 = 75 %
Odvolat	650 / (650 + 50) = 92 %
Převodní poměr	(650 + 50) / 1000 = 70 %

Zvýšení výkonu modelu

Pokud váš model není připraven k publikování nebo si nevede dobře, vyzkoušejte následující kroky ke zlepšení jeho skóre.

• Zkontrolujte atributy, které používá.
• Podívejte se přehledy atributů, abyste pochopili jejich vliv na celkovou predikci modelu.
• Ignorujte prázdné hodnoty u atributů, které mají vyšší procento prázdných hodnot a mohou přispívat k falešně pozitivním nebo falešně negativním výsledkům.
• Zahrňte inteligentní pole, která pomohou modelu určování skóre zájemců rozlišovat mezi faktory, které zlepšují nebo poškozují skóre.
• Použijte modelování podle fáze v modelu určování skóre příležitostí k výběru atributů, které se použijí na každou fázi obchodního procesu.
• Upřesnit kritéria filtru, časové období pro trénovací data nebo jiné konfigurace modelu. Pokud jste například pro tréninková data zvolili 2 roky a během tohoto období je příliš mnoho testovacích nebo nesprávných záznamů, zvolte kratší časové období, například 6 měsíců nebo 1 rok, kdy je kvalita dat lepší.

Nemůžete volby najít ve své aplikaci?

Existují tři možnosti:

• Nemáte potřebnou licenci nebo roli.
• Váš správce danou funkci nezapnul.
• Vaše organizace používá vlastní aplikaci. O přesném postupu se informujte u svého správce. Kroky popsané v tomto článku se týkají předem připravených aplikací Centrum prodeje a Sales Professional.

Viz také

Konfigurace prediktivního určování skóre zájemců
Konfigurace prediktivního určování skóre příležitostí