Pozrite si presnosť a výkonnosť prediktívnych skórovacích modelov
Vedieť, aký presný je model prediktívneho výpočtu skóre, vám pomôže rozhodnúť sa, či je model pripravený na použitie alebo je potrebné ho doladiť pre vyššiu presnosť. Pomôže vám tiež presvedčiť váš vedúci tím a predajcov, aby prijali model pre lepšie obchodné výsledky.
Metriky opísané v tomto článku sa vzťahujú na hodnotenie príležitostí aj na hodnotenie potenciálnych zákazníkov.
Požiadavky na licenciu a rolu
| Typ požiadavky | Musíte mať |
|---|---|
| Licencia | Dynamics 365 Sales Premium alebo Dynamics 365 Sales Enterprise Viac informácií: Predajná cena Dynamics 365 |
| Roly zabezpečenia | Správca systému Ďalšie informácie: Preddefinované roly zabezpečenia pre predaj |
Faktory ovplyvňujúce presnosť
A model prediktívneho výpočtu skóre vypočíta pravdepodobnosť, že príležitosť alebo potenciálny zákazník povedie k predaju. Presnosť modelu závisí od nasledujúcich faktorov:
- Kvalita a množstvo údajov dostupných na trénovanie modelu
- Tok obchodného procesu a filtre, ktoré vyberiete
- Fázy a atribúty, ktoré vyberiete, ak model používa modelovanie podľa fázy
Model je trénovaný s využitím 80 % uzavretých príležitostí alebo potenciálnych zákazníkov v trénovacom súbore údajov. Overuje sa pomocou zvyšných 20 % ako testovací súbor údajov, ktorý pozostáva z najnovších záznamov. Presnosť modelu sa vypočítava pomocou overeného testovacieho súboru údajov na základe parametrov, ako sú skutočné pozitívne výsledky, falošné pozitívne výsledky atď.
Pozrite si metriky presnosti a výkonnosti
Prejdite na Oblasť zmien v ľavom dolnom rohu aplikácie Centrum predaja a vyberte Nastavenia štatistík predaja.
Na mape lokality v časti Prediktívne modely vyberte možnosť Hodnotenie príležitostí alebo Hodnotenie potenciálneho zákazníka.
V zozname Vybrať model vyberte model.
Vyberte kartu Výkon .
Na karte Výkon sa zobrazujú nasledujúce metriky. Ak na karte Výkon nevidíte žiadne metriky, upravte a precvičte model hodnotenia príležitostí.
Výkon modelu: Určuje, či je model pripravený na zverejnenie na základe nasledujúcich parametrov:
Presnosť: Ako často model urobil správne predpovede, či už pozitívne alebo negatívne. Táto metrika je najužitočnejšia, keď je množina údajov vyvážená a cena falošne pozitívnych a falošne negatívnych výsledkov je rovnaká. Hodnota skóre úspešnosti sa vypočíta pomocou nasledujúceho vzorca:
Presnosť = (TP + TN) / (celkový počet skórovaných príležitostí alebo potenciálnych zákazníkov) *100
Pripomeňme si: Ako často model predpovedal pozitívny výsledok správne v porovnaní so skutočnými pozitívnymi výsledkami. Nízke skóre spomínania znamená, že model predpovedá menej skutočných pozitív. Skóre vyvolania sa vypočíta pomocou nasledujúceho vzorca:
Odvolanie = TP / (TP + FN) * 100
Konverzný pomer: Percento príležitostí alebo potenciálnych zákazníkov, ktorí sa kvalifikovali alebo vyhrali, podľa historických údajov alebo pravdepodobnosť, že príležitosť alebo potenciálny zákazník konvertuje. Model používa túto hodnotu na určenie toho, ako atribút ovplyvní prediktívne skóre. Konverzný pomer sa vypočíta podľa nasledujúceho vzorca:
Miera konverzie = (TP + FN) / (celkový počet skórovaných príležitostí alebo potenciálnych zákazníkov) *100
Matica zmätku: Ako dobre váš model predpovedal výsledky, keď bol testovaný na historických údajoch. Matica zobrazuje počet skutočne pozitívnych, skutočných negatívnych, falošne pozitívnych a falošne negatívnych.
Metrika Predpovedané Skutočnosť Správne pozitívny výsledok (TP) Áno Áno Správne negatívny výsledok (TN) No No Nesprávne pozitívny výsledok (FP) Áno No Nesprávne negatívny výsledok (FN) No Áno Plocha pod krivkou: Skóre plochy pod krivkou (AUC) modelu. Skóre AUC určuje pravdepodobnosť, že model zaradí náhodne vybranú pozitívnu inštanciu (vyhraná príležitosť alebo kvalifikovaný potenciálny zákazník) vyššie ako náhodne vybratú negatívnu inštanciu (stratená príležitosť alebo diskvalifikovaný potenciálny zákazník). Model s vyššou AUC je lepší v predpovedaní skutočných pozitív a skutočných negatív.
Skóre F1: Skóre F1 vypočítané na základe presnosti modelu a skóre zapamätania. Skóre F1 určuje kvalitu modelu, aj keď sú dáta nevyvážené.
Hranica: Hranica, pri ktorej sa potenciálny zákazník alebo príležitosť považujú za kvalifikované alebo získané. Ak je napríklad hranica 45, príležitosti so skóre vyšším ako 45 sa budú považovať za vyhraté. Hranica je vybraná na optimalizáciu skóre F1.
Príklad: Metriky výkonnosti modelu
Pozrime sa na výsledky predikcia pre vzorový súbor údajov 1 000 príležitostí:
| Údaje | Počet príležitostí |
|---|---|
| Pravdaže pozitívne | 650 |
| Nesprávne pozitívny výsledok | 200 |
| Skutočne negatívne | 100 |
| Falošne negatívne | 50 |
Model predpovedal 850 vyhraných príležitostí (TP + FP); v skutočnosti však bolo získaných iba 650 (TP) príležitostí. Podobne model predpovedal stratu 150 (TN + FN) príležitostí, ale v skutočnosti bolo stratených iba 100 (TN) príležitostí.
Nasledujúca tabuľka zobrazuje metriky údajov.
| Metrika | Skóre |
|---|---|
| Presnosť | (650 + 100) / 1 000 = 75 % |
| Odvolať | 650 / (650 + 50) = 92 % |
| Miera konverzie | (650 + 50) / 1 000 = 70 % |
Zlepšenie výkonu modelu
Ak váš model nie je pripravený na zverejnenie alebo nemá dobrú výkonnosť, vyskúšajte nasledujúce kroky na zlepšenie jeho skóre.
- Skontrolujte atribúty, ktoré používa.
- Pozrite si štatistiky atribútov a pochopte ich vplyv na celkový predikcia modelu.
- Ignorujte prázdne hodnoty pre atribúty, ktoré majú vyššie percento prázdnych hodnôt a môžu prispievať k falošne pozitívnym alebo falošne negatívnym výsledkom.
- Zahrnúť inteligentné polia pomôcť model výpočtu skóre potenciálneho zákazníka rozlišovať medzi faktormi, ktoré zlepšujú alebo poškodzujú skóre.
- Použite modelovanie na javisku v modeli bodovania príležitostí na výber atribútov, ktoré sa použijú na každú fázu obchodného procesu.
- Upravte kritériá filtra, časové obdobie pre tréningové údaje alebo iné konfigurácie modelu. Ak ste si napríklad ako časové obdobie pre tréningové údaje vybrali dva roky a počas tohto obdobia je príliš veľa testov alebo nesprávnych záznamov, zvoľte kratšie časové obdobie, napríklad šesť mesiacov alebo jeden rok, keď sa kvalita vašich údajov je lepšie.
Nemôžete nájsť možnosti vo svojej aplikácii?
Existujú tri pravdepodobné príčiny:
- Nemáte potrebnú licenciu ani rolu. Pozrite si časť Požiadavky na licenciu a rolu v hornej časti tejto stránky.
- Váš správca túto funkciu nezapol.
- Vaša organizácia používa vlastnú aplikáciu. Presné kroky vám poskytne správca. Kroky opísané v tomto článku sú špecifické pre vopred pripravené Centrum predaja a aplikácie Sales Professional.
Súvisiace informácie
Konfigurácia výpočtu prediktívneho skóre potenciálneho zákazníka
Konfigurácia výpočtu prediktívneho skóre príležitosti