Wyświetlanie dokładności i wydajności predykcyjnych modeli oceniania
Znajomość dokładności predykcyjnego modelu oceniania pomaga Ci zdecydować, czy model jest gotowy do użycia, czy też trzeba go dostroić w celu uzyskania wyższej dokładności. Pomaga również przekonać Twoją kadrę kierowniczą i sprzedawców do przyjęcia modelu w celu poprawy wyników biznesowych.
Metryki opisane w tym artykule dotyczą zarówno oceniania możliwości, jak i oceniania potencjalnych klientów.
Wymagania dotyczące licencji i ról
| Typ wymagania | Musisz mieć |
|---|---|
| Licencja | Dynamics 365 Sales Premium lub Dynamics 365 Sales Enterprise Więcej informacji: Ceny aplikacji Dynamics 365 Sales |
| Role zabezpieczeń | Administrator systemu Więcej informacji: Predefiniowana role zabezpieczeń dla Sales |
Czynniki wpływające na dokładność
Predykcyjny model oceniania oblicza prawdopodobieństwo, że szansa sprzedaży lub potencjalny klient spowoduje sprzedaż. Dokładność modelu zależy od następujących czynników:
- Jakość i wielkość danych dostępnych do trenowania modelu
- Wybrany przepływ procesów biznesowych i filtry
- Wybrane etapy i atrybuty, jeśli model używa modelowanie dla etapów
Model jest szkolony przy użyciu 80% zamkniętych szans sprzedaży lub potencjalnych klientów w zestawie danych szkoleniowych. Jest to weryfikowane przy użyciu pozostałych 20% jako zestaw danych testowych, który składa się z najnowszych rekordów. Dokładność modelu jest obliczana przy użyciu zweryfikowanego zestawu danych testowych na podstawie różnych parametrów, takich jak wyniki prawdziwie dodatnie, wyniki fałszywie dodatnie itp.
Wyświetlanie dokładności i metryk wydajności
Przejdź do Zmień obszar w lewym dolnym rogu aplikacji Centrum sprzedaży i wybierz Ustawienia Sales Insights.
Na mapie witryny wybierz Modele predykcyjne, wybierz Ocenianie szansy sprzedaży lub Ocenianie potencjalnych klientów.
Z listy Wybierz model wybierz model.
Następnie wybierz kartę Wydajność.
Na karcie Wydajność są wyświetlane następujące metryki. Jeśli na karcie Wydajność nie ma żadnych metryk, dokonaj edycji modelu oceniania szans sprzedaż i przeszkól go ponownie.
Wydajność modelu: określa, czy model ma być publikowany na podstawie następujących parametrów:
Dokładność: wskazuje, jak często model wykonywał poprawne prognozy pozytywne i negatywne. Ta metryka jest najbardziej przydatna, gdy zestaw danych jest zrównoważony, a koszt fałszywych alarmów i fałszywych negatywnych jest taki sam. Wynik dokładności jest obliczany według następującego wzoru:
Dokładność = (TP + TN) / (Całkowita liczba zdobytych szans lub potencjalnych klientów) *100
Kompletność: jak często model poprawnie przewidywał pozytywny wynik w porównaniu z rzeczywistymi wynikami pozytywnymi. Niski wynik przypominania oznacza, że model przewiduje mniej prawdziwych wyników pozytywnych. Wynik przypominania jest obliczany według następującego wzoru:
Trafność = TP / (TP + FN) * 100
Współczynnik konwersji: procent szans sprzedaży lub potencjalnych klientów, którzy zostali zakwalifikowani lub wykorzystani zgodnie z danymi historycznymi, lub prawdopodobieństwo, że szansa sprzedaży lub potencjalny klienci zostaną przekonwertowani. Model używa tej wartości, aby określić, w jaki sposób atrybut wpłynie na ocenę predykcyjną. Przelicznik obliczany jest według następującego wzoru:
Współczynnik konwersji = (TP + FN) / (Całkowita liczba zdobytych szans lub potencjalnych klientów) *100
Macierz wątpliwości: jak dobrze model przewidywał wyniki, gdy był testowany z danymi historycznymi. Macierz wyświetla liczbę prawdziwie pozytywnych, prawdziwie negatywnych, fałszywie pozytywnych i fałszywie negatywnych.
Jednostki metryczne Prognozowane Rzeczywiste Wynik prawdziwie dodatni Tak Tak Wynik prawdziwie ujemny Nie. Nie. Wynik fałszywie dodatni Tak Nie. Wynik fałszywie ujemny Nie. Tak Pole pod krzywą: obszar pod krzywą (AUC) wyniku modelu. Wynik AUC określa prawdopodobieństwo, że model oceni losowo wybraną pozytywną instancję (wygraną szansę lub zakwalifikowanego potencjalnego klienta) wyżej niż losowo wybraną negatywną (utraconą szansę lub niezakwalifikowanego potencjalnego klienta). Model z wyższym poziomem AUC lepiej jest wykluczać prawdziwe dodatnie i prawdziwe ujemne.
Miara F1: wynik F1 obliczony na podstawie dokładności i wyników oceny dokładności modelu. Miara F1 pozwala określić jakość modelu nawet w przypadku braku równowagi danych.
Próg: próg, przy którym potencjalnym klienta lub szansa sprzedaży jest uważana za zakwalifikowaną lub wykorzystaną. Na przykład jeśli wartość progowa wynosi 45, szanse sprzedaży, których wynik jest większy niż 45, będą stanowić 45. Wartość progowa jest wybierana w celu zoptymalizowania wyniku F1.
Przykład: metryki wydajności modelu
Sprawdźmy wyniki przewidywania przykładowego zestawu danych 1000 szans sprzedaży:
| Dane | Liczba wykorzystanych szans sprzedaży |
|---|---|
| Wyniki prawdziwie dodatnie | 650 |
| Wyniki fałszywie dodatnie | 200 |
| Wyniki prawdziwie ujemne | 100 |
| Wyniki fałszywie ujemne | 50 |
Model przewidział 850 szans (TP+FP) do wykorzystania, jednak faktycznie wykorzystanych zostało tylko 650 (TP). Podobnie model przewidywał utratę 150 (TN + FN) szans sprzedaży, ale tylko 100 (TN) szans sprzedaży zostało faktycznie utraconych.
W poniższej tabeli pokazano metryki dla danych.
| Jednostki metryczne | Ocena |
|---|---|
| Dokładność | (650 + 100) / 1000 = 75% |
| Odwołaj | 650 / (650 + 50) = 92% |
| Współczynnik konwersji | (650 + 50) / 1000 = 70% |
Zwiększanie wydajności modelu
Jeśli model nie jest gotowy do opublikowania lub nie działa dobrze, należy wykonać następujące kroki, aby poprawić wyniki.
- Przejrzyj używane atrybuty.
- Wgląd w dane atrybutów w celu zrozumienia ich wpływu na ogólne przewidywanie.
- Zignoruj puste wartości atrybutów, które mają większy procent pustych wartości, co powoduje wyniki fałszywie dodatnie lub fałszywie ujemne.
- Uwzględnij inteligentne pola, aby model oceniania potencjalnych klientów mógł rozróżniać czynniki, które poprawiają lub pogarszają ocenę.
- Modelowanie dla etapów w modelu oceniania szans sprzedaży umożliwia wybranie atrybutów, które mają być stosowane na każdym etapie procesu biznesowego.
- Uściślij kryteria filtrowania, okres dla danych szkoleniowych i innych konfiguracji modeli. Na przykład, jeśli wybrano okres dwóch lat dla danych szkoleniowych masz za dużo testowych lub niepoprawnych rekordów w tym okresie, wybierz krótszy okres, np. sześć miesięcy lub jeden rok, gdy jakość danych jest lepsza.
Nie możesz znaleźć opcji w swojej aplikacji?
Istnieją trzy możliwości:
- Nie masz wymaganej licencji ani roli. Zapoznaj się z sekcją Wymagania dotyczące licencji i ról w górnej części tej strony.
- Administrator nie włączył tej funkcji.
- Organizacja używa niestandardowej aplikacji. Skontaktuj się z administratorem, aby poznać dokładne kroki. Kroki opisane w tym artykule są specyficzne dla gotowej aplikacjach Centrum sprzedaży lub Sales Professional.
Informacje pokrewne
Skonfiguruj predykcyjne ocenianie potencjalnych klientów
Konfiguruj Predykcyjne ocenianie szans sprzedaży