Visualizzare l'accuratezza e le prestazioni dei modelli di punteggio predittivo

Conoscere l'accuratezza di un modello di punteggio predittivo ti aiuta a decidere se il modello è pronto per l'uso o se è necessario ottimizzarlo per una migliore precisione. Ti aiuta anche a convincere il team dirigenziale e i venditori ad adottare il modello per migliorare i risultati aziendali.

Le metriche descritte in questo articolo si applicano sia al punteggio opportunità che al punteggio lead.

Requisiti di licenza e ruoli

Tipo di requisito	Devi avere
Licenza	Dynamics 365 Sales Premium o Dynamics 365 Sales Enterprise Ulteriori informazioni: Prezzi di Dynamics 365 Sales
Ruoli di sicurezza	Amministratore sistema Maggiori informazioni: Ruoli di sicurezza predefiniti per Sales

Fattori che influenzano l'accuratezza

Un modello di punteggio predittivo calcola la probabilità che un'opportunità o un lead si convertano in una vendita. L'accuratezza del modello dipende dai seguenti fattori:

• La qualità e la quantità dei dati disponibili per il training del modello
• Il processo aziendale e i filtri selezionati
• Le fasi e gli attributi scelti, se il modello usa la modellazione per fase

Il modello viene addestrato utilizzando l'80% delle opportunità o lead chiusi nel set di dati di training. Viene convalidato utilizzando il restante 20% come set di dati di test, che consiste nei record più recenti. L'accuratezza del modello viene quindi calcolata usando il set di dati di test convalidato in base a vari parametri come veri positivi, falsi positivi e così via.

Visualizzare metriche di accuratezza e prestazioni

1. Vai a all'area di modifica nell'angolo inferiore sinistro dell'app Hub delle vendite, quindi seleziona Impostazioni di Sales Insights.

2. Sulla mappa del sito in Modelli predittivi, seleziona Punteggio opportunità o Punteggio lead.

3. Seleziona un modello nell'elenco Seleziona modello.

4. Seleziona la scheda Prestazioni.

   

La scheda Prestazioni visualizza le seguenti metriche. Se non vedi alcuna metrica nella scheda Prestazioni, modifica e ripeti il training di un modello di punteggio opportunità.

• Prestazioni modello: Specifica se il modello è pronto per la pubblicazione in base ai parametri seguenti:

  • Accuratezza: la frequenza con cui il tuo modello effettua previsioni corrette, positive o negative. Questa metrica è particolarmente utile quando il set di dati è bilanciato e il costo dei falsi positivi e dei falsi negativi è lo stesso. Il punteggio di accuratezza viene calcolato utilizzando la seguente formula:

    Accuratezza = (Vero positivo + Vero negativo) / (Numero totale di opportunità o lead calcolate) *100

  • Richiamo: la frequenza con cui il modello ha previsto correttamente un esito positivo rispetto ai valori effettivi positivi. Un punteggio di richiamo basso significa che il modello prevede un minor numero di veri positivi. Il punteggio di richiamo viene calcolato utilizzando la seguente formula:

    Richiamo = Vero positivo / (Vero positivo + Falso negativo) * 100

  • Tasso di conversione: la percentuale di opportunità o lead qualificati o acquisiti in base ai dati storici o la probabilità che un'opportunità o lead venga convertita. Il modello usa questo valore per determinare in che modo un attributo influenzerà il punteggio predittivo. Il tasso di conversione viene calcolato utilizzando la seguente formula:

    Tasso di conversione = (Vero positivo + Falso negativo) / (Numero totale di opportunità o lead calcolate) *100

• Matrice di confusione: quanto il modello è in grado di prevedere i risultati in base a quando è stato testato rispetto ai dati storici. La matrice mostra il numero di veri positivi, veri negativi, falsi positivi e falsi negativi.

  Metrico	Previsto	Effettiva
  Vero positivo	Sì	Sì
  Vero negativo	No	No
  Falso positivo	Sì	No
  Falso negativo	No	Sì

• Area sotto la curva: il punteggio dell'area sotto la curva (AUC) del modello. Il punteggio AUC determina la probabilità che un modello classifichi un'istanza positiva scelta a caso (un'opportunità o un lead acquisito o qualificato) più alta di un'istanza negativa scelta a caso (un'opportunità o un lead perso o non qualificato). Un modello con un'area sotto la curva più alto prevede meglio i veri positivi e i veri negativi.

• Punteggio F1: il punteggio F1 calcolato in base alla precisione del modello e ai punteggi di richiamo. Il punteggio F1 determina la qualità del modello anche in casi di squilibrio dei dati.

• Soglia: la soglia alla quale il lead o l'opportunità è considerato qualificato o acquisito. Ad esempio, se la soglia è 45, le opportunità con un punteggio maggiore di 45 verranno previste come acquisite. La soglia è selezionata per ottimizzare il punteggio F1.

Esempio: metriche delle prestazioni del modello

Esaminiamo i risultati della previsione per un set di dati campione di 1.000 opportunità:

Dati	Numero di opportunità
Vero positivo	650
Falso positivo	200
Vero negativo	100
Falso negativo	50

Il modello prevedeva che sarebbero state acquisite 850 opportunità (Vero positivo + Falso positivo); tuttavia, solo 650 opportunità (Vero positivo) sono state effettivamente acquisite. Allo stesso modo, il modello prevedeva la perdita di 150 opportunità (Vero negativo + Falso negativo), ma solo 100 opportunità (Vero negativo) sono andate perse.

La tabella seguente mostra le metriche dei dati.

Metrico	Punteggio
Precisione	(650 + 100) / 1.000 = 75%
Richiamo	650 / (650 + 50) = 92%
Tasso di conversione	(650 + 50) / 1.000 = 70%

Migliorare le prestazioni del modello

Se il tuo modello non è pronto per la pubblicazione o non funziona bene, prova i seguenti passaggi per migliorarne i punteggi.

• Rivedi gli attributi usati.
• Visualizza le informazioni dettagliate sugli attributi per comprendere la loro influenza sulla previsione complessiva.
• Ignora i valori vuoti per gli attributi che hanno una percentuale maggiore di valori vuoti e quindi risultano in falsi positivi o falsi negativi.
• Includi i campi intelligenti per aiutare il modello di punteggio lead a distinguere tra fattori che migliorano o danneggiano il punteggio.
• Utilizza la modellazione per fase in un modello di punteggio opportunità per scegliere gli attributi da applicare a ciascuna fase del processo aziendale.
• Perfeziona i criteri di filtro, il periodo di tempo per i dati di addestramento o altre configurazioni del modello. Ad esempio, se hai scelto un periodo di due anni per i dati di addestramento e ti rendi conto di avere troppi test o dati errati durante quel periodo, scegli un periodo di tempo inferiore, sei mesi o un anno, quando la qualità dei dati è migliore.

Non riesci a trovare le opzioni nella tua app?

Le possibilità sono tre:

• Non hai la licenza o il ruolo necessari. Consulta la sezione Requisiti di licenza e ruolo nella parte superiore di questa pagina.
• L'amministratore non ha attivato la funzionalità.
• L'organizzazione utilizza un'app personalizzata. Rivolgiti all'amministratore per verificare i passaggi esatti. I passaggi descritti in questo articolo sono specifici per le app Hub delle vendite e Sales Professional predefinite.

Informazioni correlate

Configurare Punteggio lead predittivo
Configurare Punteggio opportunità predittivo