Partager via

Afficher l’exactitude et les performances des modèles de notation prédictive

  • Article

Connaître l’exactitude d’un modèle de notation prédictive vous aide à décider si le modèle est prêt à l’emploi ou doit être affiné pour une meilleure exactitude. Cela vous aide également à convaincre votre équipe de direction et vos vendeurs d’adopter le modèle pour obtenir de meilleurs résultats opérationnels.

Les mesures décrites dans cet article s’appliquent à la fois à la notation des opportunités et à la notation des prospects.

Licences et rôles requis

Type de condition requise Vous devez disposer d’une
Licence Dynamics 365 Sales Premium ou Dynamics 365 Sales Enterprise
Pour plus d’informations : Tarification de Dynamics 365 Sales
Rôles de sécurité Administrateur du système
Pour plus d’informations : Rôles de sécurité prédéfinis pour Sales

Facteurs ayant une influence sur l’exactitude

Un modèle de notation prédictive calcule la probabilité qu’une opportunité ou un prospect aboutit à une vente. L’exactitude du modèle dépend des facteurs suivants :

  • Qualité et quantité des données disponibles pour l’entraînement du modèle
  • Flux des processus d’entreprise et filtres sélectionnés
  • Phases et attributs sélectionnés, si le modèle utilise la modélisation par phase

Le modèle est entraîné en utilisant 80 % des opportunités ou prospects fermés dans le jeu de données de formation. Il est validé en utilisant les 20 % restants comme un jeu de données de test, qui se compose des enregistrements les plus récents. L’exactitude du modèle est calculée en utilisant le jeu de données de test validé en fonction de paramètres tels que les vrais positifs, les faux positifs, etc.

Afficher les mesures d’exactitude et de performance

  1. Accédez à Changer de zone dans le coin inférieur gauche de l’application Centre des ventes, puis sélectionnez Paramètres Sales Insights.

  2. Dans le plan de site, sous Modèles prédictifs, sélectionnez Notation d’opportunité ou Notation de prospect.

  3. Dans la liste Sélectionner un modèle, sélectionnez un modèle.

  4. Sélectionnez l’onglet Performance.

    Une capture d’écran de l’onglet Performances affichant les mesures d’exactitude du modèle

L’onglet Performances affiche les mesures suivantes. Si vous ne voyez aucune mesure dans l’onglet Performance, modifiez et réentraînez le modèle de notation de l’opportunité.

  • Performances du modèle : spécifie si le modèle est prêt pour la publication en fonction des paramètres suivants :

    • Exactitude : fréquence à laquelle le modèle effectue des prédictions correctes, qu’elles soient positives ou négatives. Cette mesure est particulièrement utile lorsque le jeu de données est équilibré et que le coût des faux positifs et des faux négatifs est le même. Le score d’exactitude est calculé à l’aide de la formule suivante :

      Exactitude = (TP + TN) / (Nombre total d’opportunités ou prospects notés) * 100

    • Rappel : indique la fréquence à laquelle le modèle a correctement prédit un résultat positif par rapport aux résultats positifs réels. Un score de rappel faible signifie que le modèle prédit moins de vrais positifs. Le score de rappel est calculé à l’aide de la formule suivante :

      Rappel = TP / (TP + FN) * 100

    • Taux de conversion : pourcentage d’opportunités ou de prospects qualifiés ou conclus selon les données historiques, ou la probabilité qu’une opportunité ou un prospect se convertisse. Le modèle utilise cette valeur pour déterminer comment un attribut influencera le score prédictif. Le taux de conversion est calculé à l’aide de la formule suivante :

      Taux de conversion = (TP + FN) / (Nombre total d’opportunités ou de prospects notés) * 100

  • Matrice de confusion : dans quelle mesure votre modèle a prédit les résultats lorsqu’il a été testé par rapport à des données historiques. La matrice affiche le nombre de vrais positifs, de vrais négatifs, de faux positifs et de faux négatifs.

    Metric Prédit Réel
    Vrai positif (TP) Oui Oui
    Vrai négatif (TN) Non Non
    Faux positif (FP) Oui Non
    Faux négatif (FN) Non Oui

  • Aire sous la courbe : zone sous la courbe (AUC) du modèle. Le score AUC détermine la probabilité qu’un modèle classe une instance positive choisie au hasard (une opportunité conclu ou un prospect qualifié) au dessus d’une instance négative choisie au hasard (une opportunité perdue ou un prospect disqualifié). Un modèle avec un score AUC plus élevé est plus efficace pour prédire les vrais positifs et les vrais négatifs.

  • Score F1 : score F1 calculé en fonction des scores de précision et de rappel du modèle. Le score F1 détermine la qualité du modèle même lorsque les données sont déséquilibrées.

  • Seuil : définit le seuil à partir duquel le prospect ou l’opportunité est considéré comme qualifié ou conclu. Par exemple, si le seuil est de 45, les opportunités avec un score supérieur à 45 seront prédites comme conclues. Le seuil est sélectionné pour optimiser le score F1.

Exemple : mesures de performances d’un modèle

Examinons les résultats de prédiction pour un exemple de jeu de données de 1 000 opportunités :

Données Nombre d’opportunités
Vrai positif 650
Faux positif 200
Vrai négatif 100
Faux négatif 50

Le modèle a prédit que 850 opportunités (TP + FP) seraient conclues ; cependant, seules 650 opportunités (TP) ont été réellement conclues. De même, le modèle a prédit que 150 (TN + FN) opportunités seraient perdues, mais seules 100 (TN) opportunités ont été réellement perdues.

Le tableau suivant affiche les mesures pour les données.

Metric Score
Précision (650 + 100) / 1 000 = 75 %
Rappeler 650 / (650 + 50) = 92 %
Taux de conversion (650 + 50) / 1 000 = 70 %

Améliorer les performances du modèle

Si votre modèle n’est pas prêt à publier ou ne fonctionne pas correctement, essayez les étapes suivantes pour améliorer ses scores.

  • Examinez les attributs qu’il utilise.
  • Affichez les informations sur les attributs pour comprendre leur influence sur la prédiction globale du modèle.
  • Ignorez les valeurs vides pour les attributs qui ont un pourcentage plus élevé de valeurs vides et qui peuvent contribuer à des faux positifs ou faux négatifs.
  • Incluez des champs intelligents pour aider un modèle de notation du prospect à distinguer les facteurs qui améliorent ou nuisent au score.
  • Utilisez la modélisation par étape dans un modèle de notation des opportunités pour choisir les attributs à appliquer à chaque phase du processus métier.
  • Affiner les critères de filtre, la période d’entraînement des données ou d’autres configurations de modèle. Par exemple, si vous avez choisi deux ans comme période pour entraîner les données et qu’il y a trop d’enregistrements de test ou d’enregistrements incorrects sur cette période, choisissez une période plus courte, par exemple six mois ou un an, lorsque la qualité de vos données est meilleure.

Vous ne trouvez pas les options dans votre application ?

Il existe trois possibilités :

  • Vous n’avez pas la licence ou le rôle nécessaire. Consultez la section Exigences en matière de licence et de rôle en haut de cette page.
  • Votre administrateur n’a pas activé la fonctionnalité.
  • Votre organisation utilise une application personnalisée. Consultez votre administrateur pour connaître les étapes exactes. Les étapes décrites dans cet article sont spécifiques aux applications prêtes à l’emploi Centre des ventes ou Sales Professional.

Configurer la notation prédictive de prospects
Configurer la notation prédictive de l’opportunité