Partager via

Performances du modèle de prédiction

  • Article

Après chaque formation, AI Builder utilise le jeu de données de test pour évaluer la qualité et l’adéquation du nouveau modèle. Une page récapitulative présente les résultats de l’entraînement de votre modèle. Ces résultats sont exprimés en tant que niveau de performance A, B, C ou D.

Mesure des performances

Note de performances

Après chaque entraînement, AI Builder affiche un niveau qui vous aide à évaluer la justesse de votre modèle. Il vous appartient ensuite de décider si votre modèle est prêt à être publié en fonction des besoins et des circonstances qui vous sont propres. AI Builder fournit les niveaux de performance suivants pour faciliter cette prise de décision.

Comment interpréter chaque note

Niveau Recommandation
A Vous pouvez encore essayer d’améliorer le modèle, mais il s’agit du niveau le plus élevé que vous pouvez atteindre.
B Le modèle est correct la plupart du temps. Peut-il être amélioré ? Cela dépend des circonstances, des données et des exigences qui vous sont propres.
C Le modèle fonctionne légèrement mieux qu’une estimation aléatoire. Il peut être acceptable pour certaines applications, mais, dans la plupart des cas, le modèle doit être revu et amélioré.
D Le modèle ne fonctionne pas correctement. Votre modèle est soit moins performant que ce à quoi nous nous attendions en termes d’estimation aléatoire (modèle sous-ajusté). Ou bien, il fonctionne si bien (à 100 % ou presque) que vous avez probablement une colonne de données directement corrélée au résultat (modèle surajusté).

La plage de précision varie en fonction de vos données

Si vous prévoyez 2 voire plus de résultats, les taux de précision réels qui correspondent aux niveaux ci-dessus peuvent varier en fonction de la distribution des données de vos données historiques. L’écart éventuel provient du fait que le rapport entre l’amélioration et votre taux de base de référence change avec la variation de la base de référence.

Supposons que votre modèle prédise si une expédition arrivera à temps. Si votre taux historique de livraison à temps est de 80%, un score de performance de 92 correspond à un niveau B. En revanche, si votre taux historique de livraison à temps est de 50%, ce même score de 92 correspond à un niveau A. La raison est que 92 représente une amélioration nettement supérieure par rapport à 50% que par rapport à 80%, et que vous attendez une estimation aléatoire proche de ces pourcentages.

Exemple de données historiques binaires

Cet exemple montre les plages de précision pour chaque niveau quand les données historiques présentent des taux de livraison à temps différents pour une prédiction binaire.

Niveau Plage de précision pour un taux historique de livraison à temps de 25 % Plage de précision pour un taux historique de livraison à temps de 50 % Plage de précision pour un taux historique de livraison à temps de 80 % Plage de précision pour un taux historique de livraison à temps de 95 %
A 92,5 – <99,3 % 90 – 98% 93 – <99 % 98,1 – <99,8 %
B 81,3 – <92,5 % 75 – <90 % 84 – <93 % 95,3 – <98,1 %
C 66,3 – <81,3 % 55 – <75 % 71 – <84 % 91,5 – <95,3 %
D <66,3 % ou ≥99,3 % <55 % ou ≥98 % <71 % ou ≥99 % <91,5 % ou ≥99,8 %

Exemple de données historiques à résultats multiples

Les taux de précision qui correspondent à chaque niveau peuvent également varier lorsque vous prédisez plus de 2 résultats. Supposons que votre modèle prédit plus de deux options de livraison : tôt, à temps ou tard.

Les plages de précision pour chaque niveau changent lorsque vos taux de ponctualité historiques changent.

Niveau Tôt (33,3 %) Tôt (20 %) Tôt (10 %)
À temps (33,3%) À temps (40%) À temps (80%)
Tard (33,4 %) Tard (40 %) Tard (10 %)
A 86,7 – <98,7 % 87,2 – <98,7 % 93,2 – <99,3 %
B 66,7 – <86,7 % 68,0 – <87,2 % 83,0 – <93,2 %
C 40,0 – <66,7 % 42,4 – <68,0 % 69,4 – <83,0 %
D 33,3 – <40,0 % 36,0 – <42,4 % 66,0 – <69,4 %

Exemple de prédiction numérique

Pour la prédiction numérique, AI Builder utilise la mesure statistique R-carré pour calculer la note de précision de vos modèles. Le tableau suivant présente les niveaux correspondant à chaque niveau :

Niveau R-carré
Un 85 % - <99 %
B 60 % - <85 %
C 10 % - <60 %
D ≥99 % ou <10 %

Détails des performances

Pour plus d’informations sur l’entraînement, sélectionnez Voir les détails dans la zone de niveau du modèle. Sur l’onglet Performance, les informations suivantes sont disponibles :

Note

Pour plus d’informations sur les fonctionnalités supplémentaires planifiées dans ce domaine, consultez les prévisions.

  • Score de précision
  • R-carré

Score de précision

AI Builder calcule le score de justesse pour votre modèle en fonction de la prédiction du jeu de données de test. Avant l’entraînement, AI Builder sépare votre jeu de données en jeux de données d’entraînement et de données de test distincts. Après l’entraînement, AI Builder applique votre modèle IA au jeu de données de test, puis calcule votre score de justesse. Par exemple : si votre jeu de données de test comporte 200 lignes, et qu’AI Builder prédit correctement 192 d’entre elles, AI Builder affiche un score de précision de 96 %.

Pour plus d’informations, voir : Évaluer votre modèle.

R-carré

Pour les prédictions numériques, AI Builder calcule un score r au carré après chaque entraînement. Ce score mesure l’« adéquation » de votre modèle et est utilisé pour déterminer le niveau de performances de votre modèle.

Supposons que vous prédisiez le nombre de jours nécessaires pour traiter, expédier et livrer une commande. Le modèle prédit un ensemble de nombres. La valeur R au carré est basée sur les distances entre les valeurs prédites et les valeurs réelles dans vos données d’entraînement. Elle est exprimée sous la forme d’un nombre compris entre 0 et 100 % (un nombre plus élevé indiquant que la valeur prédite est plus proche de la valeur réelle). Dans la plupart des cas, plus le score est élevé et plus le modèle est performant. Gardez toutefois à l’esprit que des scores parfaits ou presque parfaits (modèles surajustés) indiquent souvent un problème avec vos données d’entraînement.

Dans l’onglet Résumé, les informations de performance suivantes sont disponibles :

  • Date d’entraînement
  • Source de données
  • Résultat historique
  • Liste de tables utilisée pour effectuer la prédiction

Améliorer les performances de votre modèle de prédiction

Après avoir entraîné et évalué votre modèle, il est temps de le modifier légèrement pour améliorer ses performances. Voici quelques actions à essayer pour améliorer le pouvoir de prédiction de votre modèle.

Passer en revue les erreurs et les problèmes

  • S’il y a des erreurs après avoir terminé la formation, corrigez-les et reconvertissez le modèle.
  • S’il n’y a pas d’erreur, consultez les détails de l’entraînement. Essayez de résoudre autant de problèmes que possible, puis réentraînez le modèle.

Passer en revue les facteurs d’influence clés

Après chaque entraînement, une liste des facteurs d’influence clés s’affiche dans la page des détails du modèle. Chaque colonne utilisée dans l’apprentissage a un score qui représente son influence sur l’apprentissage. Ces scores se combinent pour atteindre 100 %.

Cela permet d’indiquer si votre modèle est entraîné comme prévu. Par exemple, si vous souhaitez prévoir l’intention d’acheter en ligne des clients, et que vous prévoyez Âge, Produit comme colonne la plus influente, vous devez voir dans la liste des colonnes les plus influentes sur la page des détails du modèle. Dans le cas contraire, il peut indiquer que le résultat de l’entraînement n’est pas comme prévu. Dans ce cas, vous pouvez soit désélectionner les colonnes non pertinentes ou trompeuses et recycler le modèle, soit vérifier vos problèmes d’apprentissage pour voir plus de détails.

Ajouter des données supplémentaires

Les exigences minimales pour les données d’entraînement sont de 50 lignes, mais cela ne signifie pas que 50 lignes de données pourront entraîner un modèle hautement prédictif. Essayez de fournir au moins 1 000 lignes de données, correctement étiquetées, avec une distribution réaliste entre les options.

Vérifier la distribution de vos données

Par exemple, si vous utilisez deux étiquettes d’option Oui ou Non, et que la plupart de vos lignes de données n’ont qu’un Oui dans cette colonne, il est difficile pour votre modèle de tirer des apprentissages de ces données. Essayez de disposer d’une distribution d’options dans vos données qui reflète à peu près la distribution des options que vous pouvez vous attendre à voir. Par exemple, si vous examinez les colonnes de données pourcat_owner et dog_owner, utilisez une distribution de données aux environs de 50%. Si vous examinez des transactions frauduleuses, utilisez une distribution plus déséquilibrée, peut-être 95 % contre 5 %. Consultez les normes du secteur pour ce type d’informations si vous ne savez pas à quoi vous attendre.

Ajouter d’autres colonnes

Par exemple, vous voulez prédire quels clients sont les plus susceptibles de revenir acheter vos produits. Vous pouvez ajouter d’autres colonnes pour enrichir l’apprentissage des données. Par exemple :

  • Comment évaluent-ils le produit ?
  • Comment utilisent-ils le produit ?
  • Sont-ils déjà clients ?

Réduire les colonnes sélectionnées aux informations pertinentes

Peut-être disposez-vous déjà de beaucoup de données d’apprentissage correctement étiquetées, avec de nombreuses colonnes de données. Alors, pourquoi le modèle de produit-il pas de bonnes performances ? Il se peut que vous sélectionniez des colonnes qui induisent un biais non désiré. Vérifiez toutes les colonnes que vous sélectionnez sont pertinentes pour ce que vous souhaitez prévoir. Désélectionnez les colonnes non nécessaires ou trompeuses.

Valider les données

  • Assurez-vous que les colonnes de données n’ont pas un taux élevé de valeurs manquantes (supérieur à 99pour cent). Remplissez les valeurs manquantes avec des données par défaut ou supprimez la colonne de données de l’apprentissage du modèle.
  • Si une colonne de données a une corrélation élevée avec les résultats de prédiction, supprimez la colonne de données de l’apprentissage du modèle.

Étape suivante

Utiliser votre modèle de prédiction dans Power Apps