Analysez votre boucle d’apprentissage avec une évaluation hors connexion

Important

À compter du 20 septembre 2023, vous ne pourrez pas créer de ressources Personalizer. Le service Personalizer est mis hors service le 1er octobre 2026.

Découvrez comment créer une évaluation hors connexion et interpréter les résultats.

Les évaluations hors connexion vous permettent de mesurer l’efficacité de Personalizer par rapport au comportement par défaut de votre application pendant une période de données journalisées (historiques), puis d’évaluer l’efficacité des autres paramètres de configuration de votre modèle.

Quand vous créez une évaluation hors connexion, l’option Découverte d’optimisation exécute des évaluations hors connexion sur diverses valeurs de stratégie d’apprentissage pour en trouver une susceptible d’améliorer les performances de votre modèle. Vous pouvez également fournir des stratégies supplémentaires à évaluer dans l’évaluation hors connexion.

Pour plus d’informations, consultez Évaluations hors connexion.

Prérequis

• Une ressource Personalizer configurée
• La ressource Personalizer doit avoir une quantité de données journalisées représentative : pour fournir un ordre de grandeur, nous recommandons au moins 50 000 événements dans ses journaux pour obtenir des résultats d’évaluation significatifs. Vous avez peut-être déjà exporté des fichiers de stratégie d’apprentissage que vous voulez tester et comparer dans cette évaluation.

Exécuter une évaluation hors connexion

1. Dans le portail Azure, recherchez votre ressource Personalizer.

2. Sur le portail Azure, accédez à la section Évaluations, puis sélectionnez l’option Créer une évaluation.

3. Renseignez les options dans la fenêtre Créer une évaluation :

   • Nom d’évaluation.
   • Dates de début et de fin : il s’agit de dates qui spécifient la plage de données à utiliser pour l’évaluation. Ces données doivent être présentes dans les journaux, tel que spécifié dans la valeur de Conservation des données.
   • Définissez Découverte d’optimisation sur Oui, si vous voulez que Personalizer tente de trouver des stratégies d’apprentissage plus optimales.
   • Ajoutez des paramètres d’apprentissage : chargez un fichier de stratégie d’apprentissage si vous voulez évaluer une stratégie personnalisée ou précédemment exportée.

   

4. Démarrez l’évaluation en sélectionnant Démarrer l’évaluation.

Examiner les résultats de l’évaluation

L’exécution des évaluations peut durer longtemps, selon la quantité de données à traiter, le nombre de stratégies d’apprentissage à comparer, et si une optimisation a été demandée.

1. Une fois l’opération terminée, vous pouvez sélectionner l’évaluation dans la liste des évaluations, puis Comparer le score de votre application à d’autres paramètres d’apprentissage potentiels. Sélectionnez cette fonctionnalité quand vous souhaitez comparer les performances de votre stratégie d’apprentissage actuelle à celles d’une nouvelle stratégie.

2. Ensuite, passez en revue les performances des stratégies d’apprentissage.

   

Vous allez voir différentes stratégies d’apprentissage sur le graphique, ainsi que leur récompense moyenne estimée, les intervalles de confiance et les options de téléchargement ou d’application d’une stratégie spécifique.

• « Online » : stratégie actuelle de Personalizer
• « Baseline1 » : stratégie de base de référence de votre application
• « BaselineRand » : stratégie d’actions aléatoires
• « Inter-len# » ou « Hyper# » : stratégies créées par Découverte d’optimisation.

Sélectionnez Appliquer pour appliquer la stratégie qui améliore le mieux le modèle pour vos données.

Étapes suivantes

• Découvrez plus en détail le fonctionnement des évaluations hors connexion.