Optimiser les agents pour réduire la latence

Cet article partage quelques pratiques clés et vous aide à optimiser les agents qui dépendent des informations provenant de sources externes, afin de réduire le temps d’attente des clients pendant les conversations.

Définissez un délai d’expiration maximal pour les variables globales définies en externe. Pour les agents avec des variables globales configurées pour recevoir le contexte à partir de sources externes, définissez la valeur de délai d’expiration facultative afin que vos agents ne se bloquent plus longtemps.

Limitez le contexte de la conversation et la taille de la sortie de l’outil. De longs historiques de conversation et de gros résultats d’outils augmentent la quantité d’informations que le modèle doit traiter et peuvent augmenter le temps de réponse. Configurez les outils pour ne retourner que les données nécessaires à la tâche en cours. Lors du dépannage de la latence, comparez le temps de réponse avec une nouvelle conversation pour déterminer si le contexte accumulé contribue au délai.

Indiquez à l’utilisateur que l’agent a besoin d’un instant. L’agent ne répond pas pendant plus de quelques secondes peut faire en sorte que l’utilisateur se demande si le système fonctionne ou non. Envisagez d’envoyer un bref message au début de la rubrique applicable indiquant que l’agent recherche des informations. De cette façon, l’utilisateur sait que l’opération peut prendre un moment et que les choses fonctionnent.

Réduisez et optimisez les opérations longues hors agent. L’appel de systèmes externes pour rechercher des informations pour personnaliser une demande peut faire une expérience exceptionnelle, mais il peut également prendre beaucoup de temps. Si cette personnalisation est nécessaire, vérifiez que l’appel est optimisé et que le système appelé est évolutif.

Utilisez des nœuds de requête HTTP pour les requêtes rapides. L’utilisation d’un flux Power Automate peut permettre d’effectuer facilement des opérations sophistiquées, mais cela peut impliquer une surcharge considérable. Si vous avez besoin d’un seul appel de recherche off-box, le nœud requête HTTP peut être une option plus légère pour ces opérations simples.

Pour les appels Power Automate, utilisez le tableau de bord Power Automate pour passer en revue les durées des demandes. Copilot Studio ne fournit pas d’informations sur le temps d’opérations hors agent telles que les appels Power Automate. Par conséquent, il peut être difficile de comprendre où le temps est passé. Dans Copilot Studio, ces appels hors plateforme sont synchrones, ce qui signifie qu’aucune autre activité n’a lieu dans la conversation tant qu’un flux Power Automate n’est pas terminé. Envisagez d’utiliser le tableau de bord Power Automate pour votre flux. Ce tableau de bord peut vous donner des informations sur les taux de réussite et d’échec des opérations, ainsi que leur durée.