Partilhar via

Melhore os testes de agentes com o Copilot Studio Kit

O Power CAT Copilot Studio Kit é um aplicativo fácil de usar que permite verificar as respostas dos agentes. Ele também inclui recursos nativos, como exportação e importação do Excel para criação e atualizações em massa.

Configurar, executar e analisar

Configure e execute testes nas APIs do Copilot Studio (API de Linha Direta) para avaliar as respostas do agente em relação aos resultados esperados.

Para enriquecer os resultados, recupere pontos de dados adicionais do Azure Application Insights e do Dataverse analisando registros de transcrição de conversas (como o nome exato do tópico acionado e as pontuações de reconhecimento de intenção).

Para respostas geradas por IA, que são não determinísticas por natureza, use prompts para comparar a resposta gerada com uma resposta de amostra ou instruções de validação.

Diagrama que mostra os componentes do Azure e da Power Platform envolvidos no teste e análise de APIs de Linha Direta do Copilot Studio, incluindo Azure Application Insights, AI Builder e Dataverse.

Tipos de teste

A ferramenta suporta estes tipos de testes:

  • Correspondências de respostas
  • Anexos, como cartões adaptáveis
  • Correspondência de tópicos (requer Dataverse)
  • Respostas generativas (requer AI Builder para análise de resposta e Application Insights para detalhes sobre por que uma resposta não foi gerada)
  • O tipo de teste de várias voltas é um tipo de teste especial. Ele consiste em um conjunto de casos de teste de tipos regulares que são executados em uma ordem especificada no mesmo contexto de conversação. Use testes multi-etapas para testar cenários de ponta a ponta, e para testar agentes personalizados com orquestração generativa.
  • A validação do plano permite que os fabricantes validem se seus agentes personalizados que usam orquestração generativa incluem as ferramentas esperadas. Em vez de avaliar o que o agente diz, esse tipo de teste verifica se o plano dinâmico do agente inclui as ferramentas esperadas (ferramentas, ações e agentes conectados) até um limite predeterminado.

Saiba mais sobre os tipos de teste em Configurar testes no Copilot Studio Kit.

Captura de tela dos detalhes do resultado da execução do teste, incluindo um gráfico mostrando a taxa de sucesso e a latência para todas as execuções de teste.

Próximo passo

Configurar um agente para automação de teste

  • Last updated on