Realize testes e veja os resultados

[Este artigo faz parte da documentação de pré-lançamento e está sujeito a alterações.]

Utilizando os resultados do conjunto de testes, você pode otimizar o comportamento do seu agente e validar que ele atende aos requisitos de negócio e qualidade. Você também pode rodar conjuntos de teste várias vezes para comparar resultados conforme melhora seu agente.

Os resultados dos testes estão disponíveis no Copilot Studio por 89 dias. Para salvar os resultados dos seus testes por um período mais longo, exporte os resultados para um arquivo CSV.

Importante

Este artigo contém a documentação de versão prévia do Microsoft Copilot Studio e está sujeito a alterações.

Os recursos de visualização não são destinados ao uso de produção e podem ter funcionalidade restrita. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer comentários.

Se você estiver criando um agente pronto para produção, confira a visão geral do Microsoft Copilot Studio.

Executar um conjunto de testes

Depois de criar um conjunto de teste, você pode rodá-lo ou reexecutá-lo para comparar resultados ao longo do tempo e das iterações. Um teste pode levar até alguns minutos para ser executado. Você pode fazer um teste por vez.

Importante

Avaliações de agentes que usam autenticação de usuário requerem acesso pelo conector Microsoft Copilot Studio. Se seu administrador desligar essa conexão, você não pode rodar testes usando a ferramenta de avaliação. Para mais informações, veja conectores e grupos de dados do Copilot Studio.

1. Acesse a página de Avaliação do seu agente.

2. Execute um teste realizando uma das seguintes ações:

   • Ao final de criar ou editar um conjunto de testes, selecione Avaliar.
   • Na seção Resultados Recentes , você pode avaliar os resultados dos testes fazendo uma das seguintes opções:
     • Passe o mouse sobre o resultado do teste que você deseja avaliar, selecione os três pontos (...) e então selecione Avaliar conjunto de teste novamente.
     • Selecione o resultado do teste para abri-lo, depois selecione os três pontos (...) no painel de resumo de Avaliação e, em seguida, selecione Avaliar conjunto de teste novamente.

   Se o perfil de usuário do conjunto de teste tiver conexões quebradas, ou se o conjunto de teste não tiver um perfil de usuário, a janela de diálogo Gerenciar conexões aparece. Você não precisa usar um perfil de usuário para testar. No entanto, se você usar um perfil, todas as conexões devem estar funcionando. Para informações sobre como corrigir conexões, veja Gerenciar perfis de usuário e conexões.

Uma avaliação pode levar alguns minutos para ser executada. Um alerta aparece no Copilot Studio quando os resultados dos testes estão prontos para serem visualizados.

Mergulhe nos resultados dos testes

Sempre que você executar uma avaliação com um conjunto de testes, o Copilot Studio:

1. Usa a conta de usuário conectada para simular conversas com o agente, enviando cada pergunta no caso de teste para o agente.

2. Coleta as respostas do agente.

3. Mede e analisa o sucesso de cada resposta. Cada caso de teste recebe uma Aprovação ou Falha, com base nos critérios do caso de teste.

4. Atribui uma pontuação de taxa de aprovação com base na taxa de aprovação e na / do conjunto de testes.

Você pode ver a taxa de aprovação de cada conjunto de testes na página de Avaliação do seu agente, em Resultados Recentes. Para ver mais execuções do conjunto de testes, selecione Ver tudo.

Veja uma análise detalhada para um caso de teste

Quando você abre um resultado de teste, pode ver os detalhes da execução, uma lista das consultas usadas no teste, como o agente respondeu e a pontuação de Aprovado ou Reprovado .

Selecione um caso de teste na lista para ver uma avaliação detalhada de cada resposta.

A avaliação inclui as respostas esperadas e reais, o raciocínio por trás do resultado do teste, além do conhecimento, tópicos e ferramentas que o agente utilizou para responder.

Selecione um conhecimento ou tema citado para abri-lo.

Compare os resultados dos testes

Você quer testar uma versão do seu agente e ver mudanças no desempenho antes e depois de fazer as alterações. Você pode comparar duas sequências do mesmo conjunto de testes usando a ferramenta Comparação com .

Para ver uma comparação, você precisa rodar o mesmo conjunto de testes pelo menos duas vezes.

1. Na página de Avaliação do seu agente, abra o teste que deseja usar como base para a comparação, em Resultados recentes do teste.

2. Selecione o menu suspenso Comparar com , depois selecione a data e hora do teste que você quer comparar com os resultados do teste abertos.

Na lista de casos de teste , setas mostram quais resultados de casos de teste melhoraram ao mudar de reprovado para aprovado , ou declinaram ao mudar de aprovado para reprovado .

Selecione um caso de teste para ver mais detalhes. No painel de resumo de avaliação , você pode ver uma comparação direta das pontuações dos testes, com o resultado do teste atual no topo.

Exportar resultados do teste

Você pode exportar os resultados dos testes para um arquivo CSV. O arquivo lista a pergunta, resposta esperada (se aplicável), método de teste, nota de aprovação (se aplicável), resposta do agente, resultado do teste e análise para cada caso de teste.

1. Acesse a página de Avaliação do seu agente.
2. Na seção Resultados Recentes , você pode exportar um resultado de teste fazendo qualquer uma das seguintes opções:
   • Passe o mouse sobre o caso de teste que você deseja exportar, selecione os três pontos (...) e depois selecione Exportar resultados do teste.
   • Selecione o caso de teste para abri-lo, depois selecione os três pontos (...) no painel de resumo de Avaliação e, em seguida, selecione Exportar resultados do teste.

Os resultados do teste baixam como nome do seu conjunto de teste.csv.