Executar testes e ver resultados

[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]

Ao utilizar os resultados do conjunto de testes, pode otimizar o comportamento do seu agente e validar que cumpre os requisitos de negócio e qualidade. Também pode fazer conjuntos de teste várias vezes para comparar resultados à medida que melhora o seu agente.

Os resultados dos testes estão disponíveis no Copilot Studio durante 89 dias. Para guardar os resultados dos seus testes por um período mais longo, exporte os resultados para um ficheiro CSV.

Importante

Este artigo contém a documentação de visualização do Microsoft Copilot Studio e está sujeito a alterações.

As funcionalidades de pré-visualização não se destinam a utilização em produção e podem ter funcionalidades restritas. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer feedback.

Se você estiver criando um agente pronto para produção, consulte Visão geral do Microsoft Copilot Studio.

Executar um conjunto de testes

Depois de criar um conjunto de teste, pode executá-lo ou voltar a executá-lo para comparar resultados ao longo do tempo e das iterações. Um teste pode demorar até alguns minutos a ser executado. Podes fazer um teste de cada vez.

Importante

As avaliações de agentes que utilizam autenticação de utilizador requerem acesso através do conector Microsoft Copilot Studio. Se o teu administrador desligar esta ligação, não podes fazer testes usando a ferramenta de avaliação. Para mais informações, consulte conectores e grupos de dados do Copilot Studio.

1. Vá à página de Avaliação do seu agente.

2. Faça um teste realizando uma das seguintes ações:

   • No final de criar ou editar um conjunto de testes, selecione Avaliar.
   • Na secção de Resultados Recentes , pode avaliar os resultados dos testes fazendo uma das seguintes opções:
     • Passe o rato sobre o resultado do teste que pretende avaliar, selecione os três pontos (...) e depois selecione novamente Avaliar conjunto de testes.
     • Selecione o resultado do teste para o abrir, depois selecione os três pontos (...) no painel de resumo de Avaliação , e depois selecione novamente Avaliar conjunto de teste.

   Se o perfil de utilizador do conjunto de teste tiver ligações avariadas, ou se o conjunto de teste não tiver um perfil de utilizador, aparece o diálogo Gerir ligações . Não precisa de usar um perfil de utilizador para testar. No entanto, se usares um perfil, todas as ligações devem estar a funcionar. Para informações sobre como corrigir ligações, consulte Gerir perfis de utilizador e ligações.

Uma avaliação pode demorar alguns minutos a ser executada. Um alerta aparece no Copilot Studio quando os resultados do teste estão prontos para visualização.

Analise os resultados dos testes

Cada vez que executa uma avaliação com um conjunto de testes, o Copilot Studio:

1. Usa a conta de utilizador ligada para simular conversações com o agente, enviando cada pergunta no caso de teste para o agente.

2. Recolhe as respostas do agente.

3. Mede e analisa o sucesso de cada resposta. Cada caso de teste recebe uma Aprovação ou Reprovação, com base nos critérios do caso de teste.

4. Atribui uma pontuação de taxa de aprovação com base nas taxas de aprovação/ereprovação do conjunto de testes.

Pode ver a taxa de aprovação de cada conjunto de testes na página de Avaliação do seu agente, em Resultados Recentes. Para ver mais execuções do conjunto de testes, selecione Ver tudo.

Consulte uma análise detalhada para um caso de teste

Quando abre um resultado de teste, pode ver os detalhes da execução, uma lista das consultas usadas no teste, como o agente respondeu e a pontuação de Aprovado ou Reprovado .

Selecione um caso de teste na lista para ver uma avaliação detalhada de cada resposta.

A avaliação inclui as respostas esperadas e reais, o raciocínio por detrás do resultado do teste e o conhecimento, tópicos e ferramentas que o agente utilizou para responder.

Selecione um conhecimento ou tema citado para o abrir.

Compare os resultados dos testes

Queres testar uma versão do teu agente e ver alterações no desempenho antes e depois de fazeres alterações. Pode comparar duas execuções do mesmo conjunto de testes usando a ferramenta Comparação com .

Para ver uma comparação, é preciso correr o mesmo conjunto de testes pelo menos duas vezes.

1. Na página de Avaliação do seu agente, abra o teste que pretende usar como base para a comparação, em Resultados recentes do teste.

2. Selecione o menu suspenso Comparar com , depois selecione a hora e a data do teste que quer comparar com os resultados do teste atualmente abertos.

Na lista de casos de teste , as setas mostram quais os resultados do caso de teste melhorados ao mudarem de falhar para passar , ou declinaram ao mudar de passar para falhar .

Selecione um caso de teste para ver mais detalhes. No painel de resumo da avaliação , pode ver uma comparação direta das pontuações dos testes, com o resultado do teste atual no topo.

Exportar resultados de testes

Podes exportar os resultados dos testes para um ficheiro CSV. O ficheiro lista a pergunta, resposta esperada (se aplicável), método de teste, pontuação de aprovação (se aplicável), resposta do agente, resultado do teste e análise para cada caso de teste.

1. Vá à página de Avaliação do seu agente.
2. Na secção de Resultados Recentes , pode exportar um resultado de teste fazendo uma das seguintes opções:
   • Passe o rato sobre o caso de teste que quer exportar, selecione os três pontos (...) e depois selecione Exportar resultados do teste.
   • Selecione o caso de teste para o abrir, depois selecione os três pontos (...) no painel de resumo de Avaliação , e depois selecione Exportar resultados de teste.

Os resultados do teste são descarregados como o nome do seu conjunto de teste.csv.