Avaliar um agente (versão prévia)

[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]

A guia Evaluate na nova experiência de agente oferece testes estruturados e repetíveis para o seu agente. Use avaliações para medir a qualidade do agente em vários casos de teste, acompanhar melhorias ao longo do tempo e validar o comportamento do seu agente antes de publicá-lo.

Importante

  • Esta é uma versão prévia do recurso pronta para produção.
  • As versões preliminares prontas para produção estão sujeitas a termos de uso complementares.

O que é avaliação de agente?

A avaliação de agente permite que você teste sistematicamente as respostas do seu agente em relação aos padrões de qualidade. Em vez de testar cada cenário manualmente na aba Prévia , crie avaliações com conversas de teste, defina como medir respostas e execute as avaliações para obter resultados quantitativos.

A avaliação ajuda você a responder perguntas como estas:

  • O agente responde corretamente em uma variedade de cenários esperados?
  • Uma mudança de configuração melhorou ou degradou a qualidade da resposta?
  • O agente chama ferramentas quando deveria?

Conceitos principais

Os seguintes conceitos são fundamentais ao executar avaliações no Copilot Studio:

Conversas

Uma conversa é um caso de teste que representa um cenário que você deseja que seu agente trate. Cada conversa inclui mensagens de usuários e, opcionalmente, respostas esperadas do agente. Organize as conversas em avaliações. Crie conversas manualmente, gere-as com IA ou faça upload de um arquivo CSV.

Evaluations

Uma avaliação é um conjunto de teste nomeado que combina conversas com um método de teste. Você cria avaliações na aba Avaliar, adiciona conversas a elas e depois as executa para gerar resultados com pontuação.

Métodos de teste

Métodos de teste definem como as respostas do agente são pontuadas. Atualmente, o único método de teste disponível é a qualidade geral, uma avaliação baseada em IA para determinar se as respostas atendem a padrões de qualidade, como relevância e completude.

Note

O método de teste de Qualidade geral não compara respostas com respostas esperadas.

Perfil do usuário

As avaliações são realizadas sob um perfil de usuário. Gerencie qual perfil autenticado executa a avaliação para que as ferramentas e conexões do agente sejam totalmente testáveis.

Fluxo de trabalho de avaliação

Siga estes passos para avaliar um corretor:

  1. Criar uma avaliação: na aba Avaliar, inicie uma nova avaliação. Saiba mais em Criar um conjunto de testes para um agente.
  2. Adicionar conversas: adicione conversas de teste escrevendo-as manualmente, gerando-as com IA ou carregando um arquivo CSV.
  3. Configurar: nomeie a avaliação, selecione um método de teste, escolha a versão do agente e defina o perfil do usuário.
  4. Execute a avaliação: selecione Avaliar para rodar o teste e aguarde os resultados. Saiba mais em Realize uma avaliação para um corretor.
  5. Revisar os resultados: analise as pontuações e identifique áreas para melhoria. Saiba mais em Veja os resultados das avaliações de um corretor.
  6. Iterar: Ajuste as instruções, conhecimentos ou ferramentas do seu agente e depois execute a avaliação novamente para medir o impacto.
  • Last updated on