Avaliar um agente (pré-visualização)

[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]

O separador Avaliar na experiência nova do agente fornece testes estruturados e repetíveis para o seu agente. Use avaliações para medir a qualidade do agente em vários casos de teste, acompanhar melhorias ao longo do tempo e validar o comportamento do seu agente antes de o publicar.

Important

O que é a avaliação de agentes?

A avaliação de agentes permite testar sistematicamente as respostas do seu agente com base em padrões de qualidade. Em vez de testar cada cenário manualmente no separador Pré-visualização , crie avaliações com conversas de teste, defina como medir as respostas e execute as avaliações para obter resultados quantitativos.

A avaliação ajuda-o a responder a perguntas como estas:

  • O agente responde corretamente num conjunto de cenários esperados?
  • Uma alteração na configuração melhorou ou piorou a qualidade das respostas?
  • O agente liga às ferramentas quando devia?

Conceitos-chave

Os seguintes conceitos são fundamentais ao realizar avaliações no Copilot Studio:

Conversas

Uma conversa é um caso de teste que representa um cenário que pretende que o seu agente processe. Cada conversa inclui as mensagens do utilizador e, opcionalmente, as respostas esperadas do agente. Organize as conversas em avaliações. Cria conversas manualmente, gera-as com IA ou carrega-as a partir de um ficheiro CSV.

Evaluations

Uma avaliação é um conjunto de testes nomeado que combina conversas com um método de teste. Crie avaliações a partir do separador Avaliar, adicione conversas e execute-as para obter resultados pontuados.

Métodos de teste

Os métodos de teste definem como as respostas do agente são pontuadas. Atualmente, o único método de teste disponível é a qualidade geral, uma avaliação baseada em IA para determinar se as respostas cumprem padrões de qualidade, como relevância e completude.

Note

O método de teste de Qualidade geral não compara as respostas às respostas esperadas.

Perfil de utilizador

As avaliações são realizadas sob um perfil de utilizador. Gerir qual perfil autenticado executa a avaliação para que as ferramentas e ligações do agente sejam totalmente testáveis.

Fluxo de trabalho de avaliação

Siga estes passos para avaliar um agente:

  1. Criar uma avaliação: no separador Avaliar, inicie uma nova avaliação. Saiba mais em Criar um conjunto de testes para um agente.
  2. Adicionar conversas: adicione conversas de teste escrevendo-as manualmente, gerando-as com IA ou carregando um ficheiro CSV.
  3. Configurar: nomeie a avaliação, selecione um método de teste, escolha a versão do agente e defina o perfil do utilizador.
  4. Execute a avaliação: Selecione Avaliar para executar o teste e aguarde pelos resultados. Saiba mais em Fazer uma avaliação para um agente.
  5. Rever os resultados: analise as pontuações e identifique as áreas de melhoria. Saiba mais em Ver resultados de avaliação para um agente.
  6. Iterar: Ajuste as instruções, conhecimentos ou ferramentas do seu agente e depois execute novamente a avaliação para medir o impacto.
  • Last updated on