Criar um único conjunto de testes de resposta

Note

Este artigo descreve recursos usados em agentes ou fluxos de agentes baseados no harness padrão.

Uma única avaliação de resposta testa seu agente em uma pergunta não conectada de cada vez, em vez de uma conversa completa. Por exemplo, uma única avaliação de resposta para um agente de atendimento ao cliente pergunta o que são seus horários comerciais?, registra a resposta do agente a essa pergunta e, em seguida, começa com uma nova pergunta: Como encontro meu histórico de pedidos?

As avaliações de resposta única são boas para quando você deseja testar seu agente sobre como ele responde a perguntas específicas, sobre quais recursos ele chama e na redação exata que ele usa em suas respostas. Você também pode executar a avaliação de conversação, que permite avaliar o comportamento do agente em uma interação mais longa.

As avaliações usam conjuntos de teste. Um conjunto de testes para avaliações de resposta única consiste em um grupo de até 100 casos de teste. Quando você executa uma avaliação de agente, você seleciona um conjunto de teste e o Copilot Studio executa todos os casos de teste desse conjunto contra seu agente.

Você pode criar casos de teste dentro de um conjunto de testes manualmente, importá-los usando uma planilha ou usar IA para gerar mensagens baseadas no design e nos recursos do seu agente. Você pode então escolher como quer medir a qualidade das respostas do seu agente para cada caso de teste dentro de um conjunto de testes.

Saiba mais sobre como funciona a avaliação de agentes em Sobre avaliação de agentes.

Para aprender a editar um conjunto de teste existente, veja Alterar os detalhes de um conjunto de teste.

Importante

Os resultados do teste estão disponíveis no Copilot Studio por 89 dias. Para salvar os resultados dos seus testes por um período mais longo, exporte os resultados para um arquivo CSV.

Criar um novo conjunto de testes

1. Acesse a página de Avaliação do seu agente.

   

2. Selecione Nova avaliação e depois selecione Respostas Únicas.

   

3. Escolha o método que você deseja usar para criar seu conjunto de testes. Um conjunto de teste pode ter até 100 casos de teste.

   • Um conjunto de perguntas rápidas para que o Copilot Studio crie casos de teste automaticamente com base na descrição, instruções e capacidades do agente. Essa opção gera 10 perguntas para realizar avaliações pequenas e rápidas ou para começar a construir um conjunto de testes maior.
   • Conjunto completo de perguntas para que o Copilot Studio gere casos de teste usando uma fonte de conhecimento ou tópicos e selecione o número de perguntas a serem geradas.
   • Use a conversa do chat do teste para preencher automaticamente o conjunto de perguntas que você forneceu no chat do teste. Esse método utiliza perguntas do chat de teste mais recente. Você também pode iniciar uma avaliação do chat de teste usando o ícone de avaliação .
     
   • Importe casos de teste de um arquivo arrastando seu arquivo para a área designada, selecionando Navegar para enviar um arquivo ou selecionando uma das outras opções de upload.
   • Ou, escreva algumas perguntas você mesmo para criar manualmente um conjunto de testes. Siga os passos para editar um conjunto de testes para adicionar e editar casos de teste.
   • Utilize dados de produção baseados em temas das análises do seu agente.

4. Em Nome, insira um nome para o conjunto de testes.

5. Em Selecionar métodos de teste, altere ou adicione os métodos de teste que deseja usar:

   • Adicione um novo método:
     1. Selecione Adicionar método de teste.
     2. Selecione todos os métodos que deseja testar e depois selecione OK.
     3. Alguns métodos exigem uma nota de aprovação. A nota de aprovação determina qual nota resulta em aprovação ou reprovação. Defina a pontuação e selecione OK.
     4. Alguns métodos exigem adicionar respostas esperadas ou palavras-chave para cada um dos seus casos de teste. Saiba mais em Escolher métodos de avaliação
   • Selecione um método de teste existente para editar ou excluir.

   Método de teste	Medidas	Tipo de conjunto de testes	Pontuação	Configurações
   Qualidade geral	Quão boa é a resposta de um caso de teste com base em qualidades específicas	Resposta única ou conversa	Avaliado em uma escala de 0 a 100%	None
   Segurança de conteúdo	Se a resposta do caso de teste contém conteúdo prejudicial, como ódio, violência, automutilação ou conteúdo sexual	Resposta única ou conversa	Aprovado/reprovado	Tipo de conteúdo, Nível de segurança de conteúdo permitido
   Comparar significado	Quão bem o significado da resposta do caso de teste corresponde à resposta esperada	Resposta única	Avaliado em uma escala de 0 a 100%	Pontuação de aprovação, resposta esperada
   Uso da ferramenta	Se o caso de teste usou todos ou quaisquer recursos esperados	Resposta única	Aprovado/reprovado	Capacidades esperadas
   Correspondência de palavras-chave	Se o caso de teste usou todas ou algumas das palavras-chave ou frases esperadas	Resposta única ou conversa	Aprovado/reprovado	Palavras-chave ou frases esperadas
   Similaridade de texto	Quão bem o texto da resposta do caso de teste corresponde à resposta esperada	Resposta única	Avaliado em uma escala de 0 a 100%	Pontuação de aprovação, resposta esperada
   Correspondência exata	Se a resposta do caso de teste corresponde exatamente à resposta esperada	Resposta única	Aprovado/reprovado	Resposta esperada
   Personalizado	Se a resposta do caso de teste atende aos seus critérios ou expectativas definidos.	Resposta única ou conversa	Passar/falhar (passa os critérios de rótulo definidos)	Nome, instruções de avaliação, rótulos

6. Edite os detalhes dos casos de teste. Todos os métodos de teste, exceto a qualidade geral, exigem respostas ou palavras-chave esperadas. Saiba mais sobre como editar casos de teste em Modificar um conjunto de testes.

7. Em Configuração Adicional, selecione Gerenciar.

   

8. Em Gerenciar perfil e conexões, em Usuário, selecione ou adicione a conta que deseja usar para esse conjunto de dados. A avaliação utiliza essa conta para se conectar a fontes de conhecimento e ferramentas durante os testes. Saiba mais em Gerenciar perfis de usuário e conexões.

   Note

   Testes automatizados utilizam a autenticação da conta de teste selecionada. Se seu agente possui fontes de conhecimento ou conexões que exigem autenticação específica, selecione a conta apropriada para seu teste. Quando o Copilot Studio gera casos de teste, ele usa as credenciais de autenticação de uma conta conectada para acessar as fontes de conhecimento e ferramentas do seu agente. Os casos de teste gerados podem incluir dados confidenciais que a conta conectada pode acessar. Qualquer fabricante com acesso ao agente também pode visualizar os conjuntos de teste vinculados a esse agente.

9. Selecione Salvar para atualizar o conjunto de dados sem rodar a avaliação ou Executar para executar o conjunto de dados imediatamente.

Gerar um único conjunto de dados de resposta a partir de conhecimento ou tópicos

Você pode testar seu agente gerando perguntas a partir das informações e fontes de conversa que seu agente já possui. Esse método de teste é bom para testar como seu agente usa uma fonte de conhecimento ou tópicos que já possui, mas não é bom para testar lacunas de informação.

Gerar casos de dados utilizando as seguintes fontes de conhecimento:

• Texto

• Microsoft Word

• Microsoft Excel

• Arquivos PDF

• Arquivos do SharePoint

Note

Use apenas arquivos SharePoint individuais como fonte de conhecimento para gerar um conjunto de testes. Pastas do SharePoint não são suportadas.

Você pode usar arquivos de até 5 MB para gerar perguntas de teste.

Para gerar um conjunto de dados:

1. Acesse a página de Avaliação do seu agente.

2. Selecione Nova avaliação.

3. Selecione a opção Gerar no seletor:

   

4. Em Selecionar tipo de dado, selecione Respostas Únicas.

   • Selecione as opções de geração de Show para configurar as seguintes configurações:

     

     1. Em Número de perguntas a gerar, selecione e arraste o controle deslizante para escolher o número de perguntas a serem geradas no seu conjunto de testes.
     2. Em O que devemos usar como referência?, selecione a área que você quer que seu agente mencione ao gerar perguntas para uma nova avaliação. Você tem duas opções:
        • Fontes de conhecimento: Escaneia o conhecimento do agente para criar um conjunto de perguntas relevante. O conhecimento funciona melhor para agentes que usam orquestração generativa.
        • Tópicos: Verifica os tópicos do agente e cria perguntas sobre eles. Ideal para agentes que usam o modo clássico. Tópicos funciona melhor para agentes que usam orquestração clássica.

   

5. Selecione Gerar conjunto de dados.

6. Em conjunto de dados de Revisão, insira os detalhes dos casos de teste. Todos os métodos de teste, exceto a qualidade geral, exigem respostas ou palavras-chave esperadas. Saiba mais sobre como editar casos de teste em Modificar um conjunto de teste.

   

7. Em Selecionar métodos de teste, selecione ou altere os métodos de teste que deseja usar:

   • Para adicionar um novo método:
     1. Selecione Adicionar método de teste.
     2. Selecione todos os métodos que deseja testar e então selecione OK. Você pode adicionar vários métodos.
     3. Para alguns métodos, defina uma nota de aprovação e então selecione OK. A nota de aprovação determina qual nota resulta em aprovação ou reprovação.
     4. Alguns métodos exigem adicionar respostas esperadas ou palavras-chave para cada um dos seus casos de teste. Saiba mais em Escolha métodos de avaliação.
   • Selecione um método de teste existente para editar ou excluir.

8. Em Configuração Adicional, selecione Gerenciar.

   

9. Em Gerenciar perfil e conexões, em Usuário, selecione ou adicione a conta que deseja usar para esse conjunto de dados. A avaliação utiliza essa conta para se conectar a fontes de conhecimento e ferramentas durante os testes. Saiba mais em Gerenciar perfis de usuário e conexões.

   Note

   Testes automatizados utilizam a autenticação da conta de teste selecionada. Se seu agente possui fontes de conhecimento ou conexões que exigem autenticação específica, selecione a conta apropriada para seu teste. Quando o Copilot Studio gera casos de teste, ele usa as credenciais de autenticação de uma conta conectada para acessar as fontes de conhecimento e ferramentas do seu agente. Os casos de teste gerados podem incluir dados confidenciais que a conta conectada pode acessar. Qualquer fabricante com acesso ao agente também pode visualizar os conjuntos de teste vinculados a esse agente.

10. Selecione Salvar para atualizar o conjunto de dados sem rodar a avaliação ou Executar para executar o conjunto de dados imediatamente.

Limitação de geração de casos de teste

A geração de casos de teste falha se uma ou mais perguntas violarem as configurações de moderação de conteúdo do seu agente. Os motivos possíveis incluem:

• As instruções ou tópicos do agente levam o modelo a gerar conteúdo que o sistema sinaliza.
• A fonte de conhecimento conectada inclui conteúdo sensível ou restrito.
• As configurações de moderação de conteúdo do agente são muito rígidas.

Para resolver o problema, tente diferentes ações, como ajustar fontes de conhecimento, atualizar instruções ou modificar configurações de moderação.

Um conjunto de teste pode conter até 100 casos de teste.

Crie um arquivo de conjunto de teste para importar

Em vez de construir seus casos de teste diretamente no Copilot Studio, você pode criar um arquivo de planilha com todos os seus casos de teste e importá-lo para criar seu conjunto de testes. Você pode compor cada questão do teste e declarar as respostas esperadas para cada uma. Quando terminar de criar o arquivo, salve-o como um arquivo .csv ou .txt e importe-o para o Copilot Studio.

Importante

• O arquivo pode conter até 100 perguntas.
• Cada pergunta pode ter até 1.000 caracteres, incluindo espaços.
• O arquivo deve estar em formato de texto ou CSV (valores separados por vírgulas).

Para criar o arquivo de importação:

1. Abra um aplicativo de planilha (por exemplo, Microsoft Excel). Você pode baixar um modelo CSV em Ou enviar um arquivo após selecionar Nova avaliação>Importar. Você também pode baixar sessões dos clientes do analytics para editá-las no Excel.

2. Adicione os seguintes cabeçalhos, nesta ordem, na primeira linha:

   • Pergunta
   • Resposta esperada

3. Insira suas perguntas de teste na coluna Pergunta. Cada pergunta pode ter 1.000 caracteres ou menos, incluindo espaços.

4. Insira as respostas esperadas para cada pergunta na coluna Resposta esperada. As respostas esperadas são opcionais para importar um conjunto de testes. No entanto, você precisa de respostas esperadas para executar casos de teste de correspondência, similaridade e comparação de significado.

5. Salve-o como um arquivo .csv ou .txt.

6. Importe o arquivo seguindo os passos em Criar um novo conjunto de teste.

Crie um conjunto de dados de resposta única importando o arquivo set

1. Acesse a página de Avaliação do seu agente.

2. Selecione Nova avaliação.

3. Em Selecionar tipo de dado, selecione Respostas Únicas.

4. Selecione a opção Importar no alternador.

   

5. Importe dados selecionando Preview chat para usar dados de uma das suas sessões atuais de chat de prévia, ou importando casos de teste de um arquivo CSV arrastando seu arquivo para a área designada ou fazendo upload após selecionar Arrastar um arquivo ou clicar para enviar (CSV).

   

6. Em Revisão conjunto de dados, edite os detalhes dos casos de teste. Todos os métodos de teste, exceto a qualidade geral, exigem respostas ou palavras-chave esperadas. Saiba mais em Modificar um conjunto de teste.

7. Em Selecionar métodos de teste, selecione ou altere os métodos de teste que deseja usar:

   • Para adicionar um novo método:
     1. Selecione Adicionar método de teste.
     2. Selecione todos os métodos que deseja testar e então selecione OK. Você pode adicionar vários métodos.
     3. Para alguns métodos, defina uma nota de aprovação e então selecione OK. A nota de aprovação determina qual nota resulta em aprovação ou reprovação.
     4. Alguns métodos exigem adicionar respostas esperadas ou palavras-chave para cada um dos seus casos de teste. Saiba mais em Escolha métodos de avaliação.
   • Selecione um método de teste existente para editar ou excluir.

8. Em Configuração Adicional, selecione Gerenciar.

9. Em Gerenciar perfil e conexões em Usuário, selecione ou adicione a conta que deseja usar para esse conjunto de dados. A avaliação utiliza essa conta para se conectar a fontes de conhecimento e ferramentas durante os testes. Saiba mais em Gerenciar perfis de usuário e conexões.

10. Selecione Salvar para atualizar o conjunto de dados sem rodar a avaliação ou Executar para executar o conjunto de dados imediatamente.

Crie um conjunto de testes baseado em um tema

Crie um conjunto de testes com perguntas de conversas com usuários reais. Esse método utiliza temas (prévia), encontrados nas análises do seu agente.

Os temas são agrupamentos de perguntas retiradas do conjunto de perguntas do usuário que acionam respostas geradoras. Quando você cria um conjunto de testes usando um tema, você gera os casos de teste a partir de perguntas feitas por usuários relacionadas a esse tema.

Use esses conjuntos de teste para realizar avaliações focadas em uma área ou tema do escopo do seu agente. Por exemplo, se você tem um agente de atendimento ao cliente, pode acompanhar a qualidade das respostas para questões de cobrança e pagamentos separadamente de outros casos de uso, como solução de problemas.

Note

Antes de criar conjuntos de teste a partir de temas, você precisa ter acesso a temas em análises. Revise os pré-requisitos para temas (prévia).

1. Na página Monitor do seu agente, vá para a lista Temas.

2. Passe o mouse sobre um tema e depois selecione Avaliar.

   

   Você também pode selecionar Ver tudo para ver mais temas, e então selecionar Avaliar.

3. Selecione Criar e abrir.

4. Edite os detalhes dos conjuntos de teste e dos casos. Todos os casos de teste que utilizam métodos, exceto qualidade geral, exigem respostas esperadas. Saiba mais sobre edição em Modificar um conjunto de teste.

5. Selecione Salvar para atualizar o conjunto de teste sem rodar os casos de teste ou Avaliar para rodar o conjunto imediatamente.