Criar um conjunto de testes de resposta única

Observação

Este artigo descreve as funcionalidades usadas em agentes ou fluxos de agentes alimentados pelo arnês padrão.

Uma única avaliação de resposta testa o seu agente numa pergunta não relacionada de cada vez, em vez de uma conversa completa. Por exemplo, uma avaliação de resposta única para um agente de atendimento ao cliente pergunta : Quais são os seus horários de trabalho?, regista a resposta do agente a essa pergunta e começa com uma nova pergunta: Como posso encontrar o histórico das minhas encomendas?

As avaliações de resposta única são boas quando quer testar o seu agente sobre como responde a perguntas específicas, quais as capacidades que chama e a formulação exata que usa nas respostas. Também pode realizar uma avaliação conversacional, que lhe permite avaliar o comportamento do seu agente ao longo de uma interação mais longa.

As avaliações utilizam conjuntos de teste. Um conjunto de teste para avaliações de resposta simples consiste num grupo de até 100 casos de teste. Quando executas uma avaliação de agente, selecionas um conjunto de testes e o Copilot Studio executa todos os casos de teste desse conjunto contra o teu agente.

Pode criar casos de teste dentro de um conjunto de testes manualmente, importá-los usando uma folha de cálculo ou usar IA para gerar mensagens com base no design e nos recursos do seu agente. Pode então escolher como quer medir a qualidade das respostas do seu agente para cada caso de teste dentro de um conjunto de testes.

Saiba mais sobre como funciona a avaliação de agentes em Sobre avaliação de agentes.

Para aprender a editar um conjunto de teste existente, veja Alterar os detalhes de um conjunto de teste.

Importante

Os resultados dos testes estão disponíveis no Copilot Studio durante 89 dias. Para guardar os resultados dos seus testes por um período mais longo, exporte os resultados para um ficheiro CSV.

Criar um novo conjunto de testes

  1. Vá à página de Avaliação do seu agente.

    Captura de ecrã que mostra como selecionar o separador Avaliação quando a seleção de separador está comprimida devido ao tamanho do ecrã.

  2. Selecione Nova avaliação e depois selecione Respostas Únicas.

    Captura de ecrã que mostra o botão Criar novo teste na página de Avaliação.

  3. Escolhe o método que queres usar para criar o teu conjunto de testes. Um conjunto de testes pode ter até 100 casos de teste.

    • Conjunto rápido de perguntas para que a Copilot Studio crie automaticamente casos de teste com base na descrição, instruções e capacidades do seu agente. Esta opção gera 10 perguntas para realizar avaliações pequenas e rápidas ou para começar a construir um conjunto de testes maior.
    • Conjunto completo de perguntas para que o Copilot Studio gere casos de teste usando uma fonte de conhecimento ou tópicos e escolha o número de perguntas a gerar.
    • Use a conversa do chat de teste para preencher automaticamente o conjunto de perguntas com as perguntas que forneceu no chat. Este método utiliza perguntas do último chat de teste. Também pode iniciar uma avaliação a partir do chat de teste usando o ícone de avaliação .
      Captura de ecrã que mostra o botão Criar novo teste no chat de teste.
    • Importa casos de teste de um ficheiro arrastando o ficheiro para a área designada, selecionando Navegar para carregar um ficheiro, ou selecionando uma das outras opções de upload.
    • Ou, escreve tu próprio algumas perguntas para criar manualmente um conjunto de testes. Siga os passos para editar um conjunto de testes para adicionar e editar casos de teste.
    • Use dados de produção baseados em temas das análises do seu agente. Captura de ecrã a mostrar a opção Avaliar para um tema na lista de Temas de um tema.

  4. Em Nome, introduza um nome para o conjunto de testes.

  5. Em Selecionar métodos de teste, altere ou adicione os métodos de teste que pretende usar:

    • Adicione um novo método:
      1. Selecione Adicionar método de teste.
      2. Seleciona todos os métodos com que queres testar e depois seleciona OK.
      3. Alguns métodos exigem uma pontuação de aprovação. A pontuação mínima para aprovação determina o que resulta numa aprovação ou reprovação. Define a pontuação e depois seleciona OK.
      4. Alguns métodos exigem adicionar respostas esperadas ou palavras-chave para cada um dos seus casos de teste. Saiba mais em Escolher métodos de avaliação
    • Selecione um método de teste existente para editar ou eliminar.
    Método de ensaio Medidas Tipo de conjunto de teste Classificação Configurações
    Qualidade geral Quão boa é a resposta de um caso de teste com base em qualidades específicas Resposta única ou conversa Classificação de um total de 100% Nenhum
    Comparar significado Quão bem o significado da resposta do caso de teste corresponde à resposta esperada Resposta única Classificação de um total de 100% Pontuação de aprovação, resposta esperada
    Utilização de ferramentas Se o caso de teste utilizou todos ou alguns dos recursos esperados Resposta única Aprovado/reprovado Capacidades esperadas
    Combinação de palavras-chave Se o caso de teste utilizou todas ou algumas das palavras-chave ou frases esperadas Resposta única ou conversa Aprovado/reprovado Palavras-chave ou frases esperadas
    Semelhança de texto Quão bem o texto da resposta do caso de teste corresponde à resposta esperada Resposta única Classificação de um total de 100% Pontuação de aprovação, resposta esperada
    Correspondência exata Se a resposta do caso de teste corresponde exatamente à resposta esperada Resposta única Aprovado/reprovado Resposta esperada
    Personalizado Se a resposta do caso de teste cumpre os seus critérios ou expectativas definidas. Resposta única ou conversa Aprovado/reprovado (satisfaz os critérios definidos do rótulo) Nome, instruções de avaliação, etiquetas

  6. Editar os detalhes dos casos de teste. Todos os métodos de teste, exceto a qualidade geral, exigem respostas esperadas ou palavras-chave. Saiba mais sobre como editar casos de teste em Modificar um conjunto de teste.

  7. Em Configuração Adicional, selecione Gerir.

    Captura de ecrã que mostra o botão Gerir em Configuração adicional.

  8. Em Gerir perfil e ligações, em Utilizador, selecione ou adicione a conta que pretende usar para este conjunto de dados. A avaliação utiliza esta conta para se ligar a fontes de conhecimento e ferramentas durante os testes. Saiba mais em Gerir perfis de utilizador e ligações.

    Observação

    O teste automatizado utiliza a autenticação da conta de teste selecionada. Se o seu agente tiver fontes de conhecimento ou ligações que requerem autenticação específica, selecione a conta apropriada para o seu teste. Quando o Copilot Studio gera casos de teste, utiliza as credenciais de autenticação de uma conta ligada para aceder às fontes de conhecimento e ferramentas do seu agente. Os casos de teste gerados podem incluir dados sensíveis aos quais a conta ligada pode aceder. Qualquer fabricante com acesso ao agente também pode visualizar os conjuntos de teste ligados a esse agente.

  9. Selecione Guardar para atualizar o conjunto de dados sem executar a avaliação ou Executar para executar o conjunto de dados imediatamente.

Gerar um único conjunto de dados de resposta a partir de conhecimento ou tópicos

Pode testar o seu agente gerando perguntas a partir da informação e das fontes de conversa que o seu agente já possui. Este método de teste é bom para testar como o seu agente utiliza uma fonte de conhecimento ou tópicos que já possui, mas não é bom para testar lacunas de informação.

Gerar casos de dados utilizando as seguintes fontes de conhecimento:

  • Texto

  • Microsoft Word

  • Microsoft Excel

  • Ficheiros PDF

  • Ficheiros SharePoint

Observação

Use apenas ficheiros SharePoint individuais como fonte de conhecimento para gerar um conjunto de testes. As pastas do SharePoint não são suportadas.

Pode usar ficheiros de até 5 MB para gerar perguntas de teste.

Para gerar um conjunto de dados:

  1. Vá à página de Avaliação do seu agente.

  2. Selecionar Nova avaliação.

  3. Selecione a opção Gerar no comutador:

    Captura de ecrã a mostrar o botão Gerar selecionado para respostas individuais.

  4. Em Selecionar tipo de dado, selecione Respostas Únicas.

    • Selecione Mostrar opções de geração para configurar as seguintes definições:

      Captura de ecrã a mostrar o slider para selecionar quantas perguntas gerar.

      1. Em Número de perguntas a gerar, selecione e arraste o slider para escolher o número de perguntas a gerar no seu conjunto de testes.
      2. Em O que devemos usar como referência?, selecione a área que quer que o seu agente consulte ao gerar perguntas para uma nova avaliação. Tens duas opções:
        • Fontes de conhecimento: Analisa o conhecimento do agente para criar um conjunto de perguntas relevante. O conhecimento funciona melhor para agentes que usam orquestração generativa.
        • Tópicos: Verifica os temas do agente e cria perguntas sobre esses assuntos. É ideal para agentes que usam o modo clássico. Topics funciona melhor para agentes que usam orquestração clássica.

    Captura de ecrã que mostra todas as opções de geração ao criar uma nova avaliação.

  5. Selecione Gerar conjunto de dados.

  6. Em conjunto de dados de Revisão, insira os detalhes dos casos de teste. Todos os métodos de teste, exceto a qualidade geral, exigem respostas esperadas ou palavras-chave. Saiba mais sobre como editar casos de teste em Modificar um conjunto de testes.

    Captura de ecrã que mostra o criador a introduzir as respostas esperadas para uma nova avaliação.

  7. Em Selecionar métodos de teste, selecione ou altere os métodos de teste que pretende usar:

    • Para adicionar um novo método:
      1. Selecione Adicionar método de teste.
      2. Seleciona todos os métodos com que queres testar e depois seleciona OK. Podes adicionar vários métodos.
      3. Para alguns métodos, define uma pontuação de aprovação e depois seleciona OK. A pontuação mínima para aprovação determina o que resulta numa aprovação ou reprovação.
      4. Alguns métodos exigem adicionar respostas esperadas ou palavras-chave para cada um dos seus casos de teste. Saiba mais em Escolher métodos de avaliação.
    • Selecione um método de teste existente para editar ou eliminar.

  8. Em Configuração Adicional, selecione Gerir.

    Captura de ecrã que mostra o botão Gerir em Configuração adicional.

  9. Em Gerir perfil e ligações, em Utilizador, selecione ou adicione a conta que pretende usar para este conjunto de dados. A avaliação utiliza esta conta para se ligar a fontes de conhecimento e ferramentas durante os testes. Saiba mais em Gerir perfis de utilizador e ligações.

    Observação

    O teste automatizado utiliza a autenticação da conta de teste selecionada. Se o seu agente tiver fontes de conhecimento ou ligações que requerem autenticação específica, selecione a conta apropriada para o seu teste. Quando o Copilot Studio gera casos de teste, utiliza as credenciais de autenticação de uma conta ligada para aceder às fontes de conhecimento e ferramentas do seu agente. Os casos de teste gerados podem incluir dados sensíveis aos quais a conta ligada pode aceder. Qualquer fabricante com acesso ao agente também pode visualizar os conjuntos de teste ligados a esse agente.

  10. Selecione Guardar para atualizar o conjunto de dados sem executar a avaliação ou Executar para executar o conjunto de dados imediatamente.

Limitação da geração de casos de teste

A geração de casos de teste falha se uma ou mais perguntas violarem as definições de moderação de conteúdo do seu agente. As possíveis razões incluem:

  • As instruções ou tópicos do agente levam o modelo a gerar conteúdo que o sistema assinala.
  • A fonte de conhecimento ligada inclui conteúdos sensíveis ou restritos.
  • As definições de moderação de conteúdo do agente são demasiado rigorosas.

Para resolver o problema, experimente diferentes ações, como ajustar fontes de conhecimento, atualizar instruções ou modificar definições de moderação.

Um conjunto de teste pode conter até 100 casos de teste.

Criar um ficheiro de teste para importar

Em vez de construir os teus casos de teste diretamente no Copilot Studio, podes criar um ficheiro de folha de cálculo com todos os teus casos de teste e importá-lo para criar o teu conjunto de testes. Pode compor cada pergunta de teste e apresentar as respostas esperadas para cada questão. Quando terminar de criar o arquivo, salve-o como um arquivo .csv ou .txt e importe-o para o Copilot Studio.

Importante

  • O dossiê pode conter até 100 perguntas.
  • Cada pergunta pode ter até 1.000 caracteres, incluindo espaços.
  • O ficheiro deve estar em valores separados por vírgulas (CSV) ou formato de texto.

Para criar o ficheiro de importação:

  1. Abra uma aplicação de folha de cálculo (por exemplo, Microsoft Excel). Pode descarregar um modelo CSV em Ou carregar um ficheiro após selecionar Nova avaliação>Importar. Também pode descarregar as sessões de clientes a partir de analíticas para as editar no Excel.

  2. Adicione os seguintes cabeçalhos, nesta ordem, na primeira linha:

    • Question
    • Resposta esperada

  3. Introduza as perguntas do teste na coluna Pergunta. Cada pergunta pode ter 1.000 caracteres ou menos, incluindo espaços.

  4. Introduza as respostas esperadas para cada pergunta na coluna Resposta esperada. As respostas esperadas são opcionais para importar um conjunto de testes. No entanto, necessita de respostas esperadas para executar casos de teste de correspondência, semelhança e comparação de significado.

  5. Guarde o ficheiro como um ficheiro .cvs ou .txt.

  6. Importa o ficheiro seguindo os passos em Criar um novo conjunto de testes.

Crie um conjunto de dados de resposta individual importando o ficheiro do conjunto

  1. Vá à página de Avaliação do seu agente.

  2. Selecionar Nova avaliação.

  3. Em Selecionar tipo de dado, selecione Respostas Únicas.

  4. Selecione a opção Importar na opção de alternar.

    Captura de ecrã a mostrar a opção Importar selecionada para respostas individuais.

  5. Importe dados selecionando Chat de Pré-visualização para usar dados de uma das suas sessões atuais de chat de pré-visualização, ou importando casos de teste de um ficheiro CSV arrastando o seu ficheiro para a área designada ou carregando após selecionar Arrastar um ficheiro ou clicar para carregar (CSV).

    Captura de ecrã que mostra todas as opções de importação ao criar uma nova avaliação.

  6. Em Revisão conjunto de dados, edite os detalhes dos casos de teste. Todos os métodos de teste, exceto a qualidade geral, exigem respostas esperadas ou palavras-chave. Saiba mais em Modificar um conjunto de teste.

  7. Em Selecionar métodos de teste, selecione ou altere os métodos de teste que pretende usar:

    • Para adicionar um novo método:
      1. Selecione Adicionar método de teste.
      2. Seleciona todos os métodos com que queres testar e depois seleciona OK. Podes adicionar vários métodos.
      3. Para alguns métodos, define uma pontuação de aprovação e depois seleciona OK. A pontuação mínima para aprovação determina o que resulta numa aprovação ou reprovação.
      4. Alguns métodos exigem adicionar respostas esperadas ou palavras-chave para cada um dos seus casos de teste. Saiba mais em Escolher métodos de avaliação.
    • Selecione um método de teste existente para editar ou eliminar.

  8. Em Configuração Adicional, selecione Gerir.

  9. Em Gerir perfil e ligações em Utilizador, selecione ou adicione a conta que pretende usar para este conjunto de dados. A avaliação utiliza esta conta para se ligar a fontes de conhecimento e ferramentas durante os testes. Saiba mais em Gerir perfis de utilizador e ligações.

  10. Selecione Guardar para atualizar o conjunto de dados sem executar a avaliação ou Executar para executar o conjunto de dados imediatamente.

Crie um conjunto de testes baseado num tema

Crie um conjunto de testes com perguntas de conversas com utilizadores reais. Este método utiliza temas (pré-visualização), encontrados nas análises do seu agente.

Os temas são agrupamentos de perguntas retiradas do conjunto de perguntas do usuário que desencadeiam respostas generativas. Quando crias um conjunto de testes usando um tema, geras os casos de teste a partir de perguntas feitas pelos utilizadores relacionadas com esse tema.

Use estes conjuntos de testes para realizar avaliações focadas numa área ou tema do âmbito do seu agente. Por exemplo, se tiver um agente de atendimento ao cliente, pode acompanhar a qualidade das respostas para questões de faturação e pagamentos separadamente de outros casos de uso como resolução de problemas.

Observação

Antes de criar conjuntos de teste a partir de temas, precisa de acesso a temas em análise. Revise os pré-requisitos para os temas (pré-visualização).

  1. Na página Monitor do seu agente, aceda à lista Themes.

  2. Passe o rato sobre um tema e depois selecione Avaliar.

    Captura de ecrã a mostrar a opção Avaliar para um tema na lista de Temas.

    Também pode selecionar Ver tudo para ver mais temas, depois selecionar Avaliar.

  3. Selecione Criar e abrir.

  4. Editar os detalhes dos conjuntos de teste e dos casos. Todos os casos de teste que utilizam métodos, exceto qualidade geral, exigem respostas esperadas. Saiba mais sobre edição em Modificar um conjunto de teste.

  5. Selecione Guardar para atualizar o conjunto de testes sem executar os casos de teste ou Avaliar para executar o conjunto de testes imediatamente.

  • Last updated on