Testes de lote com um conjunto de expressões de exemplo

  • Artigo
  • 9 minutos para ler

Importante

O LUIS será reformado a 1 de outubro de 2025 e a partir de 1 de abril de 2023 não poderá criar novos recursos LUIS. Recomendamos migrar as suas aplicações LUIS para a compreensão da linguagem de conversação para beneficiar do suporte contínuo do produto e das capacidades multilingues.

O teste de lote valida a sua versão treinada ativa para medir a sua precisão de previsão. Um teste de lote ajuda-o a ver a precisão de cada intenção e entidade na sua versão ativa. Reveja os resultados dos testes de lote para tomar as medidas adequadas para melhorar a precisão, tais como adicionar mais palavras de exemplo a uma intenção se a sua app frequentemente não identificar as intenção corretas ou entidades de rotulagem dentro da expressão.

Dados do grupo para teste de lote

É importante que as expressões utilizadas para testes de lote sejam novas para o LUIS. Se tiver um conjunto de dados de expressões, divida as expressões em três conjuntos: palavras de exemplo adicionadas a uma intenção, declarações recebidas do ponto final publicado, e expressões usadas para testar o LUIS após a sua formação.

O ficheiro JSON do lote que utiliza deve incluir expressões com entidades de aprendizagem automática de alto nível rotuladas, incluindo posição de arranque e final. As declarações não devem fazer parte dos exemplos já na app. Devem ser declarações que se pretende prever positivamente para as intenções e entidades.

Pode separar os testes por intenção e/ou entidade ou ter todos os testes (até 1000 expressões) no mesmo ficheiro.

Erros comuns que importam um lote

Se encontrar erros ao enviar o seu ficheiro de lote para LUIS, verifique as seguintes questões comuns:

  • Mais de 1.000 declarações num ficheiro de lote
  • Um objeto JSON que não tem uma propriedade de entidades. A propriedade pode ser uma matriz vazia.
  • Palavras(s) rotuladas em várias entidades
  • Etiquetas de entidades que começam ou terminam num espaço.

Corrigir erros de lote

Se houver erros no teste do lote, pode adicionar mais expressões a uma intenção, e/ou rotular mais expressões com a entidade para ajudar a LUIS a fazer a discriminação entre as intenções. Se adicionou expressões, e as rotulou, e ainda obtém erros de previsão em testes de lote, considere adicionar uma funcionalidade de lista de frases com vocabulário específico de domínio para ajudar o LUIS a aprender mais rapidamente.

Teste de lote usando o portal LUIS

Importar e treinar uma aplicação de exemplo

Importe uma aplicação que leve uma encomenda de pizza como 1 pepperoni pizza on thin crust.

  1. Transfira e guarde o ficheiro JSON da aplicação.

  2. Inscreva-se no portal LUIS e selecione o seu recurso de Subscrição e Autoria para ver as aplicações atribuídas a esse recurso de autoria.

  3. Selecione a seta ao lado da nova aplicação e clique em Import como JSON para importar o JSON para uma nova aplicação. Nomeie a aplicação Pizza app.

  4. Selecione Train no canto superior direito da navegação para treinar a aplicação.

Funções em testes de lote

Atenção

As funções de entidade não são suportadas em testes de lote.

Ficheiro de teste de lote

O exemplo JSON inclui uma expressão com uma entidade rotulada para ilustrar como é um ficheiro de teste. Nos seus próprios testes, deve ter muitas expressões com a intenção correta e a entidade de aprendizagem automática rotulada.

  1. Crie pizza-with-machine-learned-entity-test.json num editor de texto ou descarregue-o .

  2. No ficheiro de lote em formatado JSON, adicione uma expressão com a Intenção que pretende prever no teste.

    [
    {
        "text": "I want to pick up 1 cheese pizza",
        "intent": "ModifyOrder",
        "entities": [
            {
                "entity": "Order",
                "startPos": 18,
                "endPos": 31
            },
            {
                "entity": "ToppingList",
                "startPos": 20,
                "endPos": 25
            }
        ]
    }
]

Executar o lote

  1. Selecione Teste na barra de navegação superior.

  2. Selecione painel de testes de lote no painel do lado direito.

    Ligação de teste de lote

  3. Selecione Import (Importar). Na caixa de diálogo que aparece, selecione Choose File e localize um ficheiro JSON com o formato JSON correto que não contenha mais de 1.000 expressões para testar.

    Erros de importação são relatados numa barra de notificação vermelha no topo do navegador. Quando uma importação tem erros, nenhum conjunto de dados é criado. Para mais informações, consulte erros comuns.

  4. Escolha a localização do ficheiro do pizza-with-machine-learned-entity-test.json ficheiro.

  5. Nomeie o conjunto de pizza test dados e selecione Feito.

  6. Selecione o botão Run (Executar).

  7. Após o teste do lote concluído, pode ver as seguintes colunas:

    Coluna Descrição
    Estado Estado do teste. Os resultados só são visíveis após a conclusão do teste.
    Name O nome que deu ao teste.
    Tamanho Número de testes neste ficheiro de teste de lote.
    Última Corrida Data da última execução deste ficheiro de teste de lote.
    Último resultado Número de previsões bem sucedidas no teste.

  8. Para visualizar os resultados detalhados do teste, selecione Ver os resultados.

    Dica

    • Selecionar Download irá descarregar o mesmo ficheiro que fez o upload.
    • Se vir o teste do lote falhado, pelo menos uma intenção de expressão não correspondeu à previsão.

Rever os resultados do lote para intençãos

Para rever os resultados dos testes de lote, selecione Ver os resultados. Os resultados dos testes mostram graficamente como as declarações de teste foram previstas contra a versão ativa.

O gráfico do lote apresenta quatro quadrantes de resultados. À direita da tabela está um filtro. O filtro contém intenções e entidades. Quando seleciona uma secção do gráfico ou um ponto dentro da tabela, o(s) visualização de expressão associada abaixo da tabela.

Enquanto paira sobre a tabela, uma roda de rato pode ampliar ou reduzir o visor na tabela. Isto é útil quando há muitos pontos na tabela agrupados firmemente juntos.

O gráfico está em quatro quadrantes, com duas das secções exibidas a vermelho.

  1. Selecione a intenção modificar-se na lista de filtros. A expressão é prevista como um Verdadeiro Positivo , o que significa que a expressão correspondeu com sucesso à sua previsão positiva listada no ficheiro do lote.

    A expressão correspondeu com sucesso à sua previsão positiva

    As marcas de verificação verdes na lista de filtros também indicam o sucesso do teste para cada intenção. Todas as outras intenções são listadas com uma pontuação positiva de 1/1 porque a expressão foi testada contra cada intenção, como um teste negativo para quaisquer intenções não listadas no teste do lote.

  2. Selecione a intenção de confirmação . Esta intenção não está listada no teste do lote, por isso este é um teste negativo da expressão que está listada no teste de lote.

    A expressão com sucesso previu negativa para a intenção não cotada no ficheiro de lote

    O teste negativo foi bem sucedido, como se nota com o texto verde no filtro e na grelha.

Rever os resultados dos testes de lote para entidades

A entidade ModificarOrder, enquanto entidade de máquina com subentidades, apresenta se a entidade de nível superior corresponde e como as subentígios são previstas.

  1. Selecione a entidade ModificarOrder na lista de filtros e, em seguida, selecione o círculo na grelha.

  2. A previsão da entidade apresenta abaixo do gráfico. O ecrã inclui linhas sólidas para previsões que correspondem às expectativas e linhas pontilhadas para previsões que não correspondem às expectativas.

    Progenitor da entidade com sucesso previsto em ficheiro de lote

Resultados do gráfico do filtro

Para filtrar o gráfico por uma intenção ou entidade específica, selecione a intenção ou entidade no painel de filtragem do lado direito. Os pontos de dados e a sua atualização de distribuição no gráfico de acordo com a sua seleção.

Resultado do teste do lote visualizado

Exemplos de resultados do gráfico

O gráfico no portal LUIS, pode realizar as seguintes ações:

Ver dados de expressão de um ponto único

No gráfico, paire sobre um ponto de dados para ver a pontuação de certeza da sua previsão. Selecione um ponto de dados para recuperar a sua expressão correspondente na lista de expressões na parte inferior da página.

Expressão selecionada

Ver dados da secção

Na tabela de quatro secções, selecione o nome da secção, tal como Falso Positivo no topo direito da tabela. Abaixo da tabela, todas as expressões nessa secção mostram abaixo da tabela numa lista.

Expressões selecionadas por secção

Nesta imagem anterior, a expressão switch on é rotulada com a intenção TurnAllOn, mas recebeu a previsão de nenhuma intenção. Esta é uma indicação de que a intenção turnAllOn precisa de mais declarações de exemplo para fazer a previsão esperada.

As duas secções do gráfico a vermelho indicam expressões que não correspondem à previsão esperada. Estas indicam declarações que o LUIS precisa de mais formação.

As duas secções do gráfico em verde correspondem à previsão esperada.

Passos seguintes

Se os testes indicarem que a sua aplicação LUIS não reconhece as intenções e entidades corretas, pode trabalhar para melhorar o desempenho da sua app LUIS rotulando mais expressões ou adicionando funcionalidades.