Preparar o modelo de compreensão de linguagem de conversação
Depois de concluir a etiquetagem das expressões, pode começar a preparar um modelo. A preparação é o processo em que o modelo aprende com as expressões etiquetadas.
Para preparar um modelo, inicie uma tarefa de preparação. Apenas as tarefas concluídas com êxito criam um modelo. As tarefas de preparação expiram após sete dias. Após este período, deixará de conseguir obter os detalhes da tarefa. Se a tarefa de preparação tiver sido concluída com êxito e um modelo tiver sido criado, não será afetado pela expiração da tarefa. Só pode ter um trabalho de preparação em execução de cada vez e não pode iniciar outras tarefas no mesmo projeto.
Os tempos de preparação podem ser em qualquer lugar a partir de alguns segundos ao lidar com projetos simples, até algumas horas quando atingir o limite máximo de expressões.
A avaliação do modelo é acionada automaticamente após a conclusão da preparação com êxito. O processo de avaliação começa por utilizar o modelo preparado para executar predições nas expressões no conjunto de testes e compara os resultados previstos com as etiquetas fornecidas (que estabelece uma linha de base de verdade).
Pré-requisitos
- Um projeto criado com êxito com uma conta de armazenamento de blobs do Azure configurada
- Expressões etiquetadas
Equilibrar dados de preparação
Deve tentar manter o seu esquema bem equilibrado no que diz respeito aos dados de preparação. A inclusão de grandes quantidades de uma intenção e muito poucas de outra resultará num modelo fortemente tendencioso em relação a intenções específicas.
Para resolver este problema, poderá ter de reduzir a utilização do seu conjunto de preparação ou adicioná-lo. O downsampling pode ser feito através de:
- Eliminar uma determinada percentagem dos dados de preparação aleatoriamente.
- De uma forma mais sistemática, ao analisar o conjunto de dados e ao remover entradas duplicadas sobre-representadas.
Também pode adicionar ao conjunto de preparação ao selecionar Sugerir Expressões no separador Etiquetagem de dados no Language Studio. A Language Understanding de conversação enviará uma chamada para o Azure OpenAI para gerar expressões semelhantes.
Também deve procurar "padrões" indesejados no conjunto de preparação. Por exemplo, se o conjunto de preparação para uma intenção específica estiver em minúsculas ou começar com uma expressão específica. Nestes casos, o modelo que preparar poderá aprender estes preconceitos indesejados no conjunto de preparação em vez de poder generalizar.
Recomendamos que introduza a diversidade de casing e pontuação no conjunto de preparação. Se se espera que o modelo processe variações, certifique-se de que tem um conjunto de preparação que também reflete essa diversidade. Por exemplo, inclua algumas expressões em maiúsculas e minúsculas e outras em minúsculas.
Divisão de dados
Antes de iniciar o processo de preparação, as expressões etiquetadas no seu projeto são divididas num conjunto de preparação e num conjunto de testes. Cada um deles serve uma função diferente. O conjunto de preparação é utilizado na preparação do modelo. Este é o conjunto a partir do qual o modelo aprende as expressões etiquetadas. O conjunto de testes é um conjunto cego que não é introduzido no modelo durante a preparação, mas apenas durante a avaliação.
Depois de o modelo ser preparado com êxito, o modelo pode ser utilizado para fazer predições a partir das expressões no conjunto de testes. Estas predições são utilizadas para calcular métricas de avaliação. Recomenda-se garantir que todas as suas intenções e entidades estão corretamente representadas no conjunto de preparação e teste.
A compreensão da linguagem de conversação suporta dois métodos de divisão de dados:
- Dividir automaticamente o conjunto de testes dos dados de preparação: o sistema irá dividir os dados etiquetados entre os conjuntos de preparação e teste, de acordo com as percentagens que escolher. A divisão percentual recomendada é de 80% para preparação e 20% para testes.
Nota
Se escolher a opção Dividir automaticamente o conjunto de testes dos dados de preparação , apenas os dados atribuídos ao conjunto de preparação serão divididos de acordo com as percentagens fornecidas.
- Utilizar uma divisão manual de dados de preparação e teste: este método permite que os utilizadores definam que expressões devem pertencer a que conjunto. Este passo só é ativado se tiver adicionado expressões ao seu conjunto de testes durante a etiquetagem.
Modos de preparação
A CLU suporta dois modos de preparação dos seus modelos
A preparação padrão utiliza algoritmos de machine learning rápidos para preparar os seus modelos relativamente rapidamente. Atualmente, esta opção só está disponível para inglês e está desativada para qualquer projeto que não utilize inglês (EUA) ou inglês (Reino Unido) como o seu idioma principal. Esta opção de preparação é gratuita. A preparação padrão permite-lhe adicionar expressões e testá-las rapidamente sem custos. As classificações de avaliação apresentadas devem orientá-lo sobre onde fazer alterações no seu projeto e adicionar mais expressões. Depois de iterar algumas vezes e efetuar melhorias incrementais, pode considerar utilizar a preparação avançada para preparar outra versão do seu modelo.
A preparação avançada utiliza a tecnologia de machine learning mais recente para personalizar modelos com os seus dados. Espera-se que isto mostre melhores pontuações de desempenho para os seus modelos e que lhe permita utilizar também as capacidades multilingues do CLU. A preparação avançada tem um preço diferente. Veja as informações de preços para obter detalhes.
Utilize as classificações de avaliação para orientar as suas decisões. Pode haver alturas em que um exemplo específico é previsto incorretamente na preparação avançada em vez de quando utilizou o modo de preparação padrão. No entanto, se os resultados gerais da avaliação forem mais avançados, recomendamos que utilize o modelo final. Se não for esse o caso e não quiser utilizar capacidades multilingues, pode continuar a utilizar um modelo preparado com o modo padrão.
Nota
Deverá ver uma diferença nos comportamentos nas classificações de confiança das intenções entre os modos de preparação, uma vez que cada algoritmo calibra as classificações de forma diferente.
Preparar modelo
Para começar a preparar o modelo a partir do Language Studio:
Selecione Preparar modelo no menu esquerdo.
Selecione Iniciar uma tarefa de preparação no menu superior.
Selecione Preparar um novo modelo e introduza um novo nome de modelo na caixa de texto. Caso contrário, para substituir um modelo existente por um modelo preparado para os novos dados, selecione Substituir um modelo existente e, em seguida, selecione um modelo existente. A substituição de um modelo preparado é irreversível, mas não afetará os modelos implementados até implementar o novo modelo.
Selecione o modo de preparação. Pode escolher Formação Padrão para uma preparação mais rápida, mas só está disponível para inglês. Em alternativa, pode escolher Formação avançada que é suportada para outros idiomas e projetos multilingues, mas envolve tempos de preparação mais longos. Saiba mais sobre os modos de preparação.
Selecione um método de divisão de dados . Pode escolher Dividir automaticamente o conjunto de testes a partir dos dados de preparação em que o sistema irá dividir as expressões entre os conjuntos de preparação e teste, de acordo com as percentagens especificadas. Em alternativa, pode Utilizar uma divisão manual dos dados de preparação e teste. Esta opção só é ativada se tiver adicionado expressões ao seu conjunto de testes quando tiver etiquetado as expressões.
Selecione o botão Preparar .
Selecione o ID da tarefa de preparação na lista. Será apresentado um painel onde pode verificar o progresso da preparação, o estado da tarefa e outros detalhes para esta tarefa.
Nota
- Apenas as tarefas de preparação concluídas com êxito irão gerar modelos.
- A preparação pode demorar entre alguns minutos e algumas horas com base na contagem de expressões.
- Só pode ter um trabalho de preparação em execução de cada vez. Não pode iniciar outras tarefas de preparação no mesmo projeto até que a tarefa em execução esteja concluída.
- A aprendizagem automática utilizada para preparar modelos é atualizada regularmente. Para preparar numa versão de configuração anterior, selecione Selecionar aqui para alterar a partir da página Iniciar uma tarefa de preparação e escolha uma versão anterior.
Cancelar tarefa de preparação
Para cancelar uma tarefa de preparação a partir do Language Studio
- Na página Preparar modelo , selecione a tarefa de preparação que pretende cancelar e selecione Cancelar no menu superior.