Etiquetar as suas expressões no Language Studio

  • Artigo

Depois de criar um esquema para o seu projeto, deve adicionar expressões de preparação ao seu projeto. As expressões devem ser semelhantes às que os seus utilizadores irão utilizar ao interagir com o projeto. Quando adiciona uma expressão, tem de atribuir a que intenção pertence. Depois de a expressão ser adicionada, rotule as palavras na sua expressão que pretende extrair como entidades.

A etiquetagem de dados é um passo crucial no ciclo de vida do desenvolvimento; estes dados serão utilizados no próximo passo ao preparar o modelo para que o modelo possa aprender com os dados etiquetados. Se já tiver etiquetado expressões, pode importá-la diretamente para o projeto, mas tem de se certificar de que os seus dados seguem o formato de dados aceite. Veja Criar projeto para saber mais sobre a importação de dados etiquetados para o seu projeto. Os dados etiquetados informam o modelo sobre como interpretar texto e são utilizados para preparação e avaliação.

Pré-requisitos

Antes de poder etiquetar os seus dados, precisa de:

Veja o ciclo de vida de desenvolvimento do projeto para obter mais informações.

Diretrizes de etiquetagem de dados

Depois de criar o esquema e criar o projeto, terá de etiquetar os seus dados. A etiquetagem dos seus dados é importante para que o modelo saiba que palavras e frases serão associadas às intenções e entidades no seu projeto. Vai querer passar algum tempo a etiquetar as suas expressões, introduzindo e refinando os dados que serão utilizados na preparação dos seus modelos.

À medida que adiciona expressões e as etiqueta, tenha em atenção:

  • Os modelos de machine learning generalizam-se com base nos exemplos etiquetados que lhe fornece; quanto mais exemplos fornecer, mais pontos de dados o modelo tem para melhorar as generalizações.

  • A precisão, consistência e conclusão dos dados etiquetados são fatores fundamentais para determinar o desempenho do modelo.

    • Etiquetar com precisão: etiquetar cada intenção e entidade para o tipo certo sempre. Inclua apenas o que pretende classificar e extrair, evite dados desnecessários nas suas etiquetas.
    • Etiqueta de forma consistente: a mesma entidade deve ter a mesma etiqueta em todas as expressões.
    • Etiqueta completamente: forneça expressões variadas para cada intenção. Identifigue todas as instâncias da entidade em todas as suas expressões.

Expressões de etiquetas claramente

  • Certifique-se de que os conceitos a que as suas entidades se referem estão bem definidos e separáveis. Verifique se consegue determinar facilmente as diferenças de forma fiável. Se não conseguir, esta poderá ser uma indicação de que o componente aprendido também terá dificuldades.

  • Se existir uma semelhança entre entidades, certifique-se de que existe algum aspeto dos seus dados que fornece um sinal para a diferença entre as mesmas.

    Por exemplo, se tiver criado um modelo para reservar voos, um utilizador poderá utilizar uma expressão como "Quero um voo de Boston para Seattle". A cidade de origem e a cidade de destino para tais expressões seriam semelhantes. Um sinal para diferenciar "Cidade de origem" pode ser que muitas vezes é precedido pela palavra "de".

  • Certifique-se de que etiqueta todas as instâncias de cada entidade nos dados de preparação e teste. Uma abordagem é utilizar a função de pesquisa para encontrar todas as instâncias de uma palavra ou expressão nos seus dados para verificar se estão corretamente etiquetadas.

  • Label test data for entities that have no learned component and also for those that do . Isto ajudará a garantir que as métricas de avaliação são precisas.

  • Para projetos multilingues, adicionar expressões noutros idiomas aumenta o desempenho do modelo nestes idiomas, mas evite duplicar os seus dados em todos os idiomas que pretende suportar. Por exemplo, para melhorar o desempenho de um bot de calender com os utilizadores, um programador pode adicionar exemplos principalmente em inglês e alguns em espanhol ou francês também. Podem adicionar expressões como:

    • "Marcar uma reunião com Matt e Kevinamanhã às 12:00." (Inglês)
    • "Responder como tentativa para a reunião de atualização semanal ." (Inglês)
    • "Cancelar mi próxima reunión." (Espanhol)

Como etiquetar as suas expressões

Utilize os seguintes passos para etiquetar as suas expressões:

  1. Aceda à página do projeto no Language Studio.

  2. No menu esquerdo, selecione Etiquetagem de dados. Nesta página, pode começar a adicionar a expressão e a rotulá-las. Também pode carregar a expressão diretamente ao clicar em Carregar ficheiro de expressão a partir do menu superior, certifique-se de que segue o formato aceite.

  3. A partir dos pivôs superiores, pode alterar a vista para ser conjunto de preparação ou conjunto de testes. Saiba mais sobre os conjuntos de preparação e teste e como são utilizados para a preparação e avaliação de modelos.

    Uma captura de ecrã da página para etiquetar expressões no Language Studio.

    Dica

    Se estiver a planear utilizar Dividir automaticamente o conjunto de testes da divisão de dados de preparação , adicione todas as suas expressões ao conjunto de preparação.

  4. No menu pendente Selecionar intenção , selecione uma das intenções, o idioma da expressão (para projetos multilingues) e a própria expressão. Prima a tecla Enter na caixa de texto da expressão para adicionar a expressão.

  5. Tem duas opções para etiquetar entidades numa expressão:

    Opção Descrição
    Etiqueta com um pincel Selecione o ícone de pincel junto a uma entidade no painel direito e, em seguida, realce o texto na expressão que pretende etiquetar.
    Etiqueta com o menu inline Realce a palavra que pretende etiquetar como uma entidade e será apresentado um menu. Selecione a entidade com a qual pretende etiquetar estas palavras.

  6. No painel do lado direito, no pivô Etiquetas , pode encontrar todos os tipos de entidade no projeto e a contagem de instâncias etiquetadas por cada um.

  7. No pivô Distribuição , pode ver a distribuição entre conjuntos de preparação e teste. Tem duas opções para ver:

    • Total de instâncias por entidade etiquetada , onde pode ver a contagem de todas as instâncias etiquetadas de uma entidade específica.
    • Expressões exclusivas por entidade etiquetada em que cada expressão é contada se contiver, pelo menos, uma instância etiquetada desta entidade.
    • Expressões por intenção onde pode ver a contagem de expressões por intenção.

Captura de ecrã a mostrar a distribuição de entidades no Language Studio.

Nota

Os componentes de lista e pré-criados não são apresentados na página de etiquetagem de dados e todas as etiquetas aqui se aplicam apenas ao componente aprendido.

Para remover uma etiqueta:

  1. A partir da sua expressão, selecione a entidade da qual pretende remover uma etiqueta.
  2. Percorra o menu apresentado e selecione Remover etiqueta.

Para eliminar uma entidade:

  1. Selecione a entidade que pretende editar no painel do lado direito.
  2. Selecione os três pontos junto à entidade e selecione a opção que pretende no menu pendente.

Sugerir expressões com o Azure OpenAI

No CLU, utilize o Azure OpenAI para sugerir expressões para adicionar ao projeto com modelos GPT. Primeiro, tem de obter acesso e criar um recurso no Azure OpenAI. Em seguida, terá de criar uma implementação para os modelos GPT. Siga os passos de pré-requisito aqui.

Antes de começar, a funcionalidade sugerir expressões só está disponível se o recurso Idioma estiver nas seguintes regiões:

  • E.U.A. Leste
  • E.U.A. Centro-Sul
  • Europa Ocidental

Na página Etiquetagem de Dados:

  1. Selecione o botão Sugerir expressões . Será aberto um painel no lado direito a pedir-lhe para selecionar o recurso e a implementação do Azure OpenAI.
  2. Na seleção de um recurso do Azure OpenAI, selecione Ligar, o que permite que o recurso de Idioma tenha acesso direto ao recurso do Azure OpenAI. Atribui ao recurso de Idioma a função do Cognitive Services User recurso openAI do Azure, o que permite que o recurso de Idioma atual tenha acesso ao serviço do Azure OpenAI. Se a ligação falhar, siga estes passos abaixo para adicionar a função certa ao recurso do Azure OpenAI manualmente.
  3. Assim que o recurso estiver ligado, selecione a implementação. O modelo recomendado para a implementação do Azure OpenAI é text-davinci-002.
  4. Selecione a intenção para a qual pretende obter sugestões. Certifique-se de que a intenção que selecionou tem, pelo menos, 5 expressões guardadas para serem ativadas para sugestões de expressão. As sugestões fornecidas pelo Azure OpenAI baseiam-se nas expressões mais recentes que adicionou para essa intenção.
  5. Selecione Gerar expressões. Depois de concluídas, as expressões sugeridas serão apresentadas com uma linha pontilhada à sua volta, com a nota Gerada pela IA. Essas sugestões têm de ser aceites ou rejeitadas. Aceitar uma sugestão simplesmente adiciona-a ao seu projeto, como se a tivesse adicionado manualmente. Rejeitá-la elimina totalmente a sugestão. Apenas as expressões aceites farão parte do seu projeto e serão utilizadas para preparação ou teste. Pode aceitar ou rejeitar ao clicar nos botões verdes de verificação ou cancelamento vermelho junto a cada expressão. Também pode utilizar os Accept all botões e Reject all na barra de ferramentas.

Captura de ecrã a mostrar sugestões de expressão no Language Studio.

A utilização desta funcionalidade implica um custo para o recurso do Azure OpenAI para um número semelhante de tokens às expressões sugeridas geradas. Os detalhes dos preços do Azure OpenAI podem ser encontrados aqui.

Adicionar configurações necessárias ao recurso OpenAI do Azure

Se a ligação do recurso de Idioma a um recurso do Azure OpenAI falhar, siga estes passos:

Ative a gestão de identidades para o recurso de Idioma com as seguintes opções:

O recurso de Idioma tem de ter gestão de identidades, para o ativar com o portal do Azure:

  1. Aceda ao recurso Idioma
  2. No menu esquerdo, na secção Gestão de Recursos , selecione Identidade
  3. No separador Atribuído pelo sistema , certifique-se de que define Estado como Ativado

Depois de ativar a identidade gerida, atribua a função Cognitive Services User ao recurso Azure OpenAI com a identidade gerida do recurso de Idioma.

  1. Inicie sessão no portal do Azure e navegue para o recurso Azure OpenAI.
  2. Selecione o separador Controlo de Acesso (IAM) à esquerda.
  3. Selecione Adicionar > Adicionar atribuição de função.
  4. Selecione "Funções de função de trabalho" e clique em Seguinte.
  5. Selecione Cognitive Services User a partir da lista de funções e clique em Seguinte.
  6. Selecione Atribuir acesso a "Identidade gerida" e selecione "Selecionar membros".
  7. Em "Identidade gerida", selecione "Idioma".
  8. Procure o recurso e selecione-o. Em seguida, selecione o botão Selecionar abaixo e, em seguida, para concluir o processo.
  9. Reveja os detalhes e selecione Rever + Atribuir.

Várias capturas de ecrã que mostram os passos para adicionar a função necessária ao recurso do Azure OpenAI.

Após alguns minutos, atualize o Language Studio e poderá ligar-se com êxito ao Azure OpenAI.

Passos Seguintes