Partilhar via

Rotule seus enunciados no Azure AI Foundry

Depois de criar um esquema para sua tarefa de ajuste fino, você adiciona enunciados de treinamento ao seu projeto. Os enunciados devem ser semelhantes ao que seus usuários usam quando interagem com o projeto. Quando você adiciona um enunciado, você tem que atribuir a qual intenção ele pertence. Depois que o enunciado for adicionado, rotule as palavras dentro do enunciado que você deseja extrair como entidades.

A rotulagem de dados é uma etapa crucial no ciclo de vida de desenvolvimento treinado em compreensão de linguagem conversacional (CLU). Esses dados são usados na próxima etapa quando você treina seu modelo para que ele possa aprender com os dados rotulados. Se você já rotulou enunciados, pode importá-los diretamente para seu projeto, se seus dados seguirem o formato de dados aceito. Para saber mais sobre como importar dados rotulados, consulte Criar uma tarefa de ajuste fino da CLU. Os dados rotulados informam o modelo sobre como interpretar o texto e são usados para treinamento e avaliação.

Gorjeta

Utilize a opção Implantação Rápida para implementar o roteamento de intenções de CLU personalizado, que é baseado na sua própria implementação de modelo de linguagem grande, sem adicionar ou rotular dados de treinamento.

Pré-requisitos

Para obter mais informações, consulte o ciclo de vida de desenvolvimento da CLU.

Diretrizes de rotulagem de dados

Depois de criar seu esquema e seu projeto, você precisa rotular seus dados. Rotular seus dados é importante para que seu modelo saiba quais frases e palavras estão associadas às intenções e entidades em seu projeto. Gaste tempo rotulando seus enunciados para introduzir e refinar os dados usados no treinamento de seus modelos.

Ao adicionar enunciados e rotulá-los, lembre-se:

  • Os modelos de aprendizado de máquina generalizam com base nos exemplos rotulados que você fornece. Quanto mais exemplos você fornecer, mais pontos de dados o modelo terá para fazer generalizações melhores.

  • A precisão, consistência e integridade dos dados rotulados são fatores-chave para determinar o desempenho do modelo:

    • Rotule com precisão: Rotule sempre cada intenção e entidade com o seu tipo correto. Inclua apenas o que deseja classificar e extrair. Evite dados desnecessários nas suas etiquetas.
    • Etiquete de forma consistente: A mesma entidade deve ter a mesma etiqueta em todas as declarações.
    • Rotule completamente: Forneça expressões variadas para cada intenção. Rotule todas as instâncias da entidade em todos os seus enunciados.

Rotular claramente os enunciados

  • Certifique-se de que os conceitos aos quais suas entidades se referem estejam bem definidos e separáveis. Verifique se consegue determinar facilmente as diferenças de forma fiável. Se não conseguir, esta falta de distinção pode indicar dificuldade para a componente aprendida.

  • Certifique-se de que algum aspeto de seus dados possa fornecer um sinal para diferenças quando houver uma semelhança entre entidades.

    Por exemplo, se você criou um modelo para reservar voos, um usuário pode usar uma frase como "Eu quero um voo de Boston para Seattle". Espera-se que a cidade de origem e a cidade de destino de tais enunciados sejam semelhantes. Um sinal para diferenciar a cidade de origem pode ser que a palavra de muitas vezes a precede.

  • Certifique-se de rotular todas as instâncias de cada entidade em seus dados de treinamento e teste. Uma abordagem é usar a função de pesquisa para encontrar todas as ocorrências de uma palavra ou frase em seus dados para verificar se elas estão rotuladas corretamente.

  • Certifique-se de rotular os dados de teste tanto para entidades sem componentes aprendidos, quanto para as entidades que os têm. Essa prática ajuda a garantir que suas métricas de avaliação sejam precisas.

  • Para projetos multilíngues, a adição de enunciados em outros idiomas aumenta o desempenho do modelo nesses idiomas. Evite duplicar os seus dados em todos os idiomas que pretende suportar. Por exemplo, para melhorar o desempenho de um bot de calendário com os usuários, um desenvolvedor pode adicionar exemplos principalmente em inglês e alguns em espanhol ou francês. Eles podem adicionar enunciados como:

    • "Marque uma reunião com Matt e Kevinamanhã às 12h." (Inglês)
    • "Responda como provisório à reunião semanal de atualização ." (Inglês)
    • "Cancelar minha próxima reunião." (Espanhol)

Rotule seus enunciados

Utilize os passos seguintes para rotular os seus enunciados.

  1. Vá para a página do seu projeto no Azure AI Foundry.

  2. No painel esquerdo, selecione Gerenciar dados. Nesta página, você pode adicionar seus enunciados e rotulá-los. Também pode carregar os seus enunciados diretamente selecionando Carregar ficheiro de enunciados no menu superior. Certifique-se de seguir o formato aceito.

  3. Usando as guias superiores, você pode alterar a exibição para Conjunto de treinamento ou Conjunto de testes. Saiba mais sobre conjuntos de treinamento e teste e como eles são usados para treinamento e avaliação de modelos.

    Uma captura de tela que mostra a página para marcar enunciados no Language Studio.

    Gorjeta

    Se pretenderes usar Divisão automática do conjunto de teste a partir dos dados de treino, adiciona todas as tuas frases ao conjunto de treino.

  4. No menu suspenso Selecionar intenção, selecione uma das intenções, o idioma do enunciado (para projetos multilíngues) e o próprio enunciado. Pressione a tecla Enter na caixa de texto do enunciado e adicione o enunciado.

  5. Você tem duas opções para rotular entidades em um enunciado:

    Opção Descrição
    Rotular usando um pincel Selecione o ícone de pincel ao lado de uma entidade no painel à direita e realce o texto no enunciado que você deseja rotular.
    Rótulo usando o menu embutido Realce a palavra que pretende rotular como uma entidade e é apresentado um menu. Selecione a entidade com a qual você deseja rotular essas palavras.

  6. No painel à direita, na guia Rótulos , você pode encontrar todos os tipos de entidade em seu projeto e a contagem de instâncias rotuladas por cada uma.

  7. Na guia Distribuição , você pode exibir a distribuição entre conjuntos de treinamento e teste. Você tem estas opções para visualizar:

    • Total de instâncias por entidade rotulada: Você pode exibir a contagem de todas as instâncias rotuladas de uma entidade específica.
    • Enunciados únicos por entidade rotulada: Cada enunciado é contado se contiver pelo menos uma instância rotulada dessa entidade.
    • Expressões por intenção: Você pode visualizar a contagem de enunciados por intenção.

    Uma captura de tela que mostra a distribuição de entidade no Language Studio.

Nota

Os componentes de lista, regex e predefinidos não são mostrados na página de etiquetagem de dados. Todos os rótulos aqui se aplicam apenas ao componente aprendido.

Para remover um rótulo:

  1. No enunciado, selecione a entidade da qual você deseja remover um rótulo.
  2. Percorra o menu apresentado e selecione Remover etiqueta.

Para excluir uma entidade:

  1. Selecione o ícone da lixeira ao lado da entidade que você deseja editar no painel à direita.
  2. Selecione Eliminar para confirmar.

Sugerir expressões com o Azure OpenAI

Na CLU, use o Azure OpenAI para sugerir enunciados a serem adicionados ao seu projeto usando modelos de linguagem generativa. Recomendamos que você use um recurso do Azure AI Foundry enquanto usa a CLU para não precisar conectar vários recursos.

Para usares o recurso do Azure AI Foundry, precisas conceder ao teu recurso do Azure AI Foundry acesso elevado. Para fazer isso, acesse o portal do Azure. Dentro do seu recurso de IA do Azure, forneça acesso como um Usuário de Serviços Cognitivos a si mesmo. Esta etapa garante que todas as partes do seu recurso estejam se comunicando corretamente.

Conectar-se a recursos de Language e de Azure OpenAI separados

Primeiro, você precisa obter acesso e criar um recurso no Azure OpenAI. Em seguida, crie uma conexão com o recurso OpenAI do Azure dentro do mesmo projeto do Azure AI Foundry no Centro de gerenciamento no painel esquerdo da página Azure AI Foundry. Em seguida, precisa-se criar uma implementação para os modelos Azure OpenAI dentro do recurso Azure OpenAI conectado. Para criar um novo recurso, siga as etapas em Criar e implantar um recurso Azure OpenAI no Azure AI Foundry Models.

Antes de começar, o recurso de expressões sugeridas estará disponível somente se o recurso de Idioma estiver disponível nas seguintes regiões:

  • E.U.A. Leste
  • E.U.A. Centro-Sul
  • Europa Ocidental

Na página Rotulagem de Dados:

  1. Selecione Sugerir enunciados. Um painel é aberto à direita e solicita que você selecione seu recurso e implantação do Azure OpenAI.

  2. Depois de selecionar um recurso do Azure OpenAI, selecione Conectar para que seu recurso de idioma tenha acesso direto ao seu recurso do Azure OpenAI. Ele atribui seu recurso de linguagem a função Usuário de Serviços Cognitivos ao seu recurso do Azure OpenAI. Agora seu recurso de idioma atual tem acesso ao Azure OpenAI. Se a conexão falhar, siga estas etapas para adicionar manualmente a função correta ao seu recurso do Azure OpenAI.

  3. Depois que o recurso estiver conectado, selecione a implantação. O modelo que recomendamos para a implantação do Azure OpenAI é gpt-35-turbo-instruct.

  4. Selecione a intenção para a qual deseja obter sugestões. Certifique-se de que a intenção que você selecionou tenha pelo menos cinco enunciados salvos para que as sugestões de enunciados sejam habilitadas. As sugestões fornecidas pelo Azure OpenAI são baseadas nas declarações mais recentes que você adicionou para essa intenção.

  5. Selecione Gerar enunciados.

    Os enunciados sugeridos aparecem com uma linha pontilhada ao redor deles e a nota gerada pela IA. Essas sugestões devem ser aceites ou rejeitadas. Aceitar uma sugestão adiciona-a ao seu projeto, como se você mesmo a tivesse adicionado. A rejeição de uma sugestão elimina-a completamente. Apenas os enunciados aceites fazem parte do seu projeto e são utilizados para formação ou testes.

    Para aceitar ou rejeitar, selecione a marca de seleção verde ou os botões de cancelamento vermelhos ao lado de cada enunciado. Você também pode usar Aceitar tudo e Rejeitar tudo na barra de ferramentas.

    Uma captura de tela que mostra expressões sugeridas.

A utilização deste recurso implica uma cobrança ao seu recurso do Azure OpenAI por um número de tokens semelhante ao das expressões sugeridas geradas. Para obter informações sobre os preços do Azure OpenAI, consulte Preços do Serviço OpenAI do Azure.

Adicionar configurações necessárias ao recurso Azure OpenAI

Habilite o gerenciamento de identidades para seu recurso de idioma usando as opções a seguir.

Seu recurso de idioma deve ter gerenciamento de identidade. Para habilitá-lo usando o portal do Azure:

  1. Aceda ao seu recurso linguístico.
  2. No painel esquerdo, na seção Gerenciamento de Recursos , selecione Identidade.
  3. Na guia Sistema atribuído, defina Estado como Ligado.

Depois de habilitar a identidade gerenciada, atribua a função Usuário dos Serviços Cognitivos ao seu recurso do Azure OpenAI usando a identidade gerenciada do seu recurso de idioma.

  1. Entre no portal do Azure e vá para seu recurso do Azure OpenAI.

  2. Selecione a guia Controle de acesso (IAM).

  3. Selecione Adicionar>Adicionar atribuição de função.

  4. Selecione Funções de trabalho e selecione Avançar.

  5. Selecione Usuário de Serviços Cognitivos na lista de funções e selecione Avançar.

  6. Selecione Atribuir acesso a: Identidade gerenciada e escolha Selecionar membros.

  7. Em Identidade gerenciada, selecione Idioma.

  8. Procure o seu recurso e selecione-o. Em seguida, selecione Avançar e conclua o processo.

  9. Reveja os detalhes e selecione Verificar + associar.

    Várias capturas de tela que mostram as etapas para adicionar a função necessária ao seu recurso do Azure OpenAI.

Após alguns minutos, atualize o Azure AI Foundry e você poderá se conectar com êxito ao Azure OpenAI.

Conteúdo relacionado