Como criar um projeto NER personalizado

Use este artigo para saber como configurar os requisitos para começar com o NER personalizado e criar um projeto.

Pré-requisitos

Antes de começar a usar o NER personalizado, você precisará:

Criar um recurso de idioma

Antes de começar a usar o NER personalizado, você precisará de um recurso da Linguagem de IA do Azure. É recomendável criar seu recurso de idioma e conectar uma conta de armazenamento a ele no portal do Azure. Criar um recurso no portal do Azure permite criar uma conta de armazenamento do Azure ao mesmo tempo, com todas as permissões necessárias pré-configuradas. Você também pode ler mais no artigo para saber como usar um recurso pré-existente e configurá-lo para trabalhar com reconhecimento personalizado de entidade nomeada.

Você também precisará de uma conta de armazenamento do Azure onde carregará seus .txt documentos que serão usados para treinar um modelo para extrair entidades.

Nota

  • Você precisa ter uma função de proprietário atribuída no grupo de recursos para criar um recurso de idioma.
  • Se você conectar uma conta de armazenamento pré-existente, deverá ter uma função de proprietário atribuída a ela.

Criar recurso de idioma e conectar conta de armazenamento

Você pode criar um recurso das seguintes maneiras:

  • O portal do Azure
  • Estúdio de Idiomas
  • PowerShell

Nota

Você não deve mover a conta de armazenamento para um grupo de recursos ou assinatura diferente depois que ela estiver vinculada ao recurso Idioma.

Criar um novo recurso a partir do portal do Azure

  1. Entre no portal do Azure para criar um novo recurso de linguagem de IA do Azure.

  2. Na janela exibida, selecione Classificação de texto personalizada & reconhecimento de entidade nomeada personalizada nos recursos personalizados. Selecione Continuar para criar seu recurso na parte inferior da tela.

    Uma captura de tela mostrando a classificação de texto personalizada e o reconhecimento personalizado da entidade nomeada no portal do Azure.

  3. Crie um recurso de idioma com os seguintes detalhes.

    Nome Descrição
    Subscrição A sua subscrição do Azure.
    Grupo de recursos Um grupo de recursos que conterá seu recurso. Você pode usar um existente ou criar um novo.
    País/Região A região do seu recurso Idioma. Por exemplo, "West US 2".
    Nome Um nome para o seu recurso.
    Escalão de preço A camada de preço para seu recurso de idioma. Você pode usar a camada Gratuito (F0) para experimentar o serviço.

    Nota

    Se você receber uma mensagem dizendo "sua conta de login não é proprietária do grupo de recursos da conta de armazenamento selecionada", sua conta precisará ter uma função de proprietário atribuída no grupo de recursos antes de poder criar um recurso de idioma. Entre em contato com o proprietário da assinatura do Azure para obter assistência.

  4. Na seção Classificação de texto personalizada & reconhecimento de entidade nomeada personalizada, selecione uma conta de armazenamento existente ou selecione Nova conta de armazenamento. Esses valores são para ajudá-lo a começar, e não necessariamente os valores da conta de armazenamento que você desejará usar em ambientes de produção. Para evitar latência durante a criação do projeto, conecte-se a contas de armazenamento na mesma região do recurso Idioma.

    Valor da conta de armazenamento Valor recomendado
    Nome da conta de armazenamento Qualquer nome
    Storage account type LRS padrão
  5. Certifique-se de que o Aviso de IA Responsável está verificado. Selecione Rever + criar na parte inferior da página e, em seguida, selecione Criar.

Criar um novo recurso de idioma a partir do Language Studio

Se for a primeira vez que inicia sessão, verá uma janela no Language Studio que lhe permitirá escolher um recurso de Idioma existente ou criar um novo. Também pode criar um recurso clicando no ícone de definições no canto superior direito, selecionando Recursos e, em seguida, clicando em Criar um novo recurso.

Crie um recurso de idioma com os seguintes detalhes.

Detalhe da instância Valor obrigatório
Subscrição do Azure a subscrição do Azure
Grupo de recursos do Azure Seu grupo de recursos do Azure
Nome do recurso do Azure Seu nome de recurso do Azure
Localização A região do seu recurso Idioma.
Escalão de preço A camada de preço do seu recurso de idioma.

Importante

  • Certifique-se de habilitar a Identidade Gerenciada ao criar um recurso de Idioma.
  • Leia e confirme o aviso de IA responsável

Para usar o reconhecimento personalizado de entidade nomeada, você precisará criar uma conta de armazenamento do Azure se ainda não tiver uma.

Criar um novo recurso de idioma usando o PowerShell

Você pode criar um novo recurso e uma conta de armazenamento usando os seguintes arquivos de modelo e parâmetros da CLI, que são hospedados no GitHub.

Edite os seguintes valores no arquivo de parâmetros:

Nome do parâmetro Descrição do valor
name Nome do recurso linguístico
location Região na qual seu recurso está hospedado. para obter mais informações, consulte Limites de serviço.
sku Nível de preços do seu recurso.
storageResourceName Nome da sua conta de armazenamento
storageLocation Região em que sua conta de armazenamento está hospedada.
storageSkuType SKU da sua conta de armazenamento.
storageResourceGroupName Grupo de recursos da sua conta de armazenamento

Use o seguinte comando do PowerShell para implantar o modelo ARM (Azure Resource Manager) com os arquivos editados.

New-AzResourceGroupDeployment -Name ExampleDeployment -ResourceGroupName ExampleResourceGroup `
  -TemplateFile <path-to-arm-template> `
  -TemplateParameterFile <path-to-parameters-file>

Consulte a documentação do modelo ARM para obter informações sobre como implantar modelos e arquivos de parâmetros.

Nota

  • O processo de conexão de uma conta de armazenamento ao seu recurso de idioma é irreversível, não pode ser desconectado mais tarde.
  • Você só pode conectar seu recurso de idioma a uma conta de armazenamento.

Usando um recurso de idioma pré-existente

Você pode usar um recurso de idioma existente para começar a usar o NER personalizado, desde que esse recurso atenda aos requisitos abaixo:

Requisito Description
Regiões Verifique se o recurso existente está provisionado em uma das regiões suportadas. Caso contrário, você precisará criar um novo recurso em uma dessas regiões.
Escalão de preço Saiba mais sobre os níveis de preços suportados.
Identidade gerida Verifique se a configuração de identidade gerenciada do recurso está habilitada. Caso contrário, leia a próxima seção.

Para usar o reconhecimento personalizado de entidade nomeada, você precisará criar uma conta de armazenamento do Azure se ainda não tiver uma.

Habilite o gerenciamento de identidades para seu recurso

Seu recurso de idioma deve ter gerenciamento de identidade, para habilitá-lo usando o portal do Azure:

  1. Ir para o seu recurso linguístico
  2. No menu à esquerda, na seção Gerenciamento de Recursos, selecione Identidade
  3. Na guia Sistema atribuído, certifique-se de definir Status como Ativado

Habilitar o recurso personalizado de reconhecimento de entidade nomeada

Certifique-se de habilitar o recurso Classificação de texto personalizada / Reconhecimento de entidade nomeada personalizada do portal do Azure.

  1. Vá para seu recurso de idioma no portal do Azure.
  2. No menu do lado esquerdo, na seção Gerenciamento de Recursos, selecione Recursos.
  3. Habilite o recurso Classificação de texto personalizada / Reconhecimento de entidade nomeada personalizada.
  4. Conecte sua conta de armazenamento.
  5. Selecione Aplicar.

Importante

  • Verifique se o recurso de idioma tem a função de contribuidor de dados de blob de armazenamento atribuída na conta de armazenamento que você está conectando.

Adicionar funções necessárias

Use as etapas a seguir para definir as funções necessárias para sua conta de armazenamento e recurso de idioma.

Uma imagem animada mostrando como definir funções no portal do Azure.

Funções para seu recurso de linguagem de IA do Azure

  1. Vá para sua conta de armazenamento ou recurso de idioma no portal do Azure.

  2. Selecione Controle de acesso (IAM) no menu de navegação à esquerda.

  3. Selecione Adicionar para Adicionar Atribuições de Função e escolha a função apropriada para sua conta.

    Você deve ter a função de proprietário ou colaborador atribuída em seu recurso de idioma.

  4. Em Atribuir acesso a, selecione Usuário, grupo ou entidade de serviço

  5. Selecionar membros

  6. Selecione seu nome de usuário. Você pode pesquisar nomes de usuário no campo Selecionar . Repita isso para todas as funções.

  7. Repita estas etapas para todas as contas de usuário que precisam acessar esse recurso.

Funções para sua conta de armazenamento

  1. Aceda à página da sua conta de armazenamento no portal do Azure.
  2. Selecione Controle de acesso (IAM) no menu de navegação à esquerda.
  3. Selecione Adicionar para Adicionar Atribuições de Função e escolha a função de contribuidor de dados de blob de armazenamento na conta de armazenamento.
  4. Em Atribuir acesso a, selecione Identidade gerenciada.
  5. Selecionar membros
  6. Selecione sua assinatura e Idioma como a identidade gerenciada. Você pode pesquisar nomes de usuário no campo Selecionar .

Importante

Se você tiver uma rede virtual ou ponto de extremidade privado, certifique-se de selecionar Permitir serviços do Azure na lista de serviços confiáveis para acessar essa conta de armazenamento no portal do Azure.

Ativar CORS para sua conta de armazenamento

Certifique-se de permitir métodos (GET, PUT, DELETE) ao habilitar o CORS (Cross-Origin Resource Sharing). Defina o campo origens permitidas como https://language.cognitive.azure.com. Permita todos os cabeçalhos adicionando * aos valores de cabeçalho permitidos e defina a idade máxima como 500.

Uma captura de tela mostrando como usar o CORS para contas de armazenamento.

Criar um projeto personalizado de reconhecimento de entidade nomeada

Depois que o contêiner de recursos e armazenamento estiver configurado, crie um novo projeto NER personalizado. Um projeto é uma área de trabalho para construir seus modelos de IA personalizados com base em seus dados. Seu projeto só pode ser acessado por você e outras pessoas que têm acesso ao recurso do Azure que está sendo usado. Se você tiver rotulado dados, poderá usá-los para começar importando um projeto.

  1. Entre no Language Studio. Será exibida uma janela para permitir que você selecione sua assinatura e recurso de idioma. Selecione o recurso de idioma que você criou na etapa acima.

  2. Na seção Extrair informações do Language Studio, selecione Reconhecimento personalizado de entidade nomeada.

    Uma captura de tela mostrando o local do NER personalizado na página inicial do Language Studio.

  3. Selecione Criar novo projeto no menu superior da página de projetos. Criar um projeto permitirá que você marque dados, treine, avalie, melhore e implante seus modelos.

    Uma captura de tela da página de criação do projeto.

  4. Depois de clicar em Criar novo projeto, aparecerá uma janela para permitir que você conecte sua conta de armazenamento. Se você já tiver conectado uma conta de armazenamento, verá o armazenamento contabilizado conectado. Caso contrário, escolha sua conta de armazenamento na lista suspensa exibida e selecione Conectar conta de armazenamento, isso definirá as funções necessárias para sua conta de armazenamento. Esta etapa possivelmente retornará um erro se você não estiver atribuído como proprietário na conta de armazenamento.

    Nota

    • Você só precisa fazer essa etapa uma vez para cada novo recurso usado.
    • Esse processo é irreversível, se você conectar uma conta de armazenamento ao seu recurso de idioma, não poderá desconectá-la mais tarde.
    • Você só pode conectar seu recurso de idioma a uma conta de armazenamento.

    Uma captura de tela mostrando a tela de conexão de armazenamento.

  5. Insira as informações do projeto, incluindo um nome, uma descrição e o idioma dos arquivos em seu projeto. Se você estiver usando o conjunto de dados de exemplo, selecione Inglês. Você não poderá alterar o nome do seu projeto mais tarde. Selecione Seguinte

    Gorjeta

    Seu conjunto de dados não precisa estar totalmente no mesmo idioma. Você pode ter vários documentos, cada um com diferentes idiomas suportados. Se o conjunto de dados contiver documentos de idiomas diferentes ou se você esperar texto de idiomas diferentes durante o tempo de execução, selecione a opção habilitar conjunto de dados multilíngue ao inserir as informações básicas para seu projeto. Esta opção pode ser ativada posteriormente na página Configurações do projeto.

  6. Selecione o contêiner onde você carregou seu conjunto de dados. Se você já tiver rotulado dados, certifique-se de que eles seguem o formato suportado e selecione Sim, meus arquivos já estão rotulados e eu formatei o arquivo de rótulos JSON e selecione o arquivo de rótulos no menu suspenso. Selecione Seguinte.

  7. Revise os dados inseridos e selecione Criar projeto.

Importar projeto

Se você já tiver rotulado dados, poderá usá-los para começar a usar o serviço. Certifique-se de que os dados rotulados seguem os formatos de dados aceitos.

  1. Entre no Language Studio. Será exibida uma janela para permitir que você selecione sua assinatura e recurso de idioma. Selecione o seu recurso Idioma.

  2. Na seção Extrair informações do Language Studio, selecione Reconhecimento personalizado de entidade nomeada.

    Uma captura de tela mostrando o local do recurso NER personalizado na página inicial do Language Studio.

  3. Selecione Criar novo projeto no menu superior da página de projetos. Criar um projeto permitirá que você marque dados, treine, avalie, melhore e implante seus modelos.

    Uma captura de tela da página de criação do projeto.

  4. Depois de selecionar Criar novo projeto, uma tela será exibida para permitir que você conecte sua conta de armazenamento. Se não conseguir encontrar a sua conta de armazenamento, certifique-se de que criou um recurso utilizando os passos recomendados. Se já tiver ligado uma conta de armazenamento ao seu recurso Idioma, verá a sua conta de armazenamento ligada.

    Nota

    • Você só precisa fazer essa etapa uma vez para cada novo recurso de idioma usado.
    • Esse processo é irreversível, se você conectar uma conta de armazenamento ao seu recurso de idioma, não poderá desconectá-la mais tarde.
    • Você só pode conectar seu recurso de idioma a uma conta de armazenamento.

    Uma captura de tela da tela de conexão de armazenamento para novos projetos.

  5. Insira as informações do projeto, incluindo um nome, uma descrição e o idioma dos arquivos em seu projeto. Você não poderá alterar o nome do seu projeto mais tarde. Selecione Seguinte.

    Gorjeta

    Seu conjunto de dados não precisa estar totalmente no mesmo idioma. Você pode ter vários documentos, cada um com diferentes idiomas suportados. Se o conjunto de dados contiver documentos de idiomas diferentes ou se você esperar texto de idiomas diferentes durante o tempo de execução, selecione a opção habilitar conjunto de dados multilíngue ao inserir as informações básicas para seu projeto. Esta opção pode ser ativada posteriormente na página Configurações do projeto.

  6. Selecione o contêiner onde você carregou seu conjunto de dados.

  7. Selecione Sim, meus arquivos já estão rotulados e eu formatei o arquivo de rótulos JSON e selecione o arquivo de rótulos no menu suspenso abaixo para importar seu arquivo de rótulos JSON. Certifique-se de que segue o formato suportado.

  8. Selecione Seguinte.

  9. Revise os dados inseridos e selecione Criar projeto.

Obter detalhes do projeto

  1. Vá para a página de configurações do projeto no Language Studio.

  2. Você pode ver os detalhes do projeto.

  3. Nesta página, você pode atualizar a descrição do projeto e ativar/desabilitar o conjunto de dados multilíngue nas configurações do projeto.

  4. Você também pode exibir a conta de armazenamento conectada e o contêiner ao seu recurso de idioma.

  5. Você também pode recuperar sua chave de recurso primária nesta página.

    Uma captura de tela da página de configurações do projeto no Language Studio.

Excluir projeto

Quando você não precisar mais do seu projeto, poderá excluí-lo usando o Language Studio. Selecione Reconhecimento personalizado de entidade nomeada (NER) na parte superior, selecione o projeto que deseja excluir e selecione Excluir no menu superior.

Próximos passos

  • Você deve ter uma ideia do esquema de projeto que usará para rotular seus dados.

  • Depois que seu projeto é criado, você pode começar a rotular seus dados, o que informará seu modelo de extração de entidade como interpretar o texto e é usado para treinamento e avaliação.