Share via

Início Rápido – Reconhecimento de Entidade Nomeada personalizada

  • Artigo

Use este artigo para começar a criar um projeto NER, no qual você pode treinar modelos personalizados para a entidade personalizada. Um modelo é um software de inteligência artificial treinado para fazer um determinada tarefa. Para esse sistema, os modelos extraem entidades nomeadas e são treinados ao aprender com dados marcados.

Neste artigo, usamos o Language Studio para demonstrar os principais conceitos de NER (Reconhecimento de Entidade Nomeada) personalizado. Como exemplo, compilaremos um modelo de NER personalizado para extrair entidades relevantes de contratos de empréstimo, como:

  • Data do contrato
  • Nome, endereço, cidade e estado do mutuário
  • Nome, endereço, cidade e estado do credor
  • Valores de empréstimos e juros

Pré-requisitos

Criar um novo recurso de Linguagem da IA do Azure e uma conta de Armazenamento do Azure

Antes de usar o NER personalizado, você precisará criar um recurso de Linguagem de IA do Azure que fornecerá as credenciais necessárias para criar um projeto e começar a treinar um modelo. Você também precisará de uma conta de armazenamento do Azure, na qual poderá carregar o conjunto de dados que será usado para compilar o modelo.

Importante

Para começar a usar o recurso rapidamente, recomendamos que você crie um recurso de Linguagem da IA do Azure usando as etapas fornecidas neste artigo. Usar as etapas neste artigo permitirá que você crie o recurso de linguagem e a conta de armazenamento ao mesmo tempo, que é mais fácil do que fazer depois.

Se caso tiver um recurso pré-existente que gostaria de usar, precisará conectá-lo a uma conta de armazenamento. Consulte as diretrizes para usar um recurso preexistente para obter informações.

Criar um recurso usando o portal do Azure

  1. Entre no portal do Azure para criar um novo recurso de Linguagem de IA do Azure.

  2. Na janela exibida, selecione Classificação de textos personalizada e reconhecimento de entidade nomeada personalizada nos recursos personalizados. Selecione Continuar para criar seu recurso na parte inferior da tela.

    A screenshot showing custom text classification & custom named entity recognition in the Azure portal.

  3. Crie um recurso de Linguagem com os seguintes detalhes.

    Nome Descrição
    Subscription Sua assinatura do Azure.
    Resource group O grupo de recursos que conterá seu recurso. É possível usar um grupo existente ou criar um do zero.
    Região A região para seu recurso de linguagem. Por exemplo, “Oeste dos EUA 2”.
    Nome Um nome para seu recurso.
    Tipo de preço O tipo de preço do recurso de Linguagem. Use a camada Gratuita (F0) para experimentar o serviço.

    Observação

    Se você receber uma mensagem dizendo que "sua conta de logon não é uma proprietária do grupo de recursos da conta de armazenamento selecionada", sua conta precisará ter uma função de proprietário atribuída no grupo de recursos antes de criar um recurso de linguagem. Entre em contato com o proprietário da assinatura do Azure para obter ajuda.

  4. Na seção Classificação de textos personalizada e reconhecimento de entidade nomeada personalizada, selecione uma conta de armazenamento existente ou Nova conta de armazenamento. Esses valores são para ajudar você a começar a usar o recurso, e não são necessariamente os valores de conta de armazenamento que você usará nos ambientes de produção. Para evitar latência durante a criação do projeto, conecte-se às contas de armazenamento na mesma região que o recurso de Linguagem.

    Valor de conta de armazenamento Valor recomendado
    Nome da conta de armazenamento Qualquer nome
    Tipo de conta de armazenamento LRS Padrão

  5. Verifique se a opção Aviso de IA Responsável está marcada. Selecione Examinar + criar na parte inferior da página e depois Criar.

Carregar dados de exemplo para o contêiner de blob

Depois de criar uma conta de armazenamento do Azure e conectá-la ao recurso de Linguagem, você precisará carregar os documentos do conjunto de dados de exemplo no diretório raiz do contêiner. Estes documentos serão usados posteriormente para treinar o seu modelo.

  1. Baixar o conjunto de dados de exemplo do GitHub.

  2. Abra o arquivo .zip e extraia a pasta que contém os documentos.

  3. No portal do Azure, navegue até a conta de armazenamento que você criou e selecione-a.

  4. Em sua conta de armazenamento, selecione Contêineres no menu esquerdo localizado abaixo de Armazenamento de dados. Na tela exibida, selecione + Contêiner. Nomeie o contêiner como example-data e deixe o Nível de acesso público padrão.

    A screenshot showing the main page for a storage account.

  5. Após criar o contêiner, selecione-o. Em seguida, selecione o botão Carregar para selecionar os arquivos .txt e .json baixados anteriormente.

    A screenshot showing the button for uploading files to the storage account.

O conjunto de dados de amostra fornecido contém 20 contratos de empréstimo. Cada contrato inclui duas partes: um credor e um tomador de empréstimo. Você pode usar o arquivo de exemplo fornecido para extrair informações relevantes para: ambas as partes, uma data do contrato, um valor do empréstimo e uma taxa de juros.

Crie um projeto de reconhecimento de entidade nomeada personalizado

Depois de configurar o recurso e a conta de armazenamento, crie um novo projeto NER personalizado. Um projeto é uma área de trabalho para a criação de modelos de ML personalizados com base em seus dados. Seu projeto só pode ser acessado por você e por outras pessoas que têm acesso ao recurso de idioma sendo usado.

  1. Entre no Language Studio. Uma janela será exibida para permitir que você selecione sua assinatura e o recurso idioma. Selecione o recurso de idioma que você criou na etapa acima.

  2. Na seção Extrair informações do Language Studio, selecione Reconhecimento de entidade nomeada personalizada.

    A screenshot showing the location of custom NER in the Language Studio landing page.

  3. Selecione Criar projeto no menu superior na página de projetos. A criação de um projeto permitirá que você marque dados, treine, avalie, melhore e implante seus modelos.

    A screenshot of the project creation page.

  4. Depois de clicar em Criar projeto, uma janela será exibida para permitir que você conecte sua conta de armazenamento. Se você já tiver conectado uma conta de armazenamento, verá o armazenamento conectado. Caso contrário, escolha a conta de armazenamento na lista suspensa que aparece e selecione Conectar conta de armazenamento. Isso definirá as funções necessárias para a sua conta de armazenamento. É possível que essa etapa retorne um erro se você não for atribuído como proprietário na conta de armazenamento.

    Observação

    • Para começar logo, é recomendável criar um novo recurso de Linguagem do Azure por meio das etapas fornecidas abaixo, o que permitirá que você crie o recurso e configure uma conta de armazenamento ao mesmo tempo, o que é mais fácil do que fazê-lo mais tarde.
    • Esse processo é irreversível, se você conectar uma conta de armazenamento ao recurso de idioma, não poderá desconectá-la posteriormente.
    • É possível conectar o recurso de idioma a apenas uma conta de armazenamento.

    A screenshot showing the storage connection screen.

  5. Insira as informações do projeto, incluindo um nome, uma descrição e o idioma dos arquivos em seu projeto. Se você estiver usando o conjunto de dados de exemplo, selecione Inglês. Você não poderá alterar o nome do projeto mais tarde. Selecione Avançar

    Dica

    Seu conjunto de dados não precisa estar totalmente no mesmo idioma. Você pode ter vários documentos, cada um com diferentes idiomas compatíveis. Se o conjunto de dados contiver documentos de idiomas diferentes ou se você esperar um texto de diferentes idiomas durante o runtime, selecione Habilitar conjunto de dados multilíngue ao inserir as informações básicas no projeto. Essa opção pode ser habilitada posteriormente na página Configurações do projeto.

  6. Selecione o contêiner em que você carregou o conjunto de dados. Se você já rotulou os dados, certifique-se de que seguem o formato com suporte e selecione Sim, meus arquivos já estão rotulados e formatei o arquivo de rótulos JSON e selecione o arquivo de rótulos no menu suspenso. Selecione Avançar.

  7. Revise os dados inseridos e selecione Criar Projeto.

Treinar seu modelo

Normalmente, depois de criar um projeto, você começa a marcar os documentos presentes no contêiner conectado ao projeto. Para este início rápido, você importou um conjunto de dados marcado de exemplo e inicializou o projeto com o arquivo de marcas JSON de exemplo.

Para começar a treinar o modelo no Language Studio:

  1. Selecione Trabalhos de treinamento no menu à esquerda.

  2. Selecione Iniciar um trabalho de treinamento no menu superior.

  3. Selecione Treinar um novo modelo e digite o nome do modelo na caixa de texto. Também é possível substituir um modelo existente selecionando essa opção e escolhendo o modelo que você deseja substituir no menu suspenso. A substituição de um modelo treinado é irreversível, mas não afetará os modelos implantados até que você implante o novo modelo.

    Create a new training job

  4. Selecione o método de divisão de dados. Você pode optar por dividir automaticamente o conjunto de teste nos dados de treinamento, em que o sistema dividirá os dados rotulados entre os conjuntos de treinamento e de teste, de acordo com os percentuais especificados. Alternativamente, você pode Usar uma divisão manual dos dados de treinamento e de teste. Essa opção será habilitada somente se você tiver adicionado documentos ao conjunto de teste durante a rotulagem de dados. Confira Como treinar um modelo para obter mais informações sobre divisão de dados.

  5. Selecione o botão Treinar.

  6. Se você selecionar a ID de Trabalho de Treinamento da lista, será exibido um painel lateral no qual você poderá verificar o Progresso do treinamento, o Status do trabalho e outros detalhes para esse trabalho.

    Observação

    • Somente os trabalhos de treinamento concluídos com êxito vão gerar modelos.
    • O treinamento pode levar entre alguns minutos e várias horas de acordo com o tamanho dos dados rotulados.
    • É possível ter um trabalho de treinamento em execução por vez. Não é possível iniciar outro trabalho de treinamento no mesmo projeto até que o trabalho em execução seja concluído.

Implantar o seu modelo

Geralmente, depois de treinar um modelo, você pode revisar os detalhes da avaliação e fazer aprimoramentos, se necessário. Neste início rápido, você implantará somente o modelo e o disponibilizará para ser experimentado no estúdio de Linguagem ou você poderá chamar a API de previsão.

Para implantar o modelo por meio do Language Studio:

  1. Selecione Implantar um modelo no menu à esquerda.

  2. Selecione Adicionar implantação para iniciar um novo trabalho de implantação.

    A screenshot showing the deployment button

  3. Selecione Criar implantação para criar uma implantação e atribuir um modelo treinado na lista suspensa abaixo. Você também pode Substituir uma implantação existente selecionando essa opção e escolhendo o modelo treinado que deseja atribuir na lista suspensa abaixo.

    Observação

    A substituição de uma implantação existente não exige alterações na chamada à API de previsão, mas os resultados obtidos serão baseados no modelo recém-atribuído.

    A screenshot showing the deployment screen

  4. Selecione Implantar para iniciar a implantação.

  5. Depois que a implantação for realizada com sucesso, uma data de validade será exibida. A expiração da implantação consiste no momento em que o modelo implantado não estará disponível para ser usado para previsão, o que normalmente acontece 12 meses após a expiração de uma configuração de treinamento.

Testar o modelo

Depois que o modelo for implantado, você poderá começar a usá-lo para extrair entidades do texto por meio da API de Previsão. Para este início rápido, você usará o Language Studio para enviar a tarefa de reconhecimento de entidade personalizada e visualizar os resultados. No conjunto de dados de exemplo que você baixou anteriormente, poderá encontrar alguns documentos de teste que podem ser usados nesta etapa.

Para testar os modelos implantados de dentro do Language Studio:

  1. Selecione Testar implantações no menu à esquerda.

  2. Selecione a implantação que deseja testar. Você só pode testar modelos atribuídos a implantações.

  3. Para projetos multilíngues, na lista suspensa de idiomas, selecione o idioma do texto que você está testando.

  4. Selecione a implantação que deseja consultar/testar na lista suspensa.

  5. É possível inserir o texto que deseja enviar à solicitação ou carregar um arquivo .txt a ser usado.

  6. Selecione Executar o teste no menu superior.

  7. Na guia Resultado, você pode ver as entidades extraídas de seu texto e seus tipos. Você também pode exibir a resposta JSON na guia JSON.

A screenshot showing the model test results.

Limpar os recursos

Quando não precisar mais do seu projeto, poderá excluí-lo do projeto usando o Language Studio. Selecione NER (reconhecimento de entidade nomeada personalizada) na parte superior, selecione o projeto que deseja excluir e selecione Excluir no menu superior.

Pré-requisitos

Criar um novo recurso de Linguagem da IA do Azure e uma conta de Armazenamento do Azure

Antes de usar o NER personalizado, você precisará criar um recurso de Linguagem de IA do Azure que fornecerá as credenciais necessárias para criar um projeto e começar a treinar um modelo. Você também precisará de uma conta de armazenamento do Azure, na qual poderá carregar o conjunto de dados que será usado na criação do modelo.

Importante

Para começar a usar o recurso rapidamente, recomendamos que você crie um recurso de Linguagem da IA do Azure usando as etapas fornecidas neste artigo, o que permitirá que você crie o recurso de Linguagem e crie e/ou configure uma conta de armazenamento ao mesmo tempo, o que é mais fácil do que fazê-lo mais tarde.

Se caso tiver um recurso pré-existente que gostaria de usar, precisará conectá-lo a uma conta de armazenamento. Confira criar projeto para obter mais informações.

Criar um recurso usando o portal do Azure

  1. Entre no portal do Azure para criar um novo recurso de Linguagem de IA do Azure.

  2. Na janela exibida, selecione Classificação de textos personalizada e reconhecimento de entidade nomeada personalizada nos recursos personalizados. Selecione Continuar para criar seu recurso na parte inferior da tela.

    A screenshot showing custom text classification & custom named entity recognition in the Azure portal.

  3. Crie um recurso de Linguagem com os seguintes detalhes.

    Nome Descrição
    Subscription Sua assinatura do Azure.
    Resource group O grupo de recursos que conterá seu recurso. É possível usar um grupo existente ou criar um do zero.
    Região A região para seu recurso de linguagem. Por exemplo, “Oeste dos EUA 2”.
    Nome Um nome para seu recurso.
    Tipo de preço O tipo de preço do recurso de Linguagem. Use a camada Gratuita (F0) para experimentar o serviço.

    Observação

    Se você receber uma mensagem dizendo que "sua conta de logon não é uma proprietária do grupo de recursos da conta de armazenamento selecionada", sua conta precisará ter uma função de proprietário atribuída no grupo de recursos antes de criar um recurso de linguagem. Entre em contato com o proprietário da assinatura do Azure para obter ajuda.

  4. Na seção Classificação de textos personalizada e reconhecimento de entidade nomeada personalizada, selecione uma conta de armazenamento existente ou Nova conta de armazenamento. Esses valores são para ajudar você a começar a usar o recurso, e não são necessariamente os valores de conta de armazenamento que você usará nos ambientes de produção. Para evitar latência durante a criação do projeto, conecte-se às contas de armazenamento na mesma região que o recurso de Linguagem.

    Valor de conta de armazenamento Valor recomendado
    Nome da conta de armazenamento Qualquer nome
    Tipo de conta de armazenamento LRS Padrão

  5. Verifique se a opção Aviso de IA Responsável está marcada. Selecione Examinar + criar na parte inferior da página e depois Criar.

Carregar dados de exemplo para o contêiner de blob

Depois de criar uma conta de armazenamento do Azure e conectá-la ao recurso de Linguagem, você precisará carregar os documentos do conjunto de dados de exemplo no diretório raiz do contêiner. Estes documentos serão usados posteriormente para treinar o seu modelo.

  1. Baixar o conjunto de dados de exemplo do GitHub.

  2. Abra o arquivo .zip e extraia a pasta que contém os documentos.

  3. No portal do Azure, navegue até a conta de armazenamento que você criou e selecione-a.

  4. Em sua conta de armazenamento, selecione Contêineres no menu esquerdo localizado abaixo de Armazenamento de dados. Na tela exibida, selecione + Contêiner. Nomeie o contêiner como example-data e deixe o Nível de acesso público padrão.

    A screenshot showing the main page for a storage account.

  5. Após criar o contêiner, selecione-o. Em seguida, selecione o botão Carregar para selecionar os arquivos .txt e .json baixados anteriormente.

    A screenshot showing the button for uploading files to the storage account.

O conjunto de dados de amostra fornecido contém 20 contratos de empréstimo. Cada contrato inclui duas partes: um credor e um tomador de empréstimo. Você pode usar o arquivo de exemplo fornecido para extrair informações relevantes para: ambas as partes, uma data do contrato, um valor do empréstimo e uma taxa de juros.

Obter suas chaves de recurso e ponto de extremidade

  1. No portal do Azure, vá para a página de visão geral do recurso

  2. No menu do lado esquerdo, selecione Chaves e Ponto de Extremidade. Você usará o ponto de extremidade e a chave para as solicitações de API

    A screenshot showing the key and endpoint page in the Azure portal

Criar um projeto NER personalizado

Depois de configurar o recurso e a conta de armazenamento, crie um novo projeto NER personalizado. Um projeto é uma área de trabalho para a criação de modelos de ML personalizados com base em seus dados. Seu projeto só pode ser acessado por você e por outras pessoas que têm acesso ao recurso de idioma sendo usado.

Use o arquivo de marcas baixado dos dados de exemplo na etapa anterior e adicione-o ao corpo da solicitação a seguir.

Disparar trabalho de projeto de importação

Envie uma solicitaçãoPOST usando o URL, os cabeçalhos e o corpo JSON a seguir para importar o arquivo de rótulos. Verifique se o arquivo de rótulos segue o formato de arquivo aceito.

Se já existir um projeto com o mesmo nome, os dados desse projeto serão substituídos.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}/:import?api-version={API-VERSION}
Espaço reservado Valor Exemplo
{ENDPOINT} O ponto de extremidade para autenticação de sua solicitação de API. https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} O nome do seu projeto. Esse valor diferencia maiúsculas de minúsculas. myProject
{API-VERSION} A versão da API que você está chamando. O valor referenciado aqui é para a versão mais recente lançada. Consulte o Ciclo de vida do modelo para saber mais sobre outras versões de API disponíveis. 2022-05-01

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Chave Valor
Ocp-Apim-Subscription-Key A chave para o recurso. Usado para autenticação de suas solicitações de API.

Corpo

Use o JSON a seguir em sua solicitação. Substitua os valores dos espaços reservados abaixo pelos seus próprios valores.

{
    "projectFileVersion": "{API-VERSION}",
    "stringIndexType": "Utf16CodeUnit",
    "metadata": {
        "projectName": "{PROJECT-NAME}",
        "projectKind": "CustomEntityRecognition",
        "description": "Trying out custom NER",
        "language": "{LANGUAGE-CODE}",
        "multilingual": true,
        "storageInputContainerName": "{CONTAINER-NAME}",
        "settings": {}
    },
    "assets": {
    "projectKind": "CustomEntityRecognition",
        "entities": [
            {
                "category": "Entity1"
            },
            {
                "category": "Entity2"
            }
        ],
        "documents": [
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "entities": [
                    {
                        "regionOffset": 0,
                        "regionLength": 500,
                        "labels": [
                            {
                                "category": "Entity1",
                                "offset": 25,
                                "length": 10
                            },
                            {
                                "category": "Entity2",
                                "offset": 120,
                                "length": 8
                            }
                        ]
                    }
                ]
            },
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "entities": [
                    {
                        "regionOffset": 0,
                        "regionLength": 100,
                        "labels": [
                            {
                                "category": "Entity2",
                                "offset": 20,
                                "length": 5
                            }
                        ]
                    }
                ]
            }
        ]
    }
}
Chave Espaço reservado Valor Exemplo
api-version {API-VERSION} A versão da API que você está chamando. A versão usada aqui precisa ser a mesma versão da API na URL. Saiba mais sobre as outras versões de API disponíveis 2022-03-01-preview
projectName {PROJECT-NAME} O nome do seu projeto. Esse valor diferencia maiúsculas de minúsculas. myProject
projectKind CustomEntityRecognition O tipo de projeto. CustomEntityRecognition
language {LANGUAGE-CODE} Uma cadeia de caracteres que especifica o código de linguagem para os documentos usados no projeto. Se for um projeto multilíngue, escolha o código de linguagem da maioria dos documentos. en-us
multilingual true Um valor booliano que permite ter documentos em várias linguagens no conjunto de dados e, quando o modelo é implantado, é possível consultar o modelo em qualquer linguagem com suporte, não necessariamente incluída nos documentos de treinamento. Confira suporte de idioma para obter informações sobre suporte multilíngue. true
storageInputContainerName {CONTAINER-NAME} O nome do contêiner de armazenamento do Azure em que você carregou os documentos. myContainer
entities Matriz que contém todos os tipos de entidade presentes no projeto. São os tipos de entidade que serão extraídos dos documentos.
documents Matriz que contém todos os documentos no projeto e lista das entidades rotuladas em cada documento. []
location {DOCUMENT-NAME} O local dos documentos no contêiner de armazenamento. Como todos os documentos estão na raiz do contêiner, esse deve ser o nome do documento. doc1.txt
dataset {DATASET} O conjunto de teste para o qual esse arquivo será exibido, quando dividido antes do treinamento. Confira Como treinar um modelo para obter mais informações sobre como os dados são divididos. Os valores possíveis para esse campo são Train e Test. Train

Depois de enviar a solicitação à API, você receberá uma resposta 202 indicando que o trabalho foi enviado corretamente. Nos cabeçalhos de resposta, extraia o valor operation-location. A formatação ficará da seguinte maneira:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/import/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} é usado para identificar sua solicitação, pois essa operação é assíncrona. Você usará essa URL para obter o status do trabalho de importação.

Possíveis cenários de erro para esta solicitação:

  • O recurso selecionado não tem as permissões apropriadas para a conta de armazenamento.
  • O storageInputContainerName especificado não existe.
  • Um código de idioma inválido foi usado ou o tipo de código de idioma não é cadeia de caracteres.
  • O valor multilingual é uma cadeia de caracteres e não um booliano.

Obter o status do trabalho de importação

Use a solicitação GET a seguir para obter o status da importação do projeto. Substitua os valores dos espaços reservados abaixo pelos seus próprios valores.

URL da solicitação

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/import/jobs/{JOB-ID}?api-version={API-VERSION}
Espaço reservado Valor Exemplo
{ENDPOINT} O ponto de extremidade para autenticação de sua solicitação de API. https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} O nome do seu projeto. Esse valor diferencia maiúsculas de minúsculas. myProject
{JOB-ID} A ID para localização do status de treinamento do modelo. Esse valor está no valor de cabeçalho location que você obteve na etapa anterior. xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx
{API-VERSION} A versão da API que você está chamando. O valor referenciado aqui é para a versão mais recente lançada. Consulte o Ciclo de vida do modelo para saber mais sobre outras versões de API disponíveis. 2022-05-01

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Chave Valor
Ocp-Apim-Subscription-Key A chave para o recurso. Usado para autenticação de suas solicitações de API.

Treinar seu modelo

Normalmente, depois de criar um projeto, você começa a marcar os documentos presentes no contêiner conectado ao projeto. Para este início rápido, você importou um conjunto de dados marcado de exemplo e inicializou o projeto com o arquivo de marcas JSON de exemplo.

Iniciar o trabalho de treinamento

Depois que o projeto tiver sido importado, você poderá começar a treinar o modelo.

Envie uma solicitação POST usando a URL, os cabeçalhos e o corpo JSON a seguir para enviar um trabalho de treinamento. Substitua os valores dos espaços reservados abaixo pelos seus próprios valores.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:train?api-version={API-VERSION}
Espaço reservado Valor Exemplo
{ENDPOINT} O ponto de extremidade para autenticação de sua solicitação de API. https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} O nome do seu projeto. Esse valor diferencia maiúsculas de minúsculas. myProject
{API-VERSION} A versão da API que você está chamando. O valor referenciado aqui é para a versão mais recente lançada. Consulte o Ciclo de vida do modelo para saber mais sobre outras versões de API disponíveis. 2022-05-01

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Chave Valor
Ocp-Apim-Subscription-Key A chave para o recurso. Usado para autenticação de suas solicitações de API.

Corpo da solicitação

Use o JSON a seguir no corpo da solicitação. O modelo receberá o {MODEL-NAME} quando o treinamento for concluído. Somente os trabalhos de treinamento executados com êxito produzirão modelos.

{
	"modelLabel": "{MODEL-NAME}",
	"trainingConfigVersion": "{CONFIG-VERSION}",
	"evaluationOptions": {
		"kind": "percentage",
		"trainingSplitPercentage": 80,
		"testingSplitPercentage": 20
	}
}
Chave Espaço reservado Valor Exemplo
modelLabel {MODEL-NAME} O nome que será atribuído ao modelo uma vez que ele seja treinado com êxito. myModel
trainingConfigVersion {CONFIG-VERSION} Esta é a versão do modelo que será usada para treinar o modelo. 2022-05-01
evaluationOptions Opção para dividir os dados entre conjuntos de treinamento e de teste. {}
kind percentage Métodos de divisão. Os possíveis valores são percentage ou manual. Confira Como treinar um modelo para obter mais informações. percentage
trainingSplitPercentage 80 Porcentual dos dados marcados a serem incluídos no conjunto de treinamentos. O valor recomendado é 80. 80
testingSplitPercentage 20 Porcentual dos dados marcados a serem incluídos no conjunto de teste. O valor recomendado é 20. 20

Observação

trainingSplitPercentage e testingSplitPercentage serão necessários somente se Kind for definido como percentage, sendo que a soma de ambos os percentuais deverá ser igual a 100.

Depois de enviar a solicitação à API, você receberá uma resposta 202 indicando que o trabalho foi enviado corretamente. Nos cabeçalhos de resposta, extraia o valor location. A formatação ficará da seguinte maneira:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} é usado para identificar sua solicitação, pois essa operação é assíncrona. Você pode usar essa URL para obter o status de treinamento.

Obter status do trabalho de treinamento

O treinamento pode levar entre 10 e 30 minutos para este conjunto de dados de exemplo. Você pode usar a solicitação a seguir para continuar sondando o status do trabalho de treinamento até que ele seja concluído com êxito.

Use a seguinte solicitação GET para obter o status do processo de treinamento do modelo. Substitua os valores dos espaços reservados abaixo pelos seus próprios valores.

URL da solicitação

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}
Espaço reservado Valor Exemplo
{ENDPOINT} O ponto de extremidade para autenticação de sua solicitação de API. https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} O nome do seu projeto. Esse valor diferencia maiúsculas de minúsculas. myProject
{JOB-ID} A ID para localização do status de treinamento do modelo. Esse valor está no valor de cabeçalho location que você obteve na etapa anterior. xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx
{API-VERSION} A versão da API que você está chamando. O valor referenciado aqui é para a versão mais recente lançada. Consulte o Ciclo de vida do modelo para saber mais sobre outras versões de API disponíveis. 2022-05-01

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Chave Valor
Ocp-Apim-Subscription-Key A chave para o recurso. Usado para autenticação de suas solicitações de API.

Corpo da resposta

Após enviar a solicitação, você receberá a seguinte resposta.

{
  "result": {
    "modelLabel": "{MODEL-NAME}",
    "trainingConfigVersion": "{CONFIG-VERSION}",
    "estimatedEndDateTime": "2022-04-18T15:47:58.8190649Z",
    "trainingStatus": {
      "percentComplete": 3,
      "startDateTime": "2022-04-18T15:45:06.8190649Z",
      "status": "running"
    },
    "evaluationStatus": {
      "percentComplete": 0,
      "status": "notStarted"
    }
  },
  "jobId": "{JOB-ID}",
  "createdDateTime": "2022-04-18T15:44:44Z",
  "lastUpdatedDateTime": "2022-04-18T15:45:48Z",
  "expirationDateTime": "2022-04-25T15:44:44Z",
  "status": "running"
}

Implantar o seu modelo

Geralmente, depois de treinar um modelo, você pode revisar os detalhes da avaliação e fazer melhorias, se necessário. Neste início rápido, você apenas implantará o modelo e o disponibilizará para ser experimentado no Language Studio ou você poderá chamar a API de previsão.

Iniciar trabalho de implantação

Envie uma solicitaçãoPUT usando a URL, os cabeçalhos e o corpo JSON a seguir para enviar o trabalho de implantação. Substitua os valores dos espaços reservados abaixo pelos seus próprios valores.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}/deployments/{deploymentName}?api-version={API-VERSION}
Espaço reservado Valor Exemplo
{ENDPOINT} O ponto de extremidade para autenticação de sua solicitação de API. https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} O nome do seu projeto. Esse valor diferencia maiúsculas de minúsculas. myProject
{DEPLOYMENT-NAME} O nome da sua implantação. Esse valor diferencia maiúsculas de minúsculas. staging
{API-VERSION} A versão da API que você está chamando. O valor referenciado aqui é para a versão mais recente lançada. Consulte o Ciclo de vida do modelo para saber mais sobre outras versões de API disponíveis. 2022-05-01

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Chave Valor
Ocp-Apim-Subscription-Key A chave para o recurso. Usado para autenticação de suas solicitações de API.

Corpo da solicitação

Use o JSON a seguir no corpo da solicitação. Use o nome do modelo atribuído à implantação.

{
  "trainedModelLabel": "{MODEL-NAME}"
}
Chave Espaço reservado Valor Exemplo
trainedModelLabel {MODEL-NAME} O nome do modelo que será atribuído à implantação. Você só pode atribuir modelos treinados com sucesso. Esse valor diferencia maiúsculas de minúsculas. myModel

Depois de enviar a solicitação à API, você receberá uma resposta 202 indicando que o trabalho foi enviado corretamente. Nos cabeçalhos de resposta, extraia o valor operation-location. A formatação ficará da seguinte maneira:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/deployments/{DEPLOYMENT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} é usado para identificar sua solicitação, pois essa operação é assíncrona. Você pode usar essa URL para obter o status de implantação.

Obter status do trabalho de implantação

Use a solicitação GET a seguir para consultar o status do trabalho de implantação. Você pode usar a URL que obteve na etapa anterior ou substituir os valores de espaço reservado abaixo pelos seus próprios valores.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/deployments/{DEPLOYMENT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}
Espaço reservado Valor Exemplo
{ENDPOINT} O ponto de extremidade para autenticação de sua solicitação de API. https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} O nome do seu projeto. Esse valor diferencia maiúsculas de minúsculas. myProject
{DEPLOYMENT-NAME} O nome da sua implantação. Esse valor diferencia maiúsculas de minúsculas. staging
{JOB-ID} A ID para localização do status de treinamento do modelo. Isso está no valor de cabeçalho location que você obteve na etapa anterior. xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx
{API-VERSION} A versão da API que você está chamando. O valor referenciado aqui é para a versão mais recente lançada. Consulte o Ciclo de vida do modelo para saber mais sobre outras versões de API disponíveis. 2022-05-01

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Chave Valor
Ocp-Apim-Subscription-Key A chave para o recurso. Usado para autenticação de suas solicitações de API.

Corpo da resposta

Depois de enviar a solicitação, você receberá a seguinte resposta. Continue sondando esse ponto de extremidade até que o parâmetro de status mude para "bem-sucedido". Você deve obter um código 200 para indicar o sucesso da solicitação.

{
    "jobId":"{JOB-ID}",
    "createdDateTime":"{CREATED-TIME}",
    "lastUpdatedDateTime":"{UPDATED-TIME}",
    "expirationDateTime":"{EXPIRATION-TIME}",
    "status":"running"
}

Extrair entidades personalizadas

Depois que o modelo for implantado, você poderá começar a usá-lo para extrair entidades do texto usando a API de Previsão. No conjunto de dados de exemplo que você baixou anteriormente, poderá encontrar alguns documentos de teste que podem ser usados nesta etapa.

Enviar a tarefa do NER personalizada

Use esta solicitação POST para iniciar uma tarefa de classificação de textos.

{ENDPOINT}/language/analyze-text/jobs?api-version={API-VERSION}
Espaço reservado Valor Exemplo
{ENDPOINT} O ponto de extremidade para autenticação de sua solicitação de API. https://<your-custom-subdomain>.cognitiveservices.azure.com
{API-VERSION} A versão da API que você está chamando. O valor referenciado aqui é para a versão mais recente lançada. Consulte o Ciclo de vida do modelo para saber mais sobre outras versões de API disponíveis. 2022-05-01

Cabeçalhos

Chave Valor
Ocp-Apim-Subscription-Key Sua chave que fornece acesso a essa API.

Corpo

{
  "displayName": "Extracting entities",
  "analysisInput": {
    "documents": [
      {
        "id": "1",
        "language": "{LANGUAGE-CODE}",
        "text": "Text1"
      },
      {
        "id": "2",
        "language": "{LANGUAGE-CODE}",
        "text": "Text2"
      }
    ]
  },
  "tasks": [
     {
      "kind": "CustomEntityRecognition",
      "taskName": "Entity Recognition",
      "parameters": {
        "projectName": "{PROJECT-NAME}",
        "deploymentName": "{DEPLOYMENT-NAME}"
      }
    }
  ]
}
Chave Espaço reservado Valor Exemplo
displayName {JOB-NAME} O nome do seu trabalho. MyJobName
documents [{},{}] Lista de documentos nos quais executar tarefas. [{},{}]
id {DOC-ID} Nome ou ID do documento. doc1
language {LANGUAGE-CODE} Uma cadeia de caracteres que especifica o código de idioma do documento. Caso essa chave não seja especificada, o serviço assume o idioma padrão do projeto que foi selecionado durante a criação do projeto. Confira Suporte ao idioma para obter uma lista de todos os códigos de idioma com suporte. en-us
text {DOC-TEXT} Tarefa do documento para executar as tarefas. Lorem ipsum dolor sit amet
tasks Lista de tarefas que queremos executar. []
taskName CustomEntityRecognition O nome da tarefa CustomEntityRecognition
parameters Lista de parâmetros a serem passados para a tarefa.
project-name {PROJECT-NAME} O nome do seu projeto. Esse valor diferencia maiúsculas de minúsculas. myProject
deployment-name {DEPLOYMENT-NAME} O nome da sua implantação. Esse valor diferencia maiúsculas de minúsculas. prod

Resposta

Você receberá uma resposta 202 indicando que sua tarefa foi enviada com êxito. Nos cabeçalhos da resposta, extraia operation-location. operation-location é formatado da seguinte maneira:

{ENDPOINT}/language/analyze-text/jobs/{JOB-ID}?api-version={API-VERSION}

Você pode usar essa URL para consultar o status de conclusão da tarefa e obter os resultados quando a tarefa for concluída.

Obter resultados da tarefa

Use a solicitação GET a seguir para consultar status/resultados da tarefa de reconhecimento de entidade personalizada.

{ENDPOINT}/language/analyze-text/jobs/{JOB-ID}?api-version={API-VERSION}
Espaço reservado Valor Exemplo
{ENDPOINT} O ponto de extremidade para autenticação de sua solicitação de API. https://<your-custom-subdomain>.cognitiveservices.azure.com
{API-VERSION} A versão da API que você está chamando. O valor referenciado aqui é para a versão mais recente lançada. Consulte o Ciclo de vida do modelo para saber mais sobre outras versões de API disponíveis. 2022-05-01

Cabeçalhos

Chave Valor
Ocp-Apim-Subscription-Key Sua chave que fornece acesso a essa API.

Corpo da resposta

A resposta será um documento JSON com os seguintes parâmetros

{
  "createdDateTime": "2021-05-19T14:32:25.578Z",
  "displayName": "MyJobName",
  "expirationDateTime": "2021-05-19T14:32:25.578Z",
  "jobId": "xxxx-xxxx-xxxxx-xxxxx",
  "lastUpdateDateTime": "2021-05-19T14:32:25.578Z",
  "status": "succeeded",
  "tasks": {
    "completed": 1,
    "failed": 0,
    "inProgress": 0,
    "total": 1,
    "items": [
      {
        "kind": "EntityRecognitionLROResults",
        "taskName": "Recognize Entities",
        "lastUpdateDateTime": "2020-10-01T15:01:03Z",
        "status": "succeeded",
        "results": {
          "documents": [
            {
              "entities": [
                {
                  "category": "Event",
                  "confidenceScore": 0.61,
                  "length": 4,
                  "offset": 18,
                  "text": "trip"
                },
                {
                  "category": "Location",
                  "confidenceScore": 0.82,
                  "length": 7,
                  "offset": 26,
                  "subcategory": "GPE",
                  "text": "Seattle"
                },
                {
                  "category": "DateTime",
                  "confidenceScore": 0.8,
                  "length": 9,
                  "offset": 34,
                  "subcategory": "DateRange",
                  "text": "last week"
                }
              ],
              "id": "1",
              "warnings": []
            }
          ],
          "errors": [],
          "modelVersion": "2020-04-01"
        }
      }
    ]
  }
}

Limpar os recursos

Quando você não precisar mais do seu projeto, poderá excluí-lo com a seguinte solicitação de DELETE. Substitua os valores do espaço reservado pelos seus.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}?api-version={API-VERSION}
Espaço reservado Valor Exemplo
{ENDPOINT} O ponto de extremidade para autenticação de sua solicitação de API. https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} O nome do seu projeto. Esse valor diferencia maiúsculas de minúsculas. myProject
{API-VERSION} A versão da API que você está chamando. O valor referenciado aqui é para a versão mais recente lançada. Consulte o Ciclo de vida do modelo para saber mais sobre outras versões de API disponíveis. 2022-05-01

Cabeçalhos

Use o cabeçalho a seguir para autenticar sua solicitação.

Chave Valor
Ocp-Apim-Subscription-Key A chave para o recurso. Usado para autenticação de suas solicitações de API.

Depois de enviar a solicitação da API, você receberá uma resposta 202 indicando êxito, o que significa que o projeto foi excluído. Uma chamada bem-sucedida resulta em um cabeçalho Operation-Location usado para verificar o status do trabalho.

Próximas etapas

Depois de criar o modelo de extração de entidade, você pode:

Ao começar a criar seus próprios projetos de NER personalizados, use os artigos de instruções para saber mais sobre como marcar, treinar e consumir seu modelo com mais detalhes: