Anexar um recurso de vários serviços de IA do Azure a um conjunto de habilidades na IA do Azure Search

Artigo
01/11/2024

Ao configurar um pipeline de enriquecimento de IA na IA do Azure Search, você poderá enriquecer um número limitado de documentos gratuitamente. Para cargas de trabalho maiores e mais frequentes, anexe um recurso de vários serviços de IA do Azure faturável.

Um recurso multisserviço faz referência a um conjunto de serviços de IA do Azure como a oferta, em vez de serviços individuais, com acesso concedido por meio de uma única chave de API. Essa chave é especificada em um conjunto de habilidades e permite que a Microsoft cobre você por usar estes serviços:

Visão de IA do Azure para análise de imagem e OCR (reconhecimento óptico de caracteres)
Linguagem de IA do Azure para detecção de idioma, reconhecimento de entidade, análise de sentimentos e extração de frases-chave
Fala de IA do Azure para conversão de fala em texto e conversão de texto em fala
Tradutor de IA do Azure para tradução de texto do computador

Dica

O Azure fornece infraestrutura para monitorar a cobrança e os orçamentos. Para obter mais informações sobre como monitorar os serviços de IA do Azure, confira Planejar e gerenciar custos para os serviços de IA do Azure.

Definir a chave do recurso

Você pode usar o portal do Azure, a API REST ou um SDK do Azure para anexar um recurso faturável a um conjunto de habilidades.

Caso deixe a propriedade não especificada, seu serviço de pesquisa tenta usar os enriquecimentos gratuitos disponíveis para o indexador diariamente. A execução de habilidades faturáveis é parada em 20 transações por invocação do indexador, e uma mensagem “Tempo Limite Atingido” é exibida no histórico de execução do indexador.

Entre no portal do Azure.
Crie um recurso de vários serviços de IA do Azure na mesma região que seu serviço de pesquisa.
Adicione a chave a uma definição de conjunto de habilidades:
- Se estiver usando o assistente Importar dados, insira a chave na segunda etapa, "Adicionar enriquecimentos de IA".
- Caso adicione a chave a um conjunto de habilidades novo ou existente, forneça-a na guia de serviços de IA do Azure.

Crie um recurso de vários serviços de IA do Azure na mesma região que seu serviço de pesquisa.
Crie ou atualize um conjunto de habilidades especificando a seção cognitiveServices no corpo da solicitação do conjunto de habilidades:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

O snippet de código a seguir é de azure-search-dotnet-samples, cortado para ter brevidade.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Remova a chave

Enriquecimentos são operações faturáveis. Caso não precise mais chamar os serviços de IA do Azure, siga estas instruções para remover a chave de várias regiões e impedir o uso do recurso externo. Sem a chave, o conjunto de habilidades é revertido para a alocação padrão de 20 transações gratuitas por indexador, por dia. A execução de habilidades faturáveis é parada em 20 transações e uma mensagem "Tempo Limite Atingido" é exibida no histórico de execução do indexador quando a alocação é esgotada.

Portal do Azure
REST

Entre no portal do Azure e abra a página de Visão geral do serviço de pesquisa.
Em Conjuntos de Habilidades, selecione o conjunto de habilidades que contém a chave a ser removida.
Vá até o final do arquivo.
Remova a chave do JSON e salve o conjunto de habilidades.

Obtenha o Conjunto de Habilidades para ter a definição completa.
Formular uma solicitação do Conjunto de habilidades de atualização, fornecendo a definição JSON do conjunto de habilidades.

Remova a chave no corpo da definição e envie a solicitação:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": ""
    }
}

Como alternativa, defina “cognitiveServices” como nulo:

"cognitiveServices": null,

Como a chave é usada

A cobrança baseada em chave se aplica quando as chamadas de API para os recursos de serviços de IA do Azure excedem 20 chamadas de API por indexador, por dia.

A chave é usada para cobrança, mas não para conexões de operações de enriquecimento. Para conexões, um serviço de pesquisa se conecta pela rede interna a um recurso de serviços de IA do Azure localizado na mesma região física. A maioria das regiões que oferecem a IA do Azure Search também oferece outros serviços de IA do Azure, como Idioma. Se você tentar enriquecer o IA em uma região que não tem os dois serviços, verá esta mensagem: "A chave fornecida não é uma chave do tipo CognitiveServices válida para a região do seu serviço de pesquisa".

Atualmente, a cobrança por habilidades internas requer uma conexão pública de IA do Azure Search com outro serviço de IA do Azure. Desabilitar o acesso à rede pública interrompe a cobrança. Se desabilitar redes públicas for um requisito, você poderá configurar uma habilidade de API Web Personalizada implementada com uma Função do Azure que dá suporte a pontos de extremidade privados e adicionar o recurso de serviços de IA do Azure à mesma VNET. Dessa forma, é possível chamar o recurso de serviços de IA do Azure, diretamente da habilidade personalizada usando pontos de extremidade privados.

Observação

Algumas habilidades internas se baseiam em serviços de IA do Azure não regionais (por exemplo, a Habilidade de Tradução de Texto). Usar uma habilidade não regional significa que sua solicitação pode ser atendida em uma região diferente da região da IA do Azure Search. Para obter mais informações sobre serviços não regionais, confira a página Produtos de serviços de IA do Azure por região.

Casos especiais de requisitos de chave

A Pesquisa de entidade personalizada é medida pela IA do Azure Search, não pelos serviços de IA do Azure, mas requer uma chave de recurso de vários serviços da IA do Azure para desbloquear transações além de 20 por indexador, por dia. Somente para essa habilidade, a chave de recurso desbloqueia o número de transações, mas não está relacionada à cobrança.

Enriquecimentos gratuitos

O enriquecimento de IA oferece uma pequena quantidade de processamento gratuito de enriquecimentos faturáveis para que você possa concluir exercícios curtos sem precisar anexar um recurso de vários serviços de IA do Azure. Enriquecimentos gratuitos são 20 documentos por dia, por indexador. Você poderá redefinir o indexador para redefinir o contador, se quiser repetir um exercício.

Alguns enriquecimentos são sempre gratuitos:

As habilidades do utilitário que não chamam os serviços de IA do Azure (ou seja, Condicional, Extração do Documento, Formador, Mesclagem de Texto e Divisão de Texto) não são faturáveis.
A extração de texto de documentos PDF e outros arquivos de aplicativo não é faturável. A extração de texto, que ocorre durante a quebra do documento, não é um enriquecimento de IA, mas ocorre durante o enriquecimento de IA e, portanto, é notada aqui.

Enriquecimentos faturáveis

Durante o enriquecimento de IA, a IA do Azure Search chama as APIs de serviços de IA do Azure para habilidades integradas que são baseadas na Visão de IA do Azure, Tradutor e Linguagem de IA do Azure.

Habilidades integradas faturáveis que fazem chamadas de back-end para os serviços de IA do Azure incluem Vinculação de Entidade, Reconhecimento de Entidade, Análise de Imagem, Extração de Frases-chave, Detecção de Idioma, OCR, Detecção de PII (Informações de identificação pessoal), Sentimento e Tradução de Texto.

A extração de imagem é uma operação de IA do Azure Search que ocorre quando os documentos são decifrados antes do enriquecimento. A extração de imagens é cobrada em todas as camadas, com exceção de 20 extrações diárias gratuitas na camada gratuita. Os custos de extração de imagem se aplicam a arquivos de imagem dentro de blobs, imagens inseridas em outros arquivos (PDF e outros arquivos de aplicativo) e para imagens extraídas usando através da Extração de Documentos. Para p preço da extração de imagem, consulte a Página de preços da IA do Azure Search.

Dica

Para reduzir o custo do processamento do conjunto de habilidades, habilite o enriquecimento incremental (versão prévia) para armazenar em cache e reutilizar os enriquecimentos que não são afetados pelas alterações feitas em um conjunto de habilidades. O cache requer o Armazenamento do Microsoft Azure (consulte preços, mas o custo cumulativo da execução do conjunto de habilidades será menor se os enriquecimentos existentes puderem ser reutilizados, especialmente para os conjunto de habilidades que usam extração e análise de imagem.

Exemplo: Estimar custos

Para estimar os custos associados à indexação de IA do Azure Search, comece com uma ideia de como é um documento comum de modo que você possa realizar alguns cálculos. Por exemplo, você pode aproximar:

1.000 PDFs.
Seis páginas cada.
Uma imagem por página (6 mil imagens).
3 mil caracteres por página.

Suponha um pipeline que consiste em quebra de documento de cada PDF, extração de imagem e texto, reconhecimento óptico de caracteres (OCR) de imagens e reconhecimento de entidade de organizações.

Os preços mostrados neste artigo são hipotéticos. Eles são usados para ilustrar o processo de estimativa. Seus custos podem ser menores. Para obter o preço real das transações, consulte Preços de serviços de IA do Azure.

Para decifração de documento com conteúdo de texto e imagem, a extração de texto atualmente é gratuita. Para 6 mil imagens, suponha $1 para cada 1.000 imagens extraídas. Esse é um custo de $6 para esta etapa.
Para OCR de 6.000 imagens em inglês, a habilidade cognitiva do OCR usa o melhor algoritmo (DescribeText). Supondo um custo de US$ 2,50 por 1.000 imagens a serem analisadas, pagaríamos US$ 15,00 para essa etapa.
Para extração de entidades, você teria um total de três registros de texto por página. Cada registro tem 1.000 caracteres. Três registros de texto por página multiplicados por 6 mil páginas = 18 mil registros de texto. Supondo US$ 2,00 por 1.000 registros de texto, essa etapa custaria US$36,00.

Juntando as peças, pagaríamos cerca de US$ 57,00 para ingerir 1.000 documentos PDF dessa natureza com o conjunto de habilidades descrito.