Anexar um recurso multisserviço de IA do Azure a um conjunto de habilidades na Pesquisa de IA do Azure

Ao configurar um pipeline de enriquecimento de IA opcional no Azure AI Search, você pode enriquecer um número limitado de documentos gratuitamente. Para cargas de trabalho maiores e mais frequentes, você deve anexar um recurso multisserviço faturável do Azure AI.

Um recurso multisserviço faz referência a um conjunto de serviços de IA do Azure como oferta, em vez de serviços individuais, com acesso concedido por meio de uma única chave de API. Essa chave é especificada em um conjunto de habilidades e permite que a Microsoft cobre pelo uso destes serviços:

• Azure AI Vision para análise de imagem e reconhecimento ótico de caracteres (OCR)
• Azure AI Language para deteção de idioma, reconhecimento de entidade, análise de sentimento e extração de frases-chave
• Azure AI Speech para fala para texto e texto para fala
• Azure AI Translator para tradução automática de texto

Gorjeta

O Azure fornece infraestrutura para você monitorar a cobrança e os orçamentos. Para obter mais informações sobre como monitorar os serviços de IA do Azure, consulte Planejar e gerenciar custos para serviços de IA do Azure.

Definir a chave de recurso

Você pode usar o portal do Azure, a API REST ou um SDK do Azure para anexar um recurso faturável a um conjunto de habilidades.

Se você deixar a propriedade não especificada, seu serviço de pesquisa tentará usar os enriquecimentos gratuitos disponíveis para seu indexador diariamente. A execução de habilidades faturáveis para em 20 transações por invocação do indexador e uma mensagem "Time out" aparece no histórico de execução do indexador.

Portal do Azure

1. Inicie sessão no portal do Azure.

2. Crie um recurso multisserviço do Azure AI na mesma região do seu serviço de pesquisa.

3. Adicione a chave a uma definição de conjunto de competências:

   • Se estiver usando o assistente Importar dados, insira a chave na segunda etapa, "Adicionar enriquecimento de IA".

   • Se estiver adicionando a chave a um conjunto de habilidades novo ou existente, forneça a chave na guia Serviços de IA do Azure.

   

REST

1. Crie um recurso multisserviço do Azure AI na mesma região do seu serviço de pesquisa.

2. Crie ou atualize um conjunto de habilidades, especificando cognitiveServices a seção no corpo da solicitação do conjunto de habilidades:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

SDK do .NET

O trecho de código a seguir é de azure-search-dotnet-samples, cortado para brevidade.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Remova a chave

Os enriquecimentos são operações faturáveis. Se você não precisar mais chamar os serviços de IA do Azure, siga estas instruções para remover a chave de várias regiões e impedir o uso do recurso externo. Sem a chave, o conjunto de habilidades reverte para a alocação padrão de 20 transações gratuitas por indexador, por dia. A execução de habilidades faturáveis para em 20 transações e uma mensagem "Time out" aparece no histórico de execução do indexador quando a alocação é esgotada.

Portal do Azure

1. Entre no portal do Azure e abra a página Visão geral do serviço de pesquisa.

2. Em Conjuntos de habilidades, selecione o conjunto de habilidades que contém a chave que você deseja remover.

   

3. Desloque-se para o final do ficheiro.

4. Remova a chave do JSON e salve o conjunto de habilidades.

   

REST

1. Obtenha o Skillset para que você tenha a definição completa.

2. Formule uma solicitação de Update Skillset , fornecendo a definição JSON do conjunto de habilidades.

3. Remova a chave no corpo da definição e envie a solicitação:

   PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
   api-key: [admin key]
   Content-Type: application/json
   {
       "name": "skillset name",
       "skills": 
       [
         {
           "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
           "categories": [ "Organization" ],
           "defaultLanguageCode": "en",
           "inputs": [
             {
               "name": "text", "source": "/document/content"
             }
           ],
           "outputs": [
             {
               "name": "organizations", "targetName": "organizations"
             }
           ]
         }
       ],
       "cognitiveServices": {
           "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
           "description": "mycogsvcs",
           "key": ""
       }
   }
   

   Como alternativa, você pode definir "cognitiveServices" como null:

   "cognitiveServices": null,
   

Como a chave é usada

A cobrança baseada em chave se aplica quando as chamadas de API para recursos de serviços de IA do Azure excedem 20 chamadas de API por indexador, por dia.

A chave é usada para faturamento, mas não para conexões de operações de enriquecimento. Para conexões, um serviço de pesquisa se conecta pela rede interna a um recurso de serviços de IA do Azure localizado na mesma região física. A maioria das regiões que oferecem o Azure AI Search também oferece outros serviços de IA do Azure, como o Language. Se você tentar enriquecimento de IA em uma região que não tenha os dois serviços, verá esta mensagem: "A chave fornecida não é uma chave de tipo CognitiveServices válida para a região do seu serviço de pesquisa".

Atualmente, a cobrança de habilidades internas requer uma conexão pública da Pesquisa de IA do Azure para outro serviço de IA do Azure. A desativação do acesso à rede pública interrompe a faturação. Se desabilitar redes públicas for um requisito, você poderá configurar uma habilidade de API Web personalizada implementada com uma Função do Azure que ofereça suporte a pontos de extremidade privados e adicionar o recurso de serviços de IA do Azure à mesma VNET. Dessa forma, você pode chamar o recurso de serviços de IA do Azure diretamente da habilidade personalizada usando pontos de extremidade privados.

Nota

Algumas habilidades internas são baseadas em serviços não regionais de IA do Azure (por exemplo, a Habilidade de Tradução de Texto). Usar uma habilidade não regional significa que sua solicitação pode ser atendida em uma região diferente da região Azure AI Search. Para obter mais informações sobre serviços não regionais, consulte a página do produto de serviços de IA do Azure por região .

Principais requisitos casos especiais

A Pesquisa de Entidade Personalizada é medida pelo Azure AI Search, não pelos serviços de IA do Azure, mas requer uma chave de recurso multisserviço do Azure AI para desbloquear transações além de 20 por indexador, por dia. Apenas para essa habilidade, a chave de recurso desbloqueia o número de transações, mas não está relacionada ao faturamento.

Enriquecimento gratuito

O enriquecimento de IA oferece uma pequena quantidade de processamento gratuito de enriquecimentos faturáveis para que você possa concluir exercícios curtos sem ter que anexar um recurso multisserviço de IA do Azure. Os enriquecimentos gratuitos são 20 documentos por dia, por indexador. Você pode redefinir o indexador para redefinir o contador se quiser repetir um exercício.

Alguns enriquecimentos são sempre gratuitos:

• As habilidades de utilidade que não chamam os serviços de IA do Azure (ou seja, habilidades Condicionais, Extração de Documentos, Shaper, Mesclagem de Texto e Divisão de Texto) não são faturáveis.

• A extração de texto de documentos PDF e outros arquivos de aplicativos não pode ser faturável. A extração de texto, que ocorre durante a quebra de documentos, não é um enriquecimento de IA, mas ocorre durante o enriquecimento de IA e, portanto, é notada aqui.

Enriquecimento faturável

Durante o enriquecimento de IA, o Azure AI Search chama as APIs de serviços de IA do Azure para habilidades internas baseadas no Azure AI Vision, no Translator e na Linguagem de IA do Azure.

As habilidades internas faturáveis que fazem chamadas de back-end para os serviços de IA do Azure incluem Vinculação de Entidade, Reconhecimento de Entidade, Análise de Imagem, Extração de Frases-Chave, Deteção de Idioma, OCR, Deteção de Informações de Identificação Pessoal (PII), Sentimento e Tradução de Texto.

A extração de imagem é uma operação de Pesquisa de IA do Azure que ocorre quando os documentos são quebrados antes do enriquecimento. A extração de imagens é faturável em todos os níveis, exceto para 20 extrações diárias gratuitas no nível gratuito. Os custos de extração de imagem aplicam-se a arquivos de imagem dentro de blobs, imagens incorporadas em outros arquivos (PDF e outros arquivos de aplicativo) e para imagens extraídas usando a Extração de Documentos. Para obter preços de extração de imagem, consulte a página de preços do Azure AI Search.

Gorjeta

Para reduzir o custo de processamento do conjunto de habilidades, habilite o enriquecimento incremental (visualização) para armazenar em cache e reutilizar quaisquer enriquecimentos que não sejam afetados pelas alterações feitas em um conjunto de habilidades. O cache requer o Armazenamento do Azure (consulte preços, mas o custo cumulativo da execução do conjunto de habilidades é menor se os enriquecimentos existentes puderem ser reutilizados, especialmente para conjuntos de habilidades que usam extração e análise de imagens.

Exemplo: Estimar custos

Para estimar os custos associados à indexação do Azure AI Search, comece com uma ideia da aparência de um documento médio para que você possa executar alguns números. Por exemplo, você pode aproximar:

• 1.000 PDFs.
• Seis páginas cada.
• Uma imagem por página (6.000 imagens).
• 3.000 caracteres por página.

Suponha um pipeline que consiste em quebra de documentos de cada PDF, extração de imagem e texto, reconhecimento ótico de caracteres (OCR) de imagens e reconhecimento de entidades de organizações.

Os preços apresentados neste artigo são hipotéticos. Eles são usados para ilustrar o processo de estimativa. Os seus custos podem ser mais baixos. Para obter o preço real das transações, consulte Preços dos serviços de IA do Azure.

1. Para quebra de documentos com conteúdo de texto e imagem, a extração de texto é atualmente gratuita. Para 6.000 imagens, assuma $1 para cada 1.000 imagens extraídas. Esse é um custo de US $ 6,00 para esta etapa.

2. Para OCR de 6.000 imagens em inglês, a habilidade cognitiva OCR usa o melhor algoritmo (DescribeText). Supondo um custo de US $ 2,50 por 1.000 imagens a serem analisadas, você pagaria US $ 15,00 por esta etapa.

3. Para extração de entidade, você teria um total de três registros de texto por página. Cada registro tem 1.000 caracteres. Três registos de texto por página multiplicados por 6 000 páginas equivalem a 18 000 registos de texto. Supondo US $ 2,00 por 1.000 registros de texto, essa etapa custaria US $ 36,00.

Juntando tudo, você pagaria cerca de US $ 57,00 para ingerir 1.000 documentos PDF desse tipo com o conjunto de habilidades descrito.

Próximos passos

• Página de preços do Azure AI Search
• Como definir um conjunto de competências
• Criar conjunto de habilidades (REST)
• Como mapear campos enriquecidos