Asociación de un recurso de varios servicios de Azure AI a un conjunto de aptitudes en Azure AI Search

Artículo
01/11/2024

Al configurar una canalización de enriquecimiento con IA opcional en Azure AI Search, se puede enriquecer un número limitado de documentos de forma gratuita. Para cargas de trabajo mayores y más frecuentes, debería adjuntar un recurso multiservicio facturable de Azure AI.

Un recurso de varios servicios hace referencia a un conjunto de servicios de Azure AI como oferta, en lugar de a servicios individuales, con acceso concedido a través de una sola clave de API. Esta clave se especifica en un conjunto de aptitudes y permite a Microsoft cobrarle por usar estos servicios:

Visión de Azure AI para el análisis de imágenes y el reconocimiento óptico de caracteres (OCR)
Lenguaje de Azure AI para la detección de idioma, el reconocimiento de entidades, el análisis de sentimiento y la extracción de frases clave
Voz de Azure AI para conversión de voz en texto y texto a voz
Traductor de Azure AI para la traducción automática de texto

Sugerencia

Azure proporciona infraestructura para supervisar la facturación y los presupuestos. Para más información sobre la supervisión de los servicios de Azure AI, consulte Planeamiento y administración de los costos de los servicios de Azure AI.

Establecimiento de la clave de recurso

Puede usar Azure Portal, la API REST o un SDK de Azure para asociar un recurso facturable a un conjunto de aptitudes.

Si deja la propiedad sin especificar, el servicio de búsqueda intenta usar los enriquecimientos gratuitos disponibles para el indizador diariamente. La ejecución de aptitudes facturables se detiene en 20 transacciones por invocación del indizador y aparece un mensaje de tiempo de espera agotado en el historial de ejecución del indizador.

Inicie sesión en Azure Portal.
Cree un recurso multiservicio de Azure AI en la misma región que su servicio de búsqueda.
Agregue la clave a la definición de un conjunto de aptitudes:
- Si utiliza el Asistente para la importación de datos, escriba la clave en el segundo paso, "Agregar enriquecimientos con IA".
- Si añade la clave a un conjunto de competencias nuevo o existente, facilite la clave en la pestaña Servicios de Azure AI.

Cree un recurso multiservicio de Azure AI en la misma región que su servicio de búsqueda.
Cree o actualice un conjunto de aptitudes. Para ello, especifique la sección cognitiveServices en el cuerpo de la solicitud del conjunto de aptitudes:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

El fragmento de código siguiente proviene de azure-search-dotnet-samples y se recortó para mayor brevedad.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Quitar la clave

Los enriquecimientos son operaciones facturables. Si ya no necesita llamar a los servicios de Azure AI, siga estas instrucciones para quitar la clave de varias regiones y evitar el uso del recurso externo. Sin la clave, el conjunto de aptitudes vuelve a la asignación predeterminada de 20 transacciones gratuitas por indizador, por día. La ejecución de aptitudes facturables se detiene en 20 transacciones y aparece un mensaje de tiempo de espera en el historial de ejecución del indizador cuando se usa la asignación.

Azure Portal
REST

Inicie sesión en Azure Portal y abra la página de Información general del servicio de búsqueda.
En Conjuntos de aptitudes, seleccione el conjunto de aptitudes que contiene la clave que desea quitar.
Desplácese hasta el final del archivo.
Quite la clave del JSON y guarde el conjunto de aptitudes.

Get Skillset para tener la definición completa.
Formule una solicitud Actualizar conjunto de aptitudes, proporcionando la definición JSON del conjunto de aptitudes.

Quite la clave en el cuerpo de la definición y envíe la solicitud:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": ""
    }
}

Como alternativa, puede establecer "cognitiveServices" en null:

"cognitiveServices": null,

Uso de la clave

La facturación basada en claves se aplica cuando las llamadas de API a los recursos de los servicios de Azure AI superan las 20 llamadas de API por indizador, al día.

La clave se usa para la facturación, pero no para las conexiones de las operaciones de enriquecimiento. En el caso de las conexiones, un servicio de búsqueda se conecta a través de la red interna a un recurso de servicios de Azure AI que se encuentra en la misma región física. La mayoría de las regiones que ofrecen Azure AI Search también ofrecen otros servicios de Azure AI, como Lenguaje. Si intenta usar el enriquecimiento con IA en una región que no tenga ambos servicios, verá este mensaje: "La clave proporcionada no es una clave de tipo CognitiveServices válida para la región del servicio de búsqueda".

Actualmente, la facturación de aptitudes integradas requiere una conexión pública desde Azure AI Search a otro servicio de Azure AI. Deshabilitar la facturación del acceso a la red pública interrumpe la facturación. Si deshabilitar las redes públicas es un requisito, puede configurar una aptitud de API web personalizada implementada con una Azure Function compatible con puntos de conexión privados y agregar el recurso de servicios de Azure AI a la misma red virtual. De este modo, puede llamar al recurso de servicios de Azure AI directamente desde la aptitud personalizada mediante puntos de conexión privados.

Nota:

Algunas aptitudes integradas se basan en servicios de Azure AI no regionales (por ejemplo, la aptitud de traducción de texto). El uso de una habilidad no regional implica que la solicitud podría ser atendida en una región distinta de la región de Azure AI Search. Para más información sobre los servicios no regionales, consulte la página de Servicios de Azure AI por región.

Casos especiales con requisitos clave

La búsqueda de entidades personalizada está medida por Azure AI Search, no por los servicios de Azure AI, pero requiere una clave de recurso multiservicio de Azure AI para desbloquear transacciones más allá de 20 por indizador, por día. Solo para esta aptitud, la clave de recurso desbloquea el número de transacciones, pero no está relacionada con la facturación.

Enriquecimientos gratuitos

El enriquecimiento con IA ofrece una pequeña cantidad de procesamiento gratuito de enriquecimientos facturables para que pueda completar ejercicios cortos sin tener que adjuntar un recurso multiservicio de Azure AI. Los enriquecimientos gratuitos son 20 documentos al día por cada indizador. Puede restablecer el indizador para restablecer el contador si desea repetir un ejercicio.

Algunos enriquecimientos siempre son gratuitos:

Las aptitudes de utilidad que no llaman a servicios de Azure AI (concretamente, las aptitudes Condicional, Extracción de documentos, Conformador, Combinación de texto y División de texto) no son facturables.
La extracción de texto de documentos PDF y otros archivos de aplicación no es facturable. La extracción de texto, que se produce durante el descifrado de documentos, no es un enriquecimiento con IA, pero se produce durante el enriquecimiento con IA y, por tanto, se indica aquí.

Enriquecimientos facturables

Durante el enriquecimiento con IA, Azure AI Search llama a las API de servicios de Azure AI para aptitudes integradas que se basan en Visión de Azure AI, Translator y Lenguaje de Azure AI.

Las aptitudes integradas facturables que hacen llamadas de back-end a servicios de Azure AI incluyen Vinculación de entidad, Reconocimiento de entidades, Análisis de imágenes, Extracción de frases clave, Detección de idioma, OCR, Detección de información de identificación personal (PII), Opinión y Traducción de texto.

La extracción de imágenes es una operación de Azure AI Search que se produce al descifrar documentos antes del enriquecimiento. La extracción de imágenes se factura en todos los niveles, a excepción de 20 extracciones diarias gratuitas en el nivel gratuito. Los costes de extracción de imágenes se aplican a los archivos de imagen dentro de blobs, a las imágenes insertadas en otros archivos (archivos PDF y otros archivos de aplicación) y a las imágenes extraídas mediante Extracción de documentos. Para ver los precios de la extracción de imágenes, consulte la página de precios de Azure AI Search.

Sugerencia

Para reducir el coste del procesamiento del conjunto de habilidades, habilite el enriquecimiento incremental (versión preliminar) para almacenar en caché y reutilizar cualquier enriquecimiento que no se vea afectado por los cambios realizados en un conjunto de habilidades. El almacenamiento en caché requiere Azure Storage (consulte los precios), pero el costo acumulado de la ejecución del conjunto de aptitudes es menor si se pueden reutilizar los enriquecimientos existentes, especialmente en los que usan extracción de imágenes y análisis.

Ejemplo: estimación de costos

Para calcular los costos asociados con la indexación de Azure AI Search, empiece con una idea de cómo debe verse un documento promedio para que pueda ejecutar algunos números. Un cálculo aproximado, por ejemplo, sería:

1000 archivos PDF.
Seis páginas cada uno.
Una imagen por página (6000 imágenes).
3000 caracteres por página.

Supongamos que hay una canalización que consta del descifrado de cada documento PDF con extracción de imágenes y texto, reconocimiento óptico de caracteres (OCR) de las imágenes y reconocimiento de entidad de las organizaciones.

Los precios mostrados en este artículo son hipotéticos. Se usan para ilustrar el proceso de estimación. Sus costos podrían ser más bajos. Para conocer el precio real de las transacciones, consulte Precios de los servicios de Azure AI.

Para el descifrado de documentos con contenido de texto e imagen, la extracción de texto actualmente es gratis. Para 6000 imágenes, suponga 1 USD por cada 1000 imágenes extraídas. Eso es un costo de 6 USD para este paso.
Para realizar el reconocimiento óptico de caracteres (OCR) de 6000 imágenes en inglés, la aptitud de reconocimiento de OCR usa el mejor algoritmo (DescribeText). Suponiendo un precio de 2,50 USD por cada 1000 imágenes que se analizan, tendríamos que pagar 15,00 USD en este paso.
Para la extracción de entidades, tendríamos un total de tres registros de texto por página. Cada registro tiene 1000 caracteres. Tres registros de texto por página multiplicados por 6000 páginas equivalen a 18 000 registros de texto. Suponiendo un costo de 2,00 USD por cada 1,000 registros de texto, en este paso tendríamos un costo de 36,00 USD.

En resumen, pagaría unos 57 USD por la ingesta de 1000 documentos PDF de este tipo con el conjunto de aptitudes descrito.