Attacher une ressource multiservices Azure AI à un ensemble de compétences dans Azure AI Search

Lorsque vous configurez un pipeline d’enrichissement par IA dans Azure AI Search, vous pouvez enrichir un nombre limité de documents gratuitement. Pour les charges de travail plus volumineuses et plus fréquentes, vous devez attacher une ressource multiservices Azure AI.

Une ressource multiservices fait référence à un ensemble de services Azure AI comme offre, plutôt qu’à des services individuels, avec un accès accordé via une seule clé API. Cette clé est spécifiée dans un ensemble de compétences et permet à Microsoft de vous facturer l’utilisation de ces services :

• Azure AI Vision pour l’analyse d’images et la reconnaissance optique de caractères (OCR)
• Azure AI Language pour la détection de langage, la reconnaissance d’entité, l’analyse des sentiments et l’extraction d’expressions clés
• Azure AI Speech pour la reconnaissance vocale et la synthèse vocale
• Azure AI Traducteur pour la traduction de texte de l’ordinateur

Conseil

Azure propose une infrastructure pour contrôler la facturation et les budgets. Pour plus d’informations sur la surveillance des services Azure AI, consultez Planifier et gérer les coûts des services Azure AI.

Définir la clé de ressource

Vous pouvez utiliser le portail Microsoft Azure, l’API REST ou un kit de développement logiciel (SDK) Azure pour attacher une ressource facturable à un ensemble de compétences.

Si vous laissez la propriété non spécifiée, votre service de recherche tente d’utiliser quotidiennement les enrichissements gratuits disponibles pour votre indexeur. L’exécution de compétences facturables s’arrête à 20 transactions par appel d’indexeur et un message « Délai d’attente » s’affiche dans l’historique d’exécution de l’indexeur.

Azure portal

1. Connectez-vous au portail Azure.

2. Créez une ressource multiservices Azure AI dans la même région que votre service de recherche.

3. Ajoutez la clé à une définition d’ensemble de compétences :

   • Si vous utilisez l'assistant iIportation de données, entrez la clé à la deuxième étape, « Ajouter des enrichissements par IA ».

   • Si vous ajoutez la clé à un nouvel ensemble de compétences ou à un ensemble de compétences existant, indiquez la clé sous l’onglet services Azure AI.

   

REST

1. Créez une ressource multiservices Azure AI dans la même région que votre service de recherche.

2. Créez ou mettez à jour un ensemble de compétences, en spécifiant la section cognitiveServices dans le corps de la demande d’ensemble de compétences :

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

Kit de développement logiciel (SDK) .NET

L’extrait de code suivant provient de azure-search-dotnet-samples, ajusté par souci de concision.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Supprimer la clé

Les enrichissements sont des opérations facturables. Si vous n’avez plus besoin d’appeler des services Azure AI, suivez ces instructions pour supprimer la clé multirégion et empêcher l’utilisation de la ressource externe. Sans la clé, l’ensemble de compétences rétablit l’allocation par défaut de 20 transactions gratuites par indexeur, par jour. L’exécution de compétences facturables s’arrête à 20 transactions et un message «expiration du délai d’attente » s’affiche dans l’historique d’exécution de l’indexeur lorsque l’allocation est utilisée.

Azure portal

1. Connectez-vous au portail Azure et ouvrez la page Vue d’ensemble du service de recherche.

2. Sous ensembles de compétences, sélectionnez l’ensemble de compétences contenant la clé à supprimer.

   

3. Faites défiler jusqu’à la fin du fichier.

4. Supprimez la clé du JSON et enregistrez l’ensemble de compétences.

   

REST

1. Obtenez l’ensemble de compétences pour que vous ayez la définition complète.

2. Formulez une requête Mettre à jour un ensemble de compétences , en fournissant la définition JSON de l’ensemble de compétences.

3. Supprimez la clé dans le corps de la définition, puis envoyez la requête :

   PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
   api-key: [admin key]
   Content-Type: application/json
   {
       "name": "skillset name",
       "skills": 
       [
         {
           "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
           "categories": [ "Organization" ],
           "defaultLanguageCode": "en",
           "inputs": [
             {
               "name": "text", "source": "/document/content"
             }
           ],
           "outputs": [
             {
               "name": "organizations", "targetName": "organizations"
             }
           ]
         }
       ],
       "cognitiveServices": {
           "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
           "description": "mycogsvcs",
           "key": ""
       }
   }
   

   Vous pouvez également définir « cognitiveServices » sur null :

   "cognitiveServices": null,
   

Utilisation de la clé

La facturation basée sur des clés s’applique lorsque les appels d’API aux ressources des services Azure AI dépassent 20 appels d’API par indexeur, par jour.

La clé est utilisée pour la facturation, mais pas pour les connexions des opérations d’enrichissement. Pour les connexions, un service de recherche se connecte via le réseau interne à une ressource de services Azure AI située dans la même région physique. La plupart des régions qui offrent Azure AI Search offrent également d’autres services Azure AI tels que Langage. Si vous essayez l’enrichissement par IA dans une région qui ne présente pas les deux services, le message suivant s’affiche : « La clé fournie n’est pas une clé de type CognitiveServices valide pour la région de votre service de recherche ».

Actuellement, la facturation de compétences intégrées nécessite une connexion publique d’Azure AI Search à un autre service Azure AI. La désactivation de la facturation de l’accès au réseau public interrompt la facturation. Si la désactivation des réseaux publics est requise, vous pouvez configurer une compétence d’API web personnalisée implémentée avec un Azure Function prenant en charge points de terminaison privés et ajouter la ressource services Azure AI au même réseau virtuel. De cette façon, vous pouvez appeler la ressource des services Azure AI directement à partir de la compétence personnalisée à l’aide de points de terminaison privés.

Remarque

Certaines compétences intégrées sont basées sur des services Azure AI non régionaux (par exemple, la compétence de traduction de texte ). L’utilisation d’une compétence non régionale signifie que votre requête peut être prise en charge dans une région autre que la région Azure AI Search. Pour plus d’informations sur les services non régionaux, consultez la page produit par région des services Azure AI.

Cas particuliers pour les exigences de clé

La recherche d’entité personnalisée est mesurée par Azure AI Search, et non par les services Azure AI, mais elle nécessite une clé de ressource multiservices Azure AI pour déverrouiller les transactions au-delà de 20 par indexeur, par jour. Pour cette compétence uniquement, même si la clé de ressource permet de débloquer le nombre de transactions, elle n’est pas liée à la facturation.

Enrichissements libres

L’enrichissement par IA offre une petite quantité de traitement libre d’enrichissements facturables, ce qui vous permet d’effectuer des opérations courtes sans avoir à joindre une ressource multi-service Azure AI . Les enrichissements libres sont de 20 documents par jour, par indexeur. Vous pouvez réinitialiser l’indexeur pour réinitialiser le compteur si vous souhaitez répéter une opération.

Certains enrichissements sont toujours gratuits :

• Les compétences utilitaires qui n’appellent pas les services Azure AI (à savoir, conditionnel, extraction de documents, Modélisateur, fusion de texteet compétences de fractionnement de texte) ne sont pas facturables.

• L’extraction de texte à partir de documents PDF et d’autres fichiers d’application n’est pas facturable. L’extraction de texte, qui se produit pendant le craquage du document, n’est pas un enrichissement par IA, mais elle se produit lors de l’enrichissement par IA et est donc notée ici.

Enrichissements facturables

Pendant l’enrichissement par IA, Azure AI Search appelle les API des services Azure AI pour compétences intégrées basées sur Azure AI Vision, Translator et Azure AI Language.

Les compétences intégrées facturables qui effectuent des appels principaux aux services Azure AI incluent la liaison d’entités, la reconnaissance d’entité, l’Analyse des images, l’extraction d’expressions clés, la Détection de langue, l’OCR, la détection d’informations d’identification personnelle (PII), le Sentimentet la traduction de texte.

L’extraction d’images est une opération de Azure AI Search qui se produit lorsque les documents sont décodés avant l’enrichissement. L’extraction d’images est facturable pour tous les niveaux, sauf pour les 20 extractions quotidiennes gratuites du niveau Gratuit. Les coûts d’extraction d’images s’appliquent aux fichiers image contenus dans les objets blob, aux images incorporées dans d’autres fichiers (fichiers PDF et autres fichiers d’application) ainsi qu’aux images extraites à l’aide de l’extraction de documents. Pour connaître les prix appliqués à l’extraction d’images, voir la page de tarification du service Azure AI Search.

Conseil

Pour réduire le coût du traitement des ensembles de compétences, activez l’enrichissement incrémentiel (préversion) afin de mettre en cache et de réutiliser les enrichissements non affectés par les changements apportés à un ensemble de compétences. La mise en cache nécessite Stockage Azure (consultez les tarifs). Toutefois, le coût cumulé de l’exécution des ensembles de compétences est moindre si les enrichissements existants peuvent être réutilisés, en particulier pour les ensembles de compétences qui utilisent l’analyse et l’extraction d’images.

Exemple : Estimer les coûts

Pour estimer les coûts associés à l’indexation Azure AI Search, commencez par une idée de l’apparence d’un document moyen afin de pouvoir exécuter des nombres. Par exemple, vous pourriez faire une approximation :

• 1 000 fichiers PDF.
• Six pages par fichier.
• Une image par page (6 000 images).
• 3 000 caractères par page.

Supposons un pipeline consistant en un craquage de document PDF, une extraction d’image et de texte, une reconnaissance optique de caractères (OCR) d’images, et une reconnaissance d’entités d’organisations.

Les prix indiqués dans cet article sont hypothétiques. Ils sont utilisés pour illustrer le processus d’estimation. Vos coûts peuvent être inférieurs. Pour connaître le prix réel des transactions, consultez latarification des services Azure AI.

1. Pour le décodage de documents avec contenu de texte et d’image, l’extraction de texte est actuellement gratuite. Pour 6 000 images, supposez un prix de 1 USD pour chaque tranche de 1 000 images extraites. Cela revient à un coût de 6,00 USD pour cette étape.

2. Pour la reconnaissance optique de caractères (OCR) de 6 000 images en anglais, la qualification cognitive OCR utilise le meilleur algorithme (DescribeText). À raison de 2,50 $ par lot de 1 000 images à analyser, cette étape vous coûterait 15 $.

3. Pour l’extraction d’entité, vous auriez un total de trois enregistrements texte par page. Chaque enregistrement contient 1 000 caractères. Trois enregistrements texte par page multipliés par 6 000 pages équivalent à 18 000 enregistrements texte. À raison de 2 $ par lot de 1 000 enregistrements texte, cette étape vous coûterait 36 $.

En additionnant tout cela, l’ingestion de 1 000 documents PDF de ce type avec l’ensemble de qualifications décrit vous reviendrait à environ 57 USD.

Étapes suivantes

• Page de tarification d’Azure AI Search
• Guide pratique pour définir un ensemble de compétences
• Créer un jeu de compétences (REST)
• Guide pratique pour mapper des champs enrichis