Присоединение ресурса azure AI с несколькими службами к набору навыков в службе "Поиск ИИ Azure"

При настройке дополнительного конвейера обогащения искусственного интеллекта в службе "Поиск ИИ Azure" можно расширить небольшое количество документов бесплатно, не более 20 транзакций ежедневно на индекс. Для более крупных и частых рабочих нагрузок необходимо присоединить оплачиваемый ресурс Azure AI с несколькими службами.

Учетная запись с несколькими службами предоставляет коллекцию служб ИИ Azure, а не отдельных служб. У учетной записи есть связанный ключ ресурса. Этот ключ указан в наборе навыков поиска ИИ Azure и позволяет корпорации Майкрософт взимать плату за использование этих служб:

• Azure AI Vision для анализа изображений, оптического распознавания символов (OCR) и многомодального текста и внедрения изображений.
• Язык ИИ Azure для обнаружения языка, распознавания сущностей, анализа тональности и извлечения ключевых фраз
• Речь ИИ Azure для преобразования речи в текст и текст в речь
• Azure AI Translator для машинного перевода текста

Ключ используется для выставления счетов, а не для подключений. Необходимо предоставить ключ в наборе навыков, даже если вы используете другие механизмы, такие как назначения ролей и управляемые удостоверения, в соединении.

Совет

Azure предоставляет инфраструктуру для мониторинга выставления счетов и бюджетов. Дополнительные сведения о мониторинге служб ИИ Azure см. в статье "Планирование затрат и управление затратами на службы ИИ Azure".

Получение ключа ресурса для учетной записи azure AI с несколькими службами

1. Войдите на портал Azure.

2. Создайте ресурс azure AI с несколькими службами в том же регионе, что и служба поиска.

3. Получите ключ ресурса на странице "Ключи ресурсов>" и "конечная точка".

Добавление ключа ресурса в набор навыков

Вы можете использовать портал Azure, REST API или пакет SDK Azure для добавления ключа в набор навыков.

Если свойство не указано, служба поиска пытается использовать бесплатные обогащения, доступные индексатору ежедневно. Выполнение оплачиваемых навыков останавливается на 20 транзакций на вызов индексатора, а в журнале выполнения индексатора отображается сообщение time Out.

Портал Azure

Добавьте ключ в определение набора навыков:

• При использовании мастера импорта данных создайте или выберите учетную запись ИИ Azure. Мастер добавляет ключ ресурса в определение набора навыков.

• Для нового или существующего набора навыков укажите ключ в определении набора навыков.

  

REST

1. Используйте API создания или обновления набора навыков, указав cognitiveServices раздел в тексте запроса:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

Пакет SDK для .NET

Следующий фрагмент кода состоит из azure-search-dotnet-samples, обрезанный для краткости.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Удаление ключа

Обогащение — это оплачиваемые операции. Если вам больше не нужно вызывать службы ИИ Azure, следуйте этим инструкциям, чтобы удалить ключ с несколькими службами и запретить использование внешнего ресурса. Без ключа набор навыков возвращается к выделению по умолчанию 20 бесплатных транзакций на индексатор в день. Выполнение оплачиваемых навыков останавливается на 20 транзакций, а сообщение "Время ожидания" отображается в журнале выполнения индексатора при использовании выделения.

Портал Azure

1. Войдите на портал Azure.

2. В разделе "Наборы навыков управления > поиском" выберите набор навыков из списка.

   

3. Прокрутите страницу до раздела в файле, содержаемом "cognitiveServices".

4. Удалите значение ключа из JSON и сохраните набор навыков.

   

REST

1. Получите набор навыков, чтобы получить полное определение.

2. Сформулируйте запрос набора навыков обновления, предоставляя определение набора навыков в формате JSON.

3. Удалите ключ в тексте определения и отправьте запрос:

   PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
   api-key: [admin key]
   Content-Type: application/json
   {
       "name": "skillset name",
       "skills": 
       [
         {
           "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
           "categories": [ "Organization" ],
           "defaultLanguageCode": "en",
           "inputs": [
             {
               "name": "text", "source": "/document/content"
             }
           ],
           "outputs": [
             {
               "name": "organizations", "targetName": "organizations"
             }
           ]
         }
       ],
       "cognitiveServices": {
           "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
           "description": "mycogsvcs",
           "key": ""
       }
   }
   

   Кроме того, можно задать для cognitiveServices значение NULL:

   "cognitiveServices": null,
   

Использование ключа

Выставление счетов на основе ключей применяется, когда вызовы API к ресурсам служб ИИ Azure превышают 20 вызовов API на индексатор в день. Индексатор можно сбросить для сброса количества API.

Ключ используется для выставления счетов, но не для подключений операций обогащения. Для подключений служба поиска подключается по внутренней сети к ресурсу служб искусственного интеллекта Azure, расположенному в том же физическом регионе. Большинство регионов, которые предлагают поиск по искусственному интеллекту Azure, также предлагают другие службы ИИ Azure, такие как язык. Если вы попытаетесь обогащение ИИ в регионе, который не имеет обеих служб, вы увидите следующее сообщение: "Предоставленный ключ не является допустимым ключом типа CognitiveServices для региона службы поиска".

В настоящее время выставление счетов за встроенные навыки требует общедоступного подключения из службы поиска ИИ Azure к другой службе ИИ Azure. Отключение выставления счетов за доступ к общедоступной сети. Если отключение общедоступных сетей является обязательным требованием, можно настроить навык пользовательского веб-API, реализованный с помощью функции Azure, которая поддерживает частные конечные точки и добавить ресурс служб ИИ Azure в ту же виртуальную сеть. Таким образом можно вызвать ресурс служб ИИ Azure непосредственно из пользовательского навыка с помощью частных конечных точек.

Примечание.

Некоторые встроенные навыки основаны на нерегионарных службах ИИ Azure (например, навык перевода текста). Использование нерегионированного навыка означает, что ваш запрос может обслуживаться в регионе, отличном от региона поиска ИИ Azure. Дополнительные сведения о нерегионарных службах см . на странице продуктов служб ИИ Azure по регионам .

Особые требования к ключевым требованиям

Поиск пользовательских сущностей измеряется службами поиска ИИ Azure, а не службами ИИ Azure, но требуется ключ ресурсов нескольких служб Azure для разблокировки транзакций за пределами 20 на индексатор в день. Только для этого навыка ключ ресурса разрешает использовать больше транзакций, но не используется при выставлении счетов.

Бесплатные обогащения

Обогащение искусственного интеллекта предлагает небольшое количество бесплатной обработки оплачиваемых обогащений, чтобы вы могли выполнить короткие упражнения, не подключив ресурс нескольких служб Azure AI. Бесплатные обогащения — это 20 документов в день, на индексатор. Индексатор можно сбросить, чтобы сбросить счетчик, если вы хотите повторить упражнение.

Некоторые обогащения всегда бесплатны:

• Служебные навыки, которые не вызывают службы ИИ Azure (а именно, условное извлечение документов, фигура, слияние текста и навыки разделения текста) не оплачиваются.

• Извлечение текста из PDF-документов и других файлов приложений не допускается. Извлечение текста, которое происходит во время взлома документа, не является обогащением ИИ, но происходит во время обогащения ИИ и таким образом отмечается здесь.

Оплачиваемые обогащения

Во время обогащения искусственного интеллекта Поиск Azure вызывает API служб ИИ Azure для встроенных навыков , основанных на Azure AI Vision, Переводчике и языке ИИ Azure.

Оплачиваемые встроенные навыки, которые вызывают внутренние вызовы к службам ИИ Azure, включают связывание сущностей, распознавание сущностей, анализ изображений, извлечение ключевых фраз, обнаружение языка, OCR, обнаружение персональных данных (PII), тональность и перевод текста.

Извлечение изображений — это операция поиска ИИ Azure, которая возникает при взломе документов до обогащения. Извлечение изображений оплачивается на всех уровнях, за исключением 20 бесплатных ежедневных извлечения на бесплатном уровне. Стоимость извлечения изображений применяется к файлам изображений в BLOB-объектам, встроенным в файлы другого формата (например, PDF) и изображениям, извлеченным с помощью извлечения документов. Цены на извлечение изображений см. на странице цен на поиск в Azure AI.

Совет

Чтобы снизить затраты на обработку набора навыков, включите добавочное обогащение для кэширования и повторного использования любых обогащений, не затронутых изменениями, внесенными в набор навыков. Для кэширования требуется служба хранилища Azure(см. цены), но возможность повторно использовать существующие обогащения снизит совокупную стоимость выполнения набора навыков, особенно если в них используется извлечение и анализ изображений.

Пример. Оценка затрат

Чтобы оценить затраты, связанные с индексированием поиска ИИ Azure, начните с представления о том, как выглядит средний документ, чтобы можно было выполнить некоторые числа. Например, возможный приблизительный результат:

• 1000 файлов PDF.
• По шесть страниц каждый.
• По одному изображению на странице (6000 изображений).
• З000 символов на одну страницу.

Предположим, что конвейер состоит из распознавания каждого документа PDF, изображения и извлечения текста, оптического распознавания символов изображений (OCR), а также распознавания объектов организаций.

Представленные в этой статье цены являются гипотетическими. Они используются для демонстрации процесса оценки. Ваши затраты могут быть ниже. Сведения о фактической цене транзакций см. в ценах на службы искусственного интеллекта Azure.

1. Для открытия документа с содержимым в виде текста и изображения извлечение текста в настоящее время предоставляется бесплатно. Для 6000 изображений предполагается цена 1 долл. за каждые 1000 извлеченных изображений. Это стоимость 6,00 долл. для этого шага.

2. Для OCR 6000 образов на английском языке когнитивные навыки OCR используют наилучший алгоритм (DescribeText). При условии что 1000 изображений для анализа будет стоить 2,50 долл., вы выплатите 15,00 долл. за этот шаг.

3. Для извлечения объекта нужно всего три текстовые записи на страницу. (каждая запись — 1000 символов). Три текстовые записи на страницу умножены на 6000 страниц равны 18 000 текстовых записей. При тарифе 2,00 долл. за 1000 текстовых записей этот шаг будет стоить 36,00 долл.

Всего вы заплатите приблизительно 57,00 долл., чтобы принять 1000 документов PDF с указанным набором навыков.

Следующие шаги

• Страница цен на поиск в Azure AI
• Определение набора навыков
• Создание набора навыков (REST)
• Сопоставление обогащенных полей