Присоединение ресурса azure AI с несколькими службами к набору навыков в службе "Поиск ИИ Azure"

При настройке необязательного конвейера обогащения ИИ в Службе поиска ИИ Azure можно расширить ограниченное количество документов бесплатно. Для более крупных и частых рабочих нагрузок необходимо присоединить оплачиваемый ресурс Azure AI с несколькими службами.

Ресурс с несколькими службами ссылается на набор служб ИИ Azure в качестве предложения, а не отдельных служб с доступом через один ключ API. Этот ключ указан в наборе навыков и позволяет корпорации Майкрософт взимать плату за использование этих служб:

• Azure AI Vision для анализа изображений и оптического распознавания символов (OCR)
• Язык ИИ Azure для обнаружения языка, распознавания сущностей, анализа тональности и извлечения ключевых фраз
• Речь ИИ Azure для преобразования речи в текст и текст в речь
• Azure AI Переводчик для машинного перевода текста

Совет

Azure предоставляет инфраструктуру для мониторинга выставления счетов и бюджетов. Дополнительные сведения о мониторинге служб ИИ Azure см. в статье "Планирование затрат и управление затратами на службы ИИ Azure".

Настройка ключа ресурса

Вы можете использовать портал Azure, REST API или пакет SDK Azure для подключения оплачиваемого ресурса к набору навыков.

Если свойство не указано, служба поиска пытается использовать бесплатные обогащения, доступные индексатору ежедневно. Выполнение оплачиваемых навыков останавливается на 20 транзакций на вызов индексатора, а в журнале выполнения индексатора отображается сообщение time Out.

Портал Azure

1. Войдите на портал Azure.

2. Создайте ресурс azure AI с несколькими службами в том же регионе, что и служба поиска.

3. Добавьте ключ в определение набора навыков:

   • При использовании мастера импорта данных введите ключ во втором шаге "Добавление обогащений ИИ".

   • При добавлении ключа в новый или существующий набор навыков укажите ключ на вкладке служб искусственного интеллекта Azure.

   

REST

1. Создайте ресурс azure AI с несколькими службами в том же регионе, что и служба поиска.

2. Создайте или обновите набор навыков, указав cognitiveServices раздел в тексте запроса набора навыков:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

Пакет SDK для .NET

Следующий фрагмент кода состоит из azure-search-dotnet-samples, обрезанный для краткости.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Удаление ключа

Обогащение — это оплачиваемые операции. Если вам больше не нужно вызывать службы ИИ Azure, следуйте этим инструкциям, чтобы удалить ключ с несколькими регионами и запретить использование внешнего ресурса. Без ключа набор навыков отменить изменения выделения по умолчанию 20 бесплатных транзакций на индексатор в день. Выполнение оплачиваемых навыков останавливается на 20 транзакций, а сообщение "Время ожидания" отображается в журнале выполнения индексатора при использовании выделения.

Портал Azure

1. Войдите в портал Azure и откройте страницу обзора службы поиска.

2. В разделе "Наборы навыков" выберите набор навыков, содержащий ключ, который требуется удалить.

   

3. Прокрутите страницу до конца файла.

4. Удалите ключ из JSON и сохраните набор навыков.

   

REST

1. Получите набор навыков, чтобы получить полное определение.

2. Сформулируйте запрос набора навыков обновления, предоставляя определение набора навыков в формате JSON.

3. Удалите ключ в тексте определения и отправьте запрос:

   PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
   api-key: [admin key]
   Content-Type: application/json
   {
       "name": "skillset name",
       "skills": 
       [
         {
           "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
           "categories": [ "Organization" ],
           "defaultLanguageCode": "en",
           "inputs": [
             {
               "name": "text", "source": "/document/content"
             }
           ],
           "outputs": [
             {
               "name": "organizations", "targetName": "organizations"
             }
           ]
         }
       ],
       "cognitiveServices": {
           "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
           "description": "mycogsvcs",
           "key": ""
       }
   }
   

   Кроме того, можно задать для cognitiveServices значение NULL:

   "cognitiveServices": null,
   

Использование ключа

Выставление счетов на основе ключей применяется, когда вызовы API к ресурсам служб ИИ Azure превышают 20 вызовов API на индексатор в день.

Ключ используется для выставления счетов, но не для подключений операций обогащения. Для подключений служба поиска подключается по внутренней сети к ресурсу служб искусственного интеллекта Azure, расположенному в том же физическом регионе. Большинство регионов, которые предлагают поиск по искусственному интеллекту Azure, также предлагают другие службы ИИ Azure, такие как язык. Если вы попытаетесь обогащение ИИ в регионе, который не имеет обеих служб, вы увидите следующее сообщение: "Предоставленный ключ не является допустимым ключом типа CognitiveServices для региона службы поиска".

В настоящее время выставление счетов за встроенные навыки требует общедоступного подключения из службы поиска ИИ Azure к другой службе ИИ Azure. Отключение выставления счетов за доступ к общедоступной сети. Если отключение общедоступных сетей является обязательным требованием, можно настроить навык пользовательского веб-API, реализованный с помощью функции Azure, которая поддерживает частные конечные точки и добавить ресурс служб ИИ Azure в ту же виртуальную сеть. Таким образом можно вызвать ресурс служб ИИ Azure непосредственно из пользовательского навыка с помощью частных конечных точек.

Примечание.

Некоторые встроенные навыки основаны на нерегионарных службах ИИ Azure (например, навык перевода текста). Использование нерегионированного навыка означает, что ваш запрос может обслуживаться в регионе, отличном от региона поиска ИИ Azure. Дополнительные сведения о нерегионарных службах см . на странице продуктов служб ИИ Azure по регионам .

Особые требования к ключевым требованиям

Поиск пользовательских сущностей измеряется службами поиска ИИ Azure, а не службами ИИ Azure, но требуется ключ ресурсов нескольких служб Azure для разблокировки транзакций за пределами 20 на индексатор в день. Только для этого навыка ключ ресурса разрешает использовать больше транзакций, но не используется при выставлении счетов.

Бесплатные обогащения

Обогащение искусственного интеллекта предлагает небольшое количество бесплатной обработки оплачиваемых обогащений, чтобы вы могли выполнить короткие упражнения, не подключив ресурс нескольких служб Azure AI. Бесплатные обогащения — это 20 документов в день, на индексатор. Индексатор можно сбросить, чтобы сбросить счетчик, если вы хотите повторить упражнение.

Некоторые обогащения всегда бесплатны:

• Служебные навыки, которые не вызывают службы ИИ Azure (а именно, условное извлечение документов, фигура, слияние текста и навыки разделения текста) не оплачиваются.

• Извлечение текста из PDF-документов и других файлов приложений не допускается. Извлечение текста, которое происходит во время взлома документа, не является обогащением ИИ, но происходит во время обогащения ИИ и таким образом отмечается здесь.

Оплачиваемые обогащения

Во время обогащения ИИ Поиск Azure вызывает API служб ИИ Azure для встроенных навыков, основанных на Azure AI Vision, Переводчик и языке ИИ Azure.

Оплачиваемые встроенные навыки, которые вызывают внутренние вызовы к службам ИИ Azure, включают связывание сущностей, распознавание сущностей, анализ изображений, извлечение ключевых фраз, обнаружение языка, OCR, обнаружение персональных данных (PII), тональность и перевод текста.

Извлечение изображений — это операция поиска ИИ Azure, которая возникает при взломе документов до обогащения. Извлечение изображений оплачивается на всех уровнях, за исключением 20 бесплатных ежедневных извлечения на бесплатном уровне. Стоимость извлечения изображений применяется к файлам изображений в BLOB-объектам, встроенным в файлы другого формата (например, PDF) и изображениям, извлеченным с помощью извлечения документов. Цены на извлечение изображений см. на странице цен на поиск в Azure AI.

Совет

Чтобы снизить стоимость обработки набора навыков, включите добавочное обогащение (предварительная версия), чтобы кэшировать и повторно использовать любые обогащения, на которые не повлияли внесенные в набор навыков изменения. Для кэширования требуется служба хранилища Azure(см. цены), но возможность повторно использовать существующие обогащения снизит совокупную стоимость выполнения набора навыков, особенно если в них используется извлечение и анализ изображений.

Пример. Оценка затрат

Чтобы оценить затраты, связанные с индексированием поиска ИИ Azure, начните с представления о том, как выглядит средний документ, чтобы можно было выполнить некоторые числа. Например, возможный приблизительный результат:

• 1000 файлов PDF.
• По шесть страниц каждый.
• По одному изображению на странице (6000 изображений).
• З000 символов на одну страницу.

Предположим, что конвейер состоит из распознавания каждого документа PDF, изображения и извлечения текста, оптического распознавания символов изображений (OCR), а также распознавания объектов организаций.

Представленные в этой статье цены являются гипотетическими. Они используются для демонстрации процесса оценки. Ваши затраты могут быть ниже. Сведения о фактической цене транзакций см. в ценах на службы искусственного интеллекта Azure.

1. Для открытия документа с содержимым в виде текста и изображения извлечение текста в настоящее время предоставляется бесплатно. Для 6000 изображений предполагается цена 1 долл. за каждые 1000 извлеченных изображений. Это стоимость 6,00 долл. для этого шага.

2. Для OCR 6000 образов на английском языке когнитивные навыки OCR используют наилучший алгоритм (DescribeText). При условии что 1000 изображений для анализа будет стоить 2,50 долл., вы выплатите 15,00 долл. за этот шаг.

3. Для извлечения объекта нужно всего три текстовые записи на страницу. (каждая запись — 1000 символов). Три текстовые записи на страницу умножены на 6000 страниц равны 18 000 текстовых записей. При тарифе 2,00 долл. за 1000 текстовых записей этот шаг будет стоить 36,00 долл.

Всего вы заплатите приблизительно 57,00 долл., чтобы принять 1000 документов PDF с указанным набором навыков.

Следующие шаги

• Страница цен на поиск в Azure AI
• Определение набора навыков
• Создание набора навыков (REST)
• Сопоставление обогащенных полей