Поделиться через

Реализация интегрированной векторизации с помощью моделей из Azure AI Studio

  • Статья

Внимание

Эта функция предоставляется в общедоступной предварительной версии, и к ней применяются дополнительные Условия использования. REST API 2024-05-01-Preview поддерживает эту функцию.

В этой статье вы узнаете, как получить доступ к моделям внедрения в каталог моделей Azure AI Studio для преобразования векторов во время индексирования и запросов в поиске ИИ Azure.

Рабочий процесс включает этапы развертывания модели. Каталог моделей включает в себя внедрение моделей из Azure OpenAI, Cohere, Facebook и OpenAI. Развертывание модели оплачивается по структуре выставления счетов каждого поставщика.

После развертывания модели его можно использовать для интегрированной векторизации во время индексирования или с векторизатором AI Studio для запросов.

Развертывание модели внедрения из каталога моделей Azure AI Studio

  1. Откройте каталог моделей Azure AI Studio.

  2. Примените фильтр, чтобы отобразить только модели внедрения. В разделе задач вывода выберите "Внедрение":

    Снимок экрана: страница каталога моделей Azure AI Studio с выделением способа фильтрации путем внедрения моделей.

  3. Выберите модель, с помощью векторизируемой содержимого. Затем нажмите кнопку "Развернуть " и выберите вариант развертывания.

    Снимок экрана: развертывание конечной точки с помощью каталога моделей Azure AI Studio.

  4. Укажите запрошенные сведения. Выберите или создайте проект ИИ, а затем нажмите кнопку "Развернуть". Сведения о развертывании зависят от выбранной модели.

  5. Дождитесь завершения развертывания модели, отслеживая состояние подготовки. Он должен измениться с "Подготовка" на "Обновление" на "Успешно". Чтобы просмотреть обновление состояния, может потребоваться выбрать "Обновить " каждые несколько минут.

  6. Скопируйте URL-адрес, первичный ключ и поля идентификатора модели и установите их в сторону позже. Эти значения требуются для определения векторизатора в индексе поиска и набора навыков, вызывающего конечные точки модели во время индексирования.

    При необходимости можно изменить конечную точку, чтобы использовать проверку подлинности маркера вместо проверки подлинности ключа. Если вы включите проверку подлинности маркеров, необходимо скопировать ТОЛЬКО URL-адрес и идентификатор модели, а также запишите регион, в котором развертывается модель.

    Снимок экрана: развернутая конечная точка в AI Studio, в котором выделены поля для копирования и сохранения в дальнейшем.

  7. Теперь можно настроить индекс поиска и индексатор для использования развернутой модели.

Пример полезных данных навыка AML

При развертывании моделей внедрения из каталога моделей Azure AI Studio вы подключаетесь к ним с помощью навыка AML в поиске ИИ Azure для индексирования рабочих нагрузок.

В этом разделе описаны определения навыка AML и сопоставления индексов. Он включает примеры полезных данных, которые уже настроены для работы с соответствующими развернутыми конечными точками. Дополнительные технические сведения о работе этих полезных данных см. в разделе о контексте навыка и языке заметок ввода.

Эта полезные данные навыка AML работает со следующими моделями из AI Studio:

  • OpenAI-C пакет интерфейса пользователя-Image-Text-Embeddings-vit-base-patch32
  • OpenAI-C пакет интерфейса пользователя-Image-Text-Embeddings-ViT-Large-Patch14-336

Предполагается, что вы фрагментируете содержимое с помощью навыка разделения текста и что текст, векторизированный находится в /document/pages/* пути. Если текст поступает из другого пути, обновите все ссылки на /document/pages/* путь соответствующим образом.

URI и ключ создаются при развертывании модели из каталога. Дополнительные сведения об этих значениях см. в статье "Развертывание больших языковых моделей с помощью Azure AI Studio".

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "{YOUR_MODEL_URL_HERE}",
  "key": "{YOUR_MODEL_KEY_HERE}",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/pages/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[['', $(/document/pages/*)]]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "text_features"
    }
  ]
}

Пример полезных данных векторизатора AI Studio

Векторизатор AI Studio, в отличие от навыка AML, предназначен для работы только с теми моделями внедрения, которые можно развернуть с помощью каталога моделей AI Studio. Основное отличие заключается в том, что вам не нужно беспокоиться о полезных данных запроса и ответа, но вам нужно предоставить modelNameидентификатор модели, который соответствует идентификатору модели, скопированной после развертывания модели в AI Studio.

Ниже приведен пример полезных данных о настройке векторизатора в определении индекса с учетом свойств, скопированных из AI Studio.

Для моделей Cohere не следует добавлять /v1/embed путь к концу URL-адреса, как это было с навыком.

"vectorizers": [
    {
        "name": "{YOUR_VECTORIZER_NAME_HERE}",
        "kind": "aml",
        "amlParameters": {
            "uri": "{YOUR_URL_HERE}",
            "key": "{YOUR_PRIMARY_KEY_HERE}",
            "modelName": "{YOUR_MODEL_ID_HERE}"
        },
    }
]

Подключение с помощью проверки подлинности маркера

Если вы не можете использовать проверку подлинности на основе ключей, можно настроить подключение навыка AML и векторизатора AI Studio для проверки подлинности маркеров с помощью управления доступом на основе ролей в Azure. Служба поиска должна иметь управляемое удостоверение, назначаемое пользователем, а удостоверение должно иметь разрешения владельца или участника для рабочей области проекта AML. Затем можно удалить ключевое поле из определения навыка и векторизатора, заменив его полем resourceId. Если проект AML и служба поиска находятся в разных регионах, укажите поле региона.

"uri": "{YOUR_URL_HERE}",
"resourceId": "subscriptions/{YOUR_SUBSCRIPTION_ID_HERE/resourceGroups/{YOUR_RESOURCE_GROUP_NAME_HERE}/providers/Microsoft.MachineLearningServices/workspaces/{YOUR_AML_WORKSPACE_NAME_HERE}/onlineendpoints/{YOUR_AML_ENDPOINT_NAME_HERE}",
"region": "westus", // Only need if AML project lives in different region from search service

Следующие шаги