Добавьте ресурс сервиса модели Unity Gateway в приложение Databricks

Important

Эта функция доступна в общедоступной предварительной версии.

Добавьте сервисы моделей Unity Gateway в качестве ресурсов приложений Databricks, чтобы ваше приложение могло отправлять запросы вывода модели, включая чат, завершения и встраивания, в AI-модели, управляемые в Unity Catalog. Сервисы моделей Unity Gateway включают базовые модели с оплатой за токен, доступные в разделе system.ai, а также созданные вами модельные сервисы.

Note

Атрибуция использования сервисов моделей Unity Gateway точна только для стандартных приложений Databricks. Приложения, работающие в микро-виртуальной среде, такие как приложения Genie App Builder, не показывают точную атрибуцию сведений об использовании.

См. отслеживание использования Unity Gateway.

Требования к привилегиям

Чтобы получить доступ к сервису модели Unity Gateway, принципал сервиса приложения должен иметь USE CATALOG привилегию в родительском каталоге, USE SCHEMA привилегию на родительской схеме и EXECUTE привилегию на сервисе модели. Когда вы добавляете ресурс сервиса модели, Azure Databricks автоматически предоставляет эти права субъекту-службе приложения.

Для успешного предоставления этой привилегии одно из следующих условий должно выполняться для каждой привилегии:

  • Для USE CATALOG: у всех пользователей учетной записи есть USE CATALOG привилегия на каталоге или у вас есть MANAGE привилегия на каталоге.
  • Для USE SCHEMA: либо у всех пользователей учетной записи есть привилегия USE SCHEMA на схему, либо у вас есть привилегия MANAGE на схему.
  • Для EXECUTE: Либо все пользователи учетной записи имеют привилегию EXECUTE на модельном сервисе, либо у вас MANAGE есть привилегия на модельном сервисе.

Смотрите справочник по привилегиям Unity Catalog.

Добавить ресурс службы моделей Unity Gateway

Прежде чем добавлять сервис модели Unity Gateway в качестве ресурса, ознакомьтесь с требованиями к ресурсам приложения.

  1. В разделе ресурсов приложений при создании или редактировании приложения нажмите + Добавить ресурс>Модель.
  2. В окне выбора ресурсов выберите сервис модели из раздела Unity Gateway. Средство выбора также отображает пользовательские конечные точки в разделе Serving Endpoints. Чтобы подключить одну из этих конечных точек, см. Добавление ресурса конечной точки обслуживания модели в приложение Databricks. Чтобы использовать базовую модель с оплатой за токен, выберите сервис модели из каталога system.ai.
  3. Выберите уровень разрешений для приложения:
    • Может выполнять: Предоставляет принципалу EXECUTE сервиса приложения право отправлять запросы на вывод в модельный сервис. Это единственный уровень разрешения, доступный для сервиса модели.
  4. (По желанию) Укажите пользовательский ключ ресурса — именно так вы ссылаетесь на сервис модели в конфигурации приложения. Ключ по умолчанию — model.

Настройте с помощью Databricks Asset Bundles

Если вы определяете приложение с помощью Declarative Automation Bundles, добавьте сервис модели как ресурс uc_securable в конфигурацию пакета:

resources:
  apps:
    my_app:
      name: 'my-app'
      source_code_path: ./app
      resources:
        - name: 'model'
          uc_securable:
            securable_full_name: '<catalog>.<schema>.<model_service>'
            securable_type: 'MODEL_SERVICE'
            permission: 'EXECUTE'

Для получения информации о ресурсах приложений в пакетах декларативной автоматизации см. app.resources.

Переменные среды

Когда вы разворачиваете приложение с ресурсом сервиса модели Unity Gateway, Azure Databricks предоставляет полное трёхчастное имя Unity Catalog сервиса модели через переменные среды, на которое можно ссылаться с помощью поля valueFrom.

Пример конфигурации:

env:
  - name: MODEL_SERVICE_NAME
    valueFrom: model # Use your custom resource key if you set one

Поле valueFrom разрешается в полное трехчастное название сервиса модели Unity Catalog (например, system.ai.databricks-dbrx-instruct). Используйте это имя при вызове сервиса модели через SDK Azure Databricks или REST API Unity Gateway.

Дополнительные сведения см. в разделе "Использование переменных среды для доступа к ресурсам".

Удалить ресурс сервиса модели Unity Gateway

Когда вы удаляете ресурс сервиса модели Unity Gateway из приложения, субъект-служба приложения теряет привилегию EXECUTE на сервисе модели. Сам модельный сервис остаётся без изменений и по-прежнему доступен для других пользователей и приложений с соответствующими правами.

Рекомендации

Учитывайте следующее при работе с ресурсами сервиса модели Unity Gateway:

  • EXECUTE — это единственный доступный уровень разрешений. Он предоставляет приложению доступ для отправки запросов инференса и не предоставляет административных прав к сервису моделей.
  • Чтобы использовать базовые модели с оплатой за токен без дополнительной настройки, выберите сервис модели из каталога system.ai.
  • Переменная среды разрешается в полное трехчастное имя Unity Catalog (catalog.schema.model_service). Используйте это значение при вызове сервиса модели через Azure Databricks SDK или REST API.
  • Обрабатывайте ошибки инференса и ограничения скорости в коде вашего приложения. Unity Gateway обеспечивает соблюдение ограничений скорости запросов и защитных ограничений, настроенных для каждого сервиса модели.
  • Средство выбора ресурса Model также отображает классические эндпоинты обслуживания моделей, сгруппированные в разделе Serving Endpoints. Модельные сервисы и конечные точки для обслуживания моделей могут сосуществовать в одном приложении.
  • Последнее обновление: