Создание и управление API моделей (сервисами моделей)

Создавайте, делитесь и управляйте собственными API моделей (сервисами моделей) в каталоге Unity.

Tip

Системные API моделей в system.ai схеме готовы к запросу без какой-либо настройки. Создавайте собственный API моделей только тогда, когда хотите управлять дополнительными моделями или открывать пользовательскую конечную точку.

Requirements

  • Рабочая область Azure Databricks в поддерживаемом регионе Unity AI Gateway.
  • В рабочей области включён каталог Unity. См. Включение рабочей области для каталога Unity.
  • Чтобы создать службу моделей, необходимо:
    • USE CATALOG, USE SCHEMA и CREATE SERVICE для каталога и схемы, в которых вы создаете сервис модели.
    • EXECUTE на каждой модели, которую сервис моделей указывает как целевую.
    • EXECUTE, USE CATALOG, и USE SCHEMA на каждом сервисе провайдера модели , на который сервис модели ссылается как на пункт назначения.
    • USE CATALOG, USE SCHEMA и CREATE TABLE для каталога и схемы, в которых создается таблица инференса, если включено журналирование инференса.

Создание службы моделей

Вы можете создать службу моделей в пользовательском интерфейсе шлюза ИИ Unity или в обозревателе каталогов.

Службы модели и службы поставщиков моделей используют одно пространство имен в схеме каталога Unity. Нельзя использовать имя для службы моделей, если служба поставщика моделей в схеме уже использует ее, и наоборот.

Использование пользовательского интерфейса

  1. Выполните одно из следующих действий:
    • На боковой панели рабочей области щелкните "Шлюз ИИ", а затем нажмите кнопку "Создать".
    • В обозревателе каталогов перейдите к схеме, в которой нужно создать сервис модели, затем выберите Создать>Сервис>Сервис модели.
  2. Введите имя службы моделей и выберите каталог и схему, чтобы создать ее. Если вы начинаете работу с обозревателя каталогов, обозреватель каталогов предварительно заполняет каталог и схему.
  3. Выберите основное место для обслуживания. Это может быть модель, размещённая в Databricks, к которой у вас есть EXECUTE и которую Unity AI Gateway может предоставлять, или сервис поставщика моделей, к которому у вас есть EXECUTE, USE CATALOG и USE SCHEMA.
  4. Нажмите кнопку Создать.

После создания службы моделей Azure Databricks откроет свою страницу обзора, где можно приступить к работе или настроить дополнительные функции, такие как ведение журнала вывода.

Предоставление доступа к службе моделей

Чтобы другие могли выполнять запросы к сервису моделей, предоставьте им EXECUTE для сервиса моделей, а также USE CATALOG и USE SCHEMA для его каталога и схемы. Если служба модели записывает данные в таблицу инференса, предоставьте SELECT на таблицу, чтобы можно было читать записанные запросы и ответы.

Чтобы предоставить доступ в обозревателе каталогов, выполните приведенные действия.

  1. В обозревателе каталогов откройте службу моделей.
  2. На вкладке разрешений щелкните Предоставить.
  3. Выберите пользователей или группы, чтобы предоставить доступ, выберите привилегию EXECUTE и нажмите кнопку "Предоставить".

Убедитесь, что те же субъекты также имеют USE CATALOG и USE SCHEMA в каталоге и схеме службы моделей. Чтобы они могли читать запросы и ответы, записанные в журнал, предоставьте SELECT для таблицы inference на вкладке Permissions.

Дополнительные сведения о предоставлении и обнаружении доступа см. в разделе "Управление службами моделей".

Настройка функций в службе моделей

В пользовательском интерфейсе Unity AI Gateway можно настроить для сервиса моделей такие функции, как ограничения частоты запросов, журналирование инференса и защитные ограничения, так же, как и для конечной точки Unity AI Gateway. See:

Ведение журнала вывода

Когда вы включаете журналирование выводов модели, Azure Databricks создает новую пустую таблицу в Unity Catalog с предопределенной схемой в указанном вами расположении. Обратите внимание на следующее:

  • Необходимо иметь USE CATALOGUSE SCHEMAи CREATE TABLE в целевом каталоге и схеме.
  • Создатель службы моделей является владельцем таблицы вывода. Другие пользователи не имеют доступа, если вы не предоставите его.
  • Если таблица уже существует в указанном расположении, создание службы модели завершается ошибкой.
  • Таблица вывода имеет независимый жизненный цикл от службы моделей. Если удалить таблицу, служба модели продолжает работать, но прекращает ведение журнала.

Подробнее о таблицах выводов смотрите в разделе «Запросы журнала и ответы на таблицы выводов».

Удаление службы моделей

Чтобы удалить службу моделей, необходимо иметь по крайней мере права на нее MANAGE . Владелец имеет надмножество MANAGE.

Чтобы удалить службу моделей, откройте ее в обозревателе каталогов и выберите "Удалить " в меню кебаб.

Службы модели, предоставляемые системой, в system.ai нельзя удалить.

Дальнейшие действия

  • Last updated on