Добавление ресурса конечной точки модельной службы в приложение Databricks

Добавьте конечные точки для обслуживания моделей в качестве ресурсов Databricks Apps, чтобы приложение может запрашивать модели машинного обучения для вывода. Конечные точки обслуживания моделей обрабатывают предсказания моделей и предоставляют согласованный интерфейс для доступа к развернутым моделям.

Добавьте ресурс конечной точки обслуживания модели

Перед добавлением модели, обслуживающей конечную точку в качестве ресурса, просмотрите предварительные требования к ресурсу приложения.

1. При создании или изменении приложения перейдите к шагу "Настройка ".
2. В разделе "Ресурсы приложения" нажмите кнопку +Добавить ресурс.
3. Выберите конечную точку обслуживания в качестве типа ресурса.
4. Выберите конечную точку обслуживания модели из доступных конечных точек в рабочей области.
5. Выберите соответствующий уровень разрешений для приложения:
   • Может просматривать: Просмотр метаданных конечной точки, включая имена моделей, версии и конфигурацию рабочей нагрузки. Не удается отправить запросы вывода.
   • Может запрашивать: Отправка запросов вывода и просмотр метаданных. Используйте это для большинства приложений, которые нуждаются в прогнозировании моделей.
   • Может управлять: Полный административный контроль, включая просмотр, изменение, запрос, удаление и управление разрешениями.
6. (Необязательно) Укажите пользовательский ключ ресурса, который является ссылкой на конечную точку обслуживания модели в конфигурации приложения. Ключ по умолчанию — serving-endpoint.

Замечание

Конечная точка сервинга модели должна находиться в READY состоянии для обработки запросов выводов модели из вашего приложения.

Переменные среды

При развертывании приложения с ресурсом серверной конечной точки модели, Azure Databricks предоставляет имя этой конечной точки через переменные среды, к которым можно обращаться с помощью поля valueFrom.

Рассмотрим пример.

SERVING_ENDPOINT=<your-serving-endpoint-name>

Дополнительные сведения см. в разделе "Использование переменных среды для доступа к ресурсам".

Удаление ресурса конечной точки службы модели

При удалении ресурса конечной точки службы модели из приложения служебный принципал приложения лишается доступа к конечной точке. Модель, обслуживающая конечную точку, остается неизменной и по-прежнему доступна для других пользователей и приложений с соответствующими разрешениями.

Рекомендации

При работе с ресурсами конечной точки обслуживания модели следует учитывать следующее:

• Предоставьте минимальные разрешения. Используйте Can view для наименьшего доступа или Can query для большинства приложений, которые должны отправлять запросы вывода, если приложение не должно выполнять административные задачи в конечной точке.
• Избегайте длительных запросов, когда это возможно, так как запросы вывода могут истекать.
• Проверьте состояние конечной точки перед отправкой запросов. Конечные точки должны находиться в READY состоянии для обработки запросов.
• Рассмотрите возможность ограничения скорости запросов вывода, чтобы избежать перегрузки конечной точки, особенно в периоды с высоким трафиком.