Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье описывается, как включить оптимизацию маршрутов для конечных точек обслуживания модели или конечных точек обслуживания функций. Маршрутизация оптимизированных конечных точек обслуживания значительно снижает задержку накладных расходов и позволяет значительно улучшить пропускную способность, поддерживаемую конечной точкой.
Оптимизация маршрутов рекомендуется использовать для рабочих нагрузок с высокой пропускной способностью или задержкой.
Что такое оптимизация маршрутов?
При включении оптимизации маршрутов на конечной точке Служба моделей Databricks улучшает сетевой путь для запросов вывода, что приводит к более быстрому прямому обмену данными между клиентом и моделью. Эта оптимизированная маршрутизация обеспечивает более высокие запросы в секунду (QPS) по сравнению с неоптимизированными конечными точками и обеспечивает более стабильные и низкие задержки для ваших приложений.
Чтобы использовать преимущества оптимизированных для маршрутов конечных точек, необходимо внести следующие изменения в клиент:
- Используйте URL-адрес, оптимизированный для маршрута: каждая конечная точка, оптимизированная для маршрутов, имеет уникальный URL-адрес. Запросы вывода необходимо отправить на этот конкретный URL-адрес.
- Проверка подлинности с помощью маркеров OAuth: конечные точки, оптимизированные для маршрутизации, поддерживают только маркеры OAuth для проверки подлинности. Другие механизмы проверки подлинности не поддерживаются.
Требования
- Сведения об оптимизации маршрутов в конечной точке обслуживания модели см. в разделе "Требования".
- Сведения об оптимизации маршрутов в конечной точке обслуживания компонентов см. в разделе "Требования".
Включение оптимизации маршрутов в конечной точке обслуживания модели
Обслуживающий пользовательский интерфейс
При создании конечной точки обслуживания модели можно включить оптимизацию маршрутов с помощью пользовательского интерфейса обслуживания . Вы можете включить оптимизацию маршрутов только во время создания конечной точки, вы не можете обновить существующие конечные точки для оптимизации маршрута.
- На боковой панели щелкните "Обслуживание" , чтобы отобразить пользовательский интерфейс обслуживания.
- Нажмите кнопку "Создать конечную точку обслуживания".
- В разделе "Оптимизация маршрутов " выберите "Включить оптимизацию маршрутов".
- После создания конечной точки Databricks отправляет вам уведомление о том, что необходимо для запроса оптимизированной для маршрута конечной точки.
REST API
Чтобы настроить конечную точку обслуживания для оптимизации маршрутов с помощью REST API, укажите route_optimized
параметр во время создания конечной точки службы модели. Этот параметр можно указать только во время создания конечной точки, но не удается обновить существующие конечные точки для оптимизации маршрута.
POST /api/2.0/serving-endpoints
{
"name": "my-endpoint",
"config":
{
"served_entities":
[{
"entity_name": "ads1",
"entity_version": "1",
"workload_type": "CPU",
"workload_size": "Small",
"scale_to_zero_enabled": true,
}],
},
"route_optimized": true
}
Питон
При использовании Python можно использовать следующую записную книжку для создания оптимизированной для маршрутизации конечной точки обслуживания.
Создание оптимизированной конечной точки обслуживания маршрута с помощью записной книжки Python
Включение оптимизации маршрутов в конечной точке обслуживания компонентов
Чтобы использовать оптимизацию маршрутов для обслуживания компонентов и функций, укажите полное имя спецификации компонента в entity_name
поле для обслуживания запросов на создание конечной точки. Для entity_version
этого не требуется FeatureSpecs
.
POST /api/2.0/serving-endpoints
{
"name": "my-endpoint",
"config":
{
"served_entities":
[
{
"entity_name": "catalog_name.schema_name.feature_spec_name",
"workload_type": "CPU",
"workload_size": "Small",
"scale_to_zero_enabled": true
}
]
},
"route_optimized": true
}
Ограничения
- Оптимизация маршрутов доступна только для пользовательских конечных точек обслуживания моделей и конечных точек обслуживания компонентов. Поддержка конечных точек, использующих API-интерфейсы модели Foundation или внешние модели, не поддерживается.
- Маркеры OAuth на основе Databricks являются единственной поддерживаемой проверкой подлинности для оптимизации маршрутов. Личные маркеры доступа не поддерживаются.