Оптимизация маршрутов для конечных точек обслуживания

В этой статье описывается, как включить оптимизацию маршрутов для конечных точек обслуживания модели или конечных точек обслуживания функций. Маршрутизация оптимизированных конечных точек обслуживания значительно снижает задержку накладных расходов и позволяет значительно улучшить пропускную способность, поддерживаемую конечной точкой.

Оптимизация маршрутов рекомендуется использовать для рабочих нагрузок с высокой пропускной способностью или задержкой.

Что такое оптимизация маршрутов?

При включении оптимизации маршрутов на конечной точке Служба моделей Databricks улучшает сетевой путь для запросов вывода, что приводит к более быстрому прямому обмену данными между клиентом и моделью. Эта оптимизированная маршрутизация обеспечивает более высокие запросы в секунду (QPS) по сравнению с неоптимизированными конечными точками и обеспечивает более стабильные и низкие задержки для ваших приложений.

Чтобы использовать преимущества оптимизированных для маршрутов конечных точек, необходимо внести следующие изменения в клиент:

• Используйте URL-адрес, оптимизированный для маршрута: каждая конечная точка, оптимизированная для маршрутов, имеет уникальный URL-адрес. Запросы вывода необходимо отправить на этот конкретный URL-адрес.
• Проверка подлинности с помощью маркеров OAuth: конечные точки, оптимизированные для маршрутизации, поддерживают только маркеры OAuth для проверки подлинности. Другие механизмы проверки подлинности не поддерживаются.

Требования

• Сведения об оптимизации маршрутов в конечной точке обслуживания модели см. в разделе "Требования".
• Сведения об оптимизации маршрутов в конечной точке обслуживания компонентов см. в разделе "Требования".

Включение оптимизации маршрутов в конечной точке обслуживания модели

Обслуживающий пользовательский интерфейс

При создании конечной точки обслуживания модели можно включить оптимизацию маршрутов с помощью пользовательского интерфейса обслуживания . Вы можете включить оптимизацию маршрутов только во время создания конечной точки, вы не можете обновить существующие конечные точки для оптимизации маршрута.

1. На боковой панели щелкните "Обслуживание" , чтобы отобразить пользовательский интерфейс обслуживания.
2. Нажмите кнопку "Создать конечную точку обслуживания".
3. В разделе "Оптимизация маршрутов " выберите "Включить оптимизацию маршрутов".
4. После создания конечной точки Databricks отправляет вам уведомление о том, что необходимо для запроса оптимизированной для маршрута конечной точки.

REST API

Чтобы настроить конечную точку обслуживания для оптимизации маршрутов с помощью REST API, укажите route_optimized параметр во время создания конечной точки службы модели. Этот параметр можно указать только во время создания конечной точки, но не удается обновить существующие конечные точки для оптимизации маршрута.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [{
      "entity_name": "ads1",
      "entity_version": "1",
      "workload_type": "CPU",
      "workload_size": "Small",
      "scale_to_zero_enabled": true,
    }],
  },
  "route_optimized": true
}

Питон

При использовании Python можно использовать следующую записную книжку для создания оптимизированной для маршрутизации конечной точки обслуживания.

Создание оптимизированной конечной точки обслуживания маршрута с помощью записной книжки Python

Возьмите записную книжку

Включение оптимизации маршрутов в конечной точке обслуживания компонентов

Чтобы использовать оптимизацию маршрутов для обслуживания компонентов и функций, укажите полное имя спецификации компонента в entity_name поле для обслуживания запросов на создание конечной точки. Для entity_version этого не требуется FeatureSpecs.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [
      {
        "entity_name": "catalog_name.schema_name.feature_spec_name",
        "workload_type": "CPU",
        "workload_size": "Small",
        "scale_to_zero_enabled": true
      }
    ]
  },
  "route_optimized": true
}

Ограничения

• Оптимизация маршрутов доступна только для пользовательских конечных точек обслуживания моделей и конечных точек обслуживания компонентов. Поддержка конечных точек, использующих API-интерфейсы модели Foundation или внешние модели, не поддерживается.
• Маркеры OAuth на основе Databricks являются единственной поддерживаемой проверкой подлинности для оптимизации маршрутов. Личные маркеры доступа не поддерживаются.

Дополнительные ресурсы

• Оптимизированные для маршрутизации запросов конечные точки обслуживания