이 문서에서는 모델 서비스 또는 기능 서비스 엔드포인트에서 경로 최적화를 사용하도록 설정하는 방법을 설명합니다. 최적화된 서비스 엔드포인트를 라우팅하면 오버헤드 대기 시간이 크게 줄어들고 엔드포인트에서 지원하는 처리량이 크게 향상됩니다.
높은 처리량 또는 대기 시간에 중요한 워크로드에는 경로 최적화를 사용하는 것이 좋습니다.
경로 최적화란?
엔드포인트에서 경로 최적화를 사용하도록 설정하면 Databricks Model Serving는 유추 요청의 네트워크 경로를 개선하여 클라이언트와 모델 간의 보다 빠르고 직접적인 통신을 가능하게 합니다. 이 최적화된 라우팅은 최적화되지 않은 엔드포인트에 비해 QPS(초당 쿼리 수)의 잠금을 해제하고 애플리케이션에 대해 보다 안정적이고 짧은 대기 시간을 제공합니다.
경로 최적화 엔드포인트의 이점을 활용하려면 클라이언트를 다음과 같이 변경해야 합니다.
- 경로 최적화 URL 사용: 경로 최적화 엔드포인트마다 고유한 URL이 있습니다. 이 특정 URL에 유추 요청을 보내야 합니다.
- OAuth 토큰을 사용하여 인증: 경로 최적화 엔드포인트는 인증을 위해 OAuth 토큰만 지원합니다. 다른 인증 메커니즘은 지원되지 않습니다.
요구 사항
- 엔드포인트를 제공하는 모델에 대한 경로 최적화는 요구 사항을 참조하세요.
- 엔드포인트를 제공하는 기능에 대한 경로 최적화는 요구 사항을 참조하세요.
엔드포인트를 제공하는 모델에서 경로 최적화 사용
사용자 인터페이스 서비스
서비스 UI를 사용하여 엔드포인트를 제공하는 모델을 만들 때 경로 최적화를 사용하도록 설정할 수 있습니다. 엔드포인트를 만드는 동안에만 경로 최적화를 사용하도록 설정할 수 있으며, 경로 최적화를 위해 기존 엔드포인트를 업데이트할 수 없습니다.
- 사이드바에서 서비스 제공 을 클릭하여 서비스 UI를 표시합니다.
- 서빙 엔드포인트 생성를 클릭합니다.
- 경로 최적화 섹션에서 경로 최적화 사용을 선택합니다.
- 엔드포인트를 만든 후 Databricks는 경로 최적화 엔드포인트를 쿼리하는 데 필요한 항목에 대한 알림을 보냅니다.
REST API (REST 애플리케이션 프로그래밍 인터페이스)
REST API를 사용하여 경로 최적화를 위해 서빙 엔드포인트를 구성하려면, 엔드포인트를 생성할 때 route_optimized 매개변수를 지정하십시오. 엔드포인트를 만드는 동안에만 이 매개 변수를 지정할 수 있으며, 경로 최적화를 위해 기존 엔드포인트를 업데이트할 수 없습니다.
POST /api/2.0/serving-endpoints
{
"name": "my-endpoint",
"config":
{
"served_entities":
[{
"entity_name": "ads1",
"entity_version": "1",
"workload_type": "CPU",
"workload_size": "Small",
"scale_to_zero_enabled": true,
}],
},
"route_optimized": true
}
파이썬
Python을 사용하는 경우 다음 Notebook을 사용하여 경로 최적화 서비스 엔드포인트를 만들 수 있습니다.
Python Notebook을 사용하여 경로 최적화 서비스 엔드포인트 만들기
노트북 가져오기
엔드포인트를 제공하는 기능에서 경로 최적화 사용
기능 및 함수 서비스에 대한 경로 최적화를 사용하려면 엔드포인트 만들기 요청을 제공하기 위해 entity_name 필드에서 기능 사양의 전체 이름을 지정합니다.
entity_version은 FeatureSpecs에 필요하지 않습니다.
POST /api/2.0/serving-endpoints
{
"name": "my-endpoint",
"config":
{
"served_entities":
[
{
"entity_name": "catalog_name.schema_name.feature_spec_name",
"workload_type": "CPU",
"workload_size": "Small",
"scale_to_zero_enabled": true
}
]
},
"route_optimized": true
}
제한 사항
- 경로 최적화는 엔드포인트 및 기능 서비스 엔드포인트를 제공하는 사용자 지정 모델에만 사용할 수 있습니다. Foundation Model API 또는 외부 모델을 사용하는 엔드포인트는 지원되지 않습니다.
- Databricks 사내 OAuth 토큰은 경로 최적화에 유일하게 지원되는 인증입니다. 개인 액세스 토큰은 지원되지 않습니다.