Hizmet uç noktaları için rota optimizasyonu

Bu makalede , model sunma veya özellik sunma uç noktalarınızda yol iyileştirmenin nasıl etkinleştirileceği açıklanır. Yol için iyileştirilmiş hizmet sunan uç noktalar, ek yük gecikme süresini önemli ölçüde azaltır ve uç noktanız tarafından desteklenen aktarım hızı üzerinde önemli iyileştirmeler sağlar.

Rota optimize edilmiş uç noktalar, farklı bir URL kullanılarak ve OAuth belirteçleriyle kimlik doğrulaması yapılacak şekilde, rota optimize edilmemiş uç noktalardan farklı şekilde sorgulanır. Ayrıntılar için Yol optimizasyonlu servis uç noktalarını sorgulama kısmına bakın.

Rota iyileştirme nedir?

Bir uç noktada yol iyileştirmeyi etkinleştirdiğinizde Databricks Model Sunma, çıkarım istekleri için ağ yolunu geliştirerek istemcinizle model arasında daha hızlı ve daha doğrudan iletişim sağlar. Bu iyileştirilmiş yönlendirme, iyileştirilmiş olmayan uç noktalara kıyasla saniyede daha yüksek sorguların (QPS) kilidini açar ve uygulamalarınız için daha kararlı ve daha düşük gecikme süreleri sağlar.

İpucu

Rota iyileştirme, üretim iş yüklerini iyileştirmeye yönelik çeşitli stratejilerden biridir. İyileştirme tekniklerine yönelik kapsamlı bir kılavuz için bkz. Üretim için Model Sunma uç noktalarını iyileştirme.

Gereksinimler

• Model sunma uç noktalarındaki rota iyileştirme çalışmaları, rota için iyileştirilmiş olmayan model sunma uç noktalarıyla aynı gereksinimlere sahiptir.
• Özellik sunma uç noktalarındaki rota iyileştirme, rota için iyileştirilmemiş özellik sunma uç noktalarıyla aynı gereksinimlere sahiptir.

Uç noktaya hizmet veren bir modelde yol iyileştirmeyi etkinleştirme

Kullanıcı Arayüzü Sunma

Hizmet Sunma kullanıcı arabirimini kullanarak bir model sunum uç noktası oluşturduğunuzda rota iyileştirmeyi etkinleştirebilirsiniz. Yol iyileştirmeyi yalnızca uç nokta oluşturma sırasında etkinleştirebilirsiniz; mevcut uç noktaları rota iyileştirmesi için güncelleştiremezsiniz.

1. Kenar çubuğunda, Sunum kullanıcı arabirimini görüntülemek için Sunum'a tıklayın.
2. Sunum uç noktası oluştur'a tıklayın.
3. Rota iyileştirme bölümünde Yol iyileştirmeyietkinleştir'i seçin.
4. Uç noktanız oluşturulduktan sonra Databricks size yol için iyileştirilmiş uç noktayı sorgulamak için gerekenler hakkında bir bildirim gönderir.

REST API

REST API'yi kullanarak yol iyileştirmesi için hizmet sunma uç noktanızı yapılandırmak amacıyla, uç nokta oluşturma sırasında route_optimized parametresini belirtin. Bu parametreyi yalnızca uç nokta oluşturma sırasında belirtebilirsiniz; mevcut uç noktaları yol için iyileştirilmiş olacak şekilde güncelleştiremezsiniz.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [{
      "entity_name": "ads1",
      "entity_version": "1",
      "workload_type": "CPU",
      "workload_size": "Small",
      "scale_to_zero_enabled": true,
    }],
  },
  "route_optimized": true
}

Piton

Python kullanıyorsanız, yol için iyileştirilmiş bir sunum uç noktası oluşturmak için aşağıdaki not defterini kullanabilirsiniz.

Python not defterini kullanarak yol için iyileştirilmiş sunum uç noktası oluşturma

not defteri alma

Databricks SDK

Databricks SDK'sını kullanarak yönlendirme iyileştirmesi için hizmet uç noktanızı yapılandırırken, uç nokta oluşturma sırasında route_optimized parametresini belirtin. Bu parametreyi yalnızca uç nokta oluşturma sırasında belirtebilirsiniz; mevcut uç noktaları yol için iyileştirilmiş olacak şekilde güncelleştiremezsiniz.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import EndpointCoreConfigInput, ServedEntityInput

workspace = WorkspaceClient()

workspace.serving_endpoints.create(
  name="my-serving-endpoint",
  config = EndpointCoreConfigInput(
    served_entities=[
    ServedEntityInput(
        entity_name="main.default.my-served-entity",
        scale_to_zero_enabled=True,
        workload_size="Small"
      )
    ]
  ),
  route_optimized=True
)

Uç noktaya hizmet veren bir özellikte yol iyileştirmeyi etkinleştirme

Özellik ve İşlev Sunma için yol iyileştirmeyi kullanmak için, uç nokta oluşturma isteklerini sunma alanında özellik belirtiminin entity_name tam adını belirtin. entity_version için FeatureSpecsgerekli değildir.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [
      {
        "entity_name": "catalog_name.schema_name.feature_spec_name",
        "workload_type": "CPU",
        "workload_size": "Small",
        "scale_to_zero_enabled": true
      }
    ]
  },
  "route_optimized": true
}

Sınırlamalar

• Yol iyileştirme yalnızca uç noktaları sunan özel model ve uç noktaları sunan özellik için kullanılabilir. Temel Model API'lerini veya dış modelleri kullanan uç noktaların sunulması desteklenmez.
• Databricks şirket içi OAuth belirteçleri, yol iyileştirme için desteklenen tek kimlik doğrulamasıdır. Kişisel erişim belirteçleri desteklenmez.

Ek kaynaklar

• Route optimizasyonlu hizmet uç noktalarını sorgulama
• Üretim için Model Sunma uç noktalarını iyileştirme