Optimalizace trasy pro obsluhu koncových bodů

Tento článek popisuje, jak povolit optimalizaci tras na koncových bodech vaší obsluhy modelu nebo obsluhy funkcí. Směrování optimalizované pro obsluhu koncových bodů výrazně snižuje latenci režie a umožňuje výrazné vylepšení propustnosti podporované vaším koncovým bodem.

Koncové body optimalizované pro směrování se dotazují jinak než koncové body neoptimalizované pro směrování, včetně použití jiné adresy URL a ověřování pomocí tokenů OAuth. Podrobnosti najdete v tématu Dotazování na koncové body optimalizované pro směrování .

Co je optimalizace tras?

Když u koncového bodu povolíte optimalizaci tras, služba Databricks Model Serving vylepšuje síťovou cestu pro žádosti o odvozování, což vede k rychlejší a přímější komunikaci mezi vaším klientem a modelem. Toto optimalizované směrování umožňuje větší počet dotazů za sekundu (QPS) ve srovnání s neoptimalizovanými koncovými body a poskytuje stabilnější a nižší latence pro vaše aplikace.

Návod

Optimalizace tras je jednou z několika strategií pro optimalizaci produkčních úloh. Komplexní průvodce technikami optimalizace najdete v tématu Optimalizace koncových bodů obsluhy modelů pro produkční prostředí.

Požadavky

• Optimalizace tras u koncových bodů pro obsluhu modelů má stejné požadavky jako koncové body pro obsluhu modelů bez směrování.
• Optimalizace tras u koncových bodů obsluhy funkcí mají stejné požadavky jako koncové body obsluhy funkcí, které nejsou optimalizované pro trasy.

Povolení optimalizace trasy u koncového bodu obsluhujícího model

Obsluha uživatelského rozhraní

Optimalizaci tras můžete povolit při vytváření koncového bodu obsluhy modelu pomocí uživatelského rozhraní obsluhy . Optimalizaci tras můžete povolit pouze při vytváření koncového bodu. Stávající koncové body nemůžete aktualizovat tak, aby se optimalizovaly.

1. Na bočním panelu klikněte na Obsluha a zobrazte uživatelské rozhraní obsluhy.
2. Klikněte na Vytvořit obslužný koncový bod.
3. V části Optimalizace trasy vyberte Povolit optimalizaci tras.
4. Po vytvoření koncového bodu vám Databricks pošle oznámení o tom, co je potřeba k dotazování koncového bodu optimalizovaného pro trasu.

REST API

Pokud chcete nakonfigurovat koncový bod obsluhy pro optimalizaci tras pomocí rozhraní REST API, zadejte route_optimized parametr během vytváření koncového bodu obsluhy modelu. Tento parametr můžete zadat pouze během vytváření koncového bodu. Stávající koncové body nelze aktualizovat tak, aby byly optimalizovány.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [{
      "entity_name": "ads1",
      "entity_version": "1",
      "workload_type": "CPU",
      "workload_size": "Small",
      "scale_to_zero_enabled": true,
    }],
  },
  "route_optimized": true
}

Python

Pokud používáte Python, můžete pomocí následujícího poznámkového bloku vytvořit trasu optimalizovanou pro obsluhu koncového bodu.

Vytvoření koncového bodu optimalizovaného pro směrování s využitím poznámkového bloku Pythonu

Vezmi poznámkový blok

Databricks SDK

Pokud chcete nakonfigurovat koncový bod obsluhy pro optimalizaci tras pomocí sady Databricks SDK, zadejte route_optimized parametr během vytváření koncového bodu obsluhy modelu. Tento parametr můžete zadat pouze během vytváření koncového bodu. Stávající koncové body nelze aktualizovat tak, aby byly optimalizovány.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import EndpointCoreConfigInput, ServedEntityInput

workspace = WorkspaceClient()

workspace.serving_endpoints.create(
  name="my-serving-endpoint",
  config = EndpointCoreConfigInput(
    served_entities=[
    ServedEntityInput(
        entity_name="main.default.my-served-entity",
        scale_to_zero_enabled=True,
        workload_size="Small"
      )
    ]
  ),
  route_optimized=True
)

Povolení optimalizace tras u koncového bodu obsluhujícího funkci

Pokud chcete použít optimalizaci tras pro obsluhu funkcí a funkcí, zadejte úplný název specifikace funkce v entity_name poli pro obsluhu požadavků na vytvoření koncového bodu. Není entity_version potřeba pro FeatureSpecs.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [
      {
        "entity_name": "catalog_name.schema_name.feature_spec_name",
        "workload_type": "CPU",
        "workload_size": "Small",
        "scale_to_zero_enabled": true
      }
    ]
  },
  "route_optimized": true
}

Omezení

• Optimalizace tras je k dispozici pouze pro vlastní model obsluhující koncové body a funkce obsluhující koncové body. Obsluha koncových bodů, které používají rozhraní API základního modelu nebo externí modely, nejsou podporovány.
• Jediným podporovaným ověřováním pro optimalizaci tras jsou interní tokeny OAuth Databricks. Osobní přístupové tokeny se nepodporují.

Dodatečné zdroje

• Dotazování trasově optimalizovaných koncových bodů obsluhy
• Optimalizace koncových bodů obsluhy modelů pro produkční prostředí