Útvonaloptimalizálás a végpontok kiszolgálása közben

Ez a cikk azt ismerteti, hogyan engedélyezheti az útvonaloptimalizálást a modell kiszolgáló vagy a funkciókiszolgáló végpontjain. Az útvonaloptimalizált kiszolgáló végpontok jelentősen csökkentik a többletterhelés késését, és lehetővé teszik a végpont által támogatott átviteli sebesség jelentős javulását.

Az útvonaloptimalizált végpontok lekérdezése eltér a nem útvonaloptimalizált végpontoktól, beleértve egy másik URL-címet és hitelesítést OAuth-jogkivonatokkal. Részletekért tekintse meg a lekérdezés útvonaloptimalizált kiszolgálóvégpontjait .

Mi az útvonaloptimalizálás?

Amikor engedélyezi az útvonaloptimalizálást egy végponton, a Databricks Modellszolgáltatás javítja a következtetési kérelmek hálózati elérési útját, ami gyorsabb, közvetlenebb kommunikációt eredményez az ügyfél és a modell között. Ez az optimalizált útválasztás nagyobb lekérdezéseket old fel másodpercenként a nem optimalizált végpontokhoz képest, és stabilabb és alacsonyabb késést biztosít az alkalmazások számára.

Jótanács

Az útvonaloptimalizálás a gyártási munkaterhelések optimalizálására szolgáló számos stratégia egyike. Az optimalizálási technikák átfogó útmutatója: A modellkiszolgáló végpontok optimalizálása éles környezetben.

Követelmények

Útvonaloptimalizálás engedélyezése egy végpontot kiszolgáló modellen

Felhasználói felület kiszolgálása

Az útvonaloptimalizálást akkor engedélyezheti, ha egy kiszolgálói végpontot kiszolgáló modellt hoz létre a kiszolgáló felhasználói felülettel. Csak a végpont létrehozásakor engedélyezheti az útvonaloptimalizálást, a meglévő végpontokat nem frissítheti útvonaloptimalizáltra.

  1. Az oldalsávon kattintson a Kiszolgáló gombra a Kiszolgáló felhasználói felület megjelenítéséhez.
  2. Kattintson a Kiszolgálóvégpont létrehozása elemre.
  3. Az Útvonaloptimalizálás szakaszban válassza az Útvonaloptimalizálás engedélyezése lehetőséget.
  4. A végpont létrehozása után a Databricks értesítést küld arról, hogy mi szükséges az útvonaloptimalizált végpont lekérdezéséhez.

Végpontot kiszolgáló modell létrehozása

REST API

Ha a kiszolgáló végpontot a REST API használatával szeretné beállítani az útvonaloptimalizáláshoz, adja meg a paramétert a route_optimized végpontlétrehozási modell létrehozása során. Ezt a paramétert csak a végpont létrehozásakor adhatja meg, a meglévő végpontokat nem frissítheti útvonaloptimalizáltra.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [{
      "entity_name": "ads1",
      "entity_version": "1",
      "workload_type": "CPU",
      "workload_size": "Small",
      "scale_to_zero_enabled": true,
    }],
  },
  "route_optimized": true
}

Python

Ha Pythont használ, az alábbi jegyzetfüzet használatával létrehozhat egy útvonaloptimalizált kiszolgálóvégpontot.

Útvonaloptimalizált kiszolgálóvégpont létrehozása Python-jegyzetfüzet használatával

Jegyzetfüzet lekérése

Databricks SDK

Ha a kiszolgálóvégpontot a Databricks SDK használatával szeretné beállítani az útvonaloptimalizáláshoz, adja meg a paramétert a route_optimized végpontlétrehozást kiszolgáló modell során. Ezt a paramétert csak a végpont létrehozásakor adhatja meg, a meglévő végpontokat nem frissítheti útvonaloptimalizáltra.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import EndpointCoreConfigInput, ServedEntityInput

workspace = WorkspaceClient()

workspace.serving_endpoints.create(
  name="my-serving-endpoint",
  config = EndpointCoreConfigInput(
    served_entities=[
    ServedEntityInput(
        entity_name="main.default.my-served-entity",
        scale_to_zero_enabled=True,
        workload_size="Small"
      )
    ]
  ),
  route_optimized=True
)

Útvonaloptimalizálás engedélyezése egy szolgáltatásvégponton

Az útvonaloptimalizálás funkció- és függvény-kiszolgáláshoz való használatához adja meg a szolgáltatás specifikációjának teljes nevét a entity_name végpontlétrehozási kérelmek kiszolgálására szolgáló mezőben. Ehhez entity_version nincs szükség FeatureSpecs.


POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [
      {
        "entity_name": "catalog_name.schema_name.feature_spec_name",
        "workload_type": "CPU",
        "workload_size": "Small",
        "scale_to_zero_enabled": true
      }
    ]
  },
  "route_optimized": true
}

Korlátozások

  • Az útvonaloptimalizálás csak a végpontokat kiszolgáló egyéni modellhez és a szolgáltatásvégpontok kiszolgálásához érhető el. Az Alapmodell API-kat vagy külső modelleket használó végpontok kiszolgálása nem támogatott.
  • A databricks házon belüli OAuth-jogkivonatok az útvonaloptimalizálás egyetlen támogatott hitelesítése. A személyes hozzáférési jogkivonatok nem támogatottak.

További erőforrások

  • Last updated on