Megosztás a következőn keresztül:

Útvonaloptimalizálás konfigurálása végpontok kiszolgálására

  • Cikk

Ez a cikk bemutatja, hogyan konfigurálhatja az útvonaloptimalizálást a végpontokat kiszolgáló modellen vagy szolgáltatásban , és hogyan kérdezheti le őket. Az útvonaloptimalizált kiszolgáló végpontok jelentősen csökkentik a többletterhelés késését, és lehetővé teszik a végpont által támogatott átviteli sebesség jelentős javulását.

Az útvonaloptimalizálás a nagy átviteli sebességhez vagy a késésre érzékeny számítási feladatokhoz ajánlott.

Követelmények

Útvonaloptimalizálás engedélyezése egy végpontot kiszolgáló modellen

Adja meg a paramétert a route_optimized végpontlétrehozást kiszolgáló modell során a végpont útvonaloptimalizáláshoz való konfigurálásához. Ezt a paramétert csak a végpont létrehozásakor adhatja meg, a meglévő végpontokat nem frissítheti útvonaloptimalizáltra.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":{
    "served_entities": [{
      "entity_name": "ads1",
      "entity_version": "1",
      "workload_type": "CPU",
      "workload_size": "Small",
      "scale_to_zero_enabled": true,
    }],
  },
  "route_optimized": true
}

A kiszolgáló felhasználói felületén engedélyezheti egy végpont útvonaloptimalizálását. Ha Pythont használ, az alábbi jegyzetfüzet használatával létrehozhat egy útvonaloptimalizált kiszolgálóvégpontot.

Útvonaloptimalizált kiszolgálóvégpont létrehozása Python-jegyzetfüzet használatával

Jegyzetfüzet beszerzése

Útvonaloptimalizálás engedélyezése egy szolgáltatásvégponton

Az útvonaloptimalizálás funkció- és függvény-kiszolgáláshoz való használatához adja meg a szolgáltatás specifikációjának teljes nevét a entity_name végpontlétrehozási kérelmek kiszolgálására szolgáló mezőben. Ehhez entity_version nincs szükség FeatureSpecs.


POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config": {
    "served_entities": [
      {
        "entity_name": "catalog_name.schema_name.feature_spec_name",
        "workload_type": "CPU",
        "workload_size": "Small",
        "scale_to_zero_enabled": true
      }
    ]
  },
  "route_optimized": true
}

Végpontokat kiszolgáló lekérdezési útvonalra optimalizált modell

Az alábbi lépések bemutatják, hogyan tesztelheti a végpontot kiszolgáló útvonaloptimalizált modell lekérdezését.

Éles használathoz, például az útvonaloptimalizált végpont alkalmazásbeli használatához létre kell hoznia egy OAuth-jogkivonatot. Az alábbi lépések bemutatják, hogyan lehet jogkivonatot lekérni a kiszolgáló felhasználói felületén. Programozott munkafolyamatok esetén lásd : OAuth-jogkivonat beolvasása programozott módon.

  1. OAuth-jogkivonat lekérése a munkaterület kiszolgálói felhasználói felületéről.
    1. Kattintson az oldalsávOn a Kiszolgálás gombra a kiszolgáló felhasználói felületének megjelenítéséhez.
    2. A Végpontok kiszolgálása lapon válassza ki az útvonaloptimalizált végpontot a végpont részleteinek megtekintéséhez.
    3. A végpont részletei lapon kattintson a Lekérdezés végpont gombra.
    4. Válassza a Jogkivonat lekérése lapot.
    5. Válassza az OAuth-jogkivonat beolvasása gombot. Ez a jogkivonat 1 órán át érvényes. Új jogkivonat lekérése, ha az aktuális jogkivonat lejár.
  2. Kérje le a modell kiszolgáló végpontJÁNAK URL-címét a végpont részleteinek oldaláról a kiszolgáló felhasználói felületéről.
  3. Az 1. lépés OAuth-jogkivonatával és a 2. lépés végponti URL-címével töltse ki az útvonaloptimalizált végpontot lekérdező alábbi példakódot.

url="your-endpoint-url"
OAUTH_TOKEN=xxxxxxx

curl -X POST -H 'Content-Type: application/json' -H "Authorization: Bearer $OAUTH_TOKEN" -d@data.json $url

Ahhoz, hogy egy Python SDK lekérdezhesse az útvonaloptimalizált végpontot, forduljon a Databricks-fiók csapatához.

OAuth-jogkivonat programozott beolvasása

Az Azure Databricks szolgáltatásnévvel végzett hitelesítése útmutatást nyújt az OAuth-jogkivonatok programozott beolvasásához. A fenti lépéseken kívül meg kell adnia authorization_details a kérésben.

  • Cserélje le <token-endpoint-URL> az előző jogkivonatvégpont URL-címére.
  • Cserélje le <client-id> a szolgáltatásnév ügyfél-azonosítójára, amely más néven alkalmazásazonosító.
  • Cserélje le <client-secret> a szolgáltatásnév által létrehozott OAuth-titkos kódra.
  • Cserélje le <endpoint-id> az útvonaloptimalizált végpont végpontazonosítójára. Ezt a végpont URL-címében található HostName fájlból is lekérheti.
  • Cserélje le <action> a szolgáltatásnévnek adott műveleti engedélyre. A művelet lehet vagy query_inference_endpoint manage_inference_endpoint.

Példa:

      export CLIENT_ID=<client-id>
      export CLIENT_SECRET=<client-secret>
      export ENDPOINT_ID=<endpoint-id>
      export ACTION=<action>

      curl --request POST \
      --url <token-endpoint-URL> \
      --user "$CLIENT_ID:$CLIENT_SECRET" \
      --data 'grant_type=client_credentials&scope=all-apis'
      --data-urlencode 'authorization_details=[{"type":"workspace_permission","object_type":"serving-endpoints","object_path":"'"/serving-endpoints/$ENDPOINT_ID"'","actions": ["'"$ACTION"'"]}]'

Korlátozások

  • Az útvonaloptimalizálás csak a végpontokat kiszolgáló egyéni modellhez és a szolgáltatásvégpontok kiszolgálásához érhető el. Az alapmodell API-k és a külső modellek nem támogatottak.
  • A databricks házon belüli OAuth-jogkivonatok az útvonaloptimalizálás egyetlen támogatott hitelesítése. A személyes hozzáférési jogkivonatok nem támogatottak.
  • Az útvonaloptimalizálás nem kényszeríti ki az Azure Databricks-munkaterületen konfigurált Private Link hálózati korlátozásokat. Ha azt szeretné, hogy a forgalmat kiszolgáló modellhez ezek a vezérlők legyenek kötve, ne engedélyezze az útvonaloptimalizálást. Ha ilyen hálózati követelményekkel rendelkezik, és továbbra is szeretné kipróbálni az útvonaloptimalizált modell kiszolgálását, forduljon a Databricks-fiók csapatához.
  • Az útvonaloptimalizálás bizonyos régiókban nem érhető el. Ha nem látja az útvonaloptimalizálás engedélyezésének lehetőségét a kiszolgáló felhasználói felületén, forduljon a Databricks-fiók csapatához.