Végponterőforrást kiszolgáló modell hozzáadása Egy Databricks-alkalmazáshoz

Adjon hozzá modellt kiszolgáló végpontokat Databricks Apps-erőforrásként, hogy az alkalmazása lekérdezhesse a gépi tanulási modelleket következtetés céljából. A modellkiszolgáló végpontok kezelik a modell-előrejelzéseket, és konzisztens felületet biztosítanak az üzembe helyezett modellek eléréséhez.

Végponterőforrást kiszolgáló modell hozzáadása

Mielőtt hozzáad egy végpontot erőforrásként kiszolgáló modellt, tekintse át az alkalmazáserőforrás előfeltételeit.

1. Az Alkalmazáserőforrások szakaszban, amikor létrehoz vagy szerkeszt egy alkalmazást, kattintson az + Erőforrás-kiszolgáló>végpont hozzáadása elemre.
2. Válasszon ki egy végpontot kiszolgáló modellt a munkaterületen elérhető végpontokból.
3. Válassza ki az alkalmazás megfelelő jogosultsági szintjét:
   • Megtekintheti a következőt: A végpont metaadatainak megtekintése, beleértve a modellneveket, a verziókat és a számítási feladat konfigurációját. Nem lehet következtetési kéréseket küldeni.
   • Lekérdezhető: Következtetési kérelmek küldése és metaadatok megtekintése. Használja ezt a legtöbb olyan alkalmazáshoz, amely modell-előrejelzéseket igényel.
   • Kezelheti a következőt: Teljes körű felügyeleti vezérlő, beleértve az engedélyek megtekintését, szerkesztését, lekérdezését, törlését és kezelését.
4. (Nem kötelező) Adjon meg egy egyéni erőforráskulcsot, így hivatkozhat a végpontot kiszolgáló modellre az alkalmazáskonfigurációban. Az alapértelmezett kulcs a következő serving-endpoint.

Megjegyzés:

Ahhoz, hogy az alkalmazás következtetési kérelmeit feldolgozhassa, a modellt kiszolgáló végpontnak READY állapotban kell lennie.

Környezeti változók

Amikor egy végponterőforrást kiszolgáló modellel rendelkező alkalmazást helyez üzembe, Azure Databricks a kiszolgálóvégpont nevét környezeti változókon keresztül teszi elérhetővé, amelyekre a valueFrom mező használatával hivatkozhat.

Például:

SERVING_ENDPOINT=<your-serving-endpoint-name>

További információ: Környezeti változók használata erőforrások eléréséhez.

Végponterőforrást kiszolgáló modell eltávolítása

Amikor eltávolít egy végponterőforrást kiszolgáló modellt egy alkalmazásból, az alkalmazás szolgáltatásnéve elveszíti a végponthoz való hozzáférést. Maga a végpontot kiszolgáló modell változatlan marad, és továbbra is elérhető lesz más, megfelelő engedélyekkel rendelkező felhasználók és alkalmazások számára.

Ajánlott eljárások

A végponterőforrásokat kiszolgáló modell használatakor vegye figyelembe a következőket:

• Adjon meg minimális engedélyeket. Az alkalmazások, amelyeknek a legkevesebb hozzáférésre van szükségük, használhatják a Can view, míg a legtöbb olyan alkalmazás, amely inferencia kéréseket szeretne küldeni, a Can query használatát igényli, kivéve, ha az alkalmazásnak kifejezetten rendszergazdai feladatokat kell végrehajtania a végponton.
• Ha lehetséges, kerülje a hosszú ideig futó lekérdezéseket, mivel a következtetési kérések időtúllépést okozhatnak.
• A kérések elküldése előtt ellenőrizze a végpont állapotát. A végpontoknak állapotban READY kell lenniük a lekérdezések feldolgozásához.
• Fontolja meg a következtetési kérelmek sebességkorlátozását a végpont túlterhelésének elkerülése érdekében, különösen a nagy forgalmú időszakokban.