Přidání prostředku koncového bodu pro nasazování modelu do aplikace Databricks

Přidejte koncové body pro obsluhu modelů jako prostředky Databricks Apps, aby vaše aplikace mohla dotazovat modely strojového učení pro inference. Model obsluhující koncové body zpracovává předpovědi modelu a poskytuje konzistentní rozhraní pro přístup k nasazeným modelům.

Přidejte zdroj koncového bodu pro obsluhu modelu

Než přidáte koncový bod pro model jako prostředek, projděte si požadavky na prostředky aplikace.

1. Při vytváření nebo úpravě aplikace přejděte ke kroku Konfigurace .
2. V části Prostředky aplikace klikněte na + Přidat prostředek.
3. Jako typ prostředku vyberte Koncový bod služby.
4. Zvolte model obsluhující koncový bod z dostupných koncových bodů ve vašem pracovním prostoru.
5. Vyberte odpovídající úroveň oprávnění pro vaši aplikaci:
   • Může zobrazit: Zobrazení metadat koncových bodů, včetně názvů modelů, verzí a konfigurace úloh Žádosti o odvození nelze odeslat.
   • Může dotazovat: Odesílat žádosti o odvození a zobrazovat metadata Tuto možnost použijte pro většinu aplikací, které potřebují predikce modelu.
   • Může spravovat: Úplné řízení správy, včetně zobrazení, úprav, dotazů, odstranění a správy oprávnění.
6. (Volitelné) Zadejte vlastní klíč prostředku, což je způsob, jakým odkazujete na koncový bod obsluhující model v konfiguraci aplikace. Výchozí klíč je serving-endpoint.

Poznámka:

Aby bylo možné zpracovávat žádosti o odvozování z vaší aplikace, musí být koncový bod obsluhující model ve READY stavu.

Proměnné prostředí

Když nasadíte aplikaci s modelem obsluhující prostředek koncového bodu, Azure Databricks zveřejní název obsluhujícího koncového bodu prostřednictvím proměnných prostředí, na které můžete odkazovat pomocí valueFrom pole.

Například:

SERVING_ENDPOINT=<your-serving-endpoint-name>

Další informace najdete v tématu Použití proměnných prostředí pro přístup k prostředkům.

Odstranit prostředek koncového bodu pro obsluhu modelu

Když odeberete model obsluhující prostředek koncového bodu z aplikace, instanční objekt aplikace ztratí přístup ke koncovému bodu. Samotný model obsluhující koncový bod zůstane beze změny a bude nadále dostupný pro ostatní uživatele a aplikace s příslušnými oprávněními.

Osvědčené postupy

Při práci s modelem obsluhujícími prostředky koncových bodů zvažte následující skutečnosti:

• Udělte minimální oprávnění. Používejte Can view pro nejmenší přístup nebo Can query pro většinu aplikací, které potřebují odesílat žádosti o odvozování, pokud vaše aplikace konkrétně nepotřebuje provádět úlohy správy na koncovém bodu.
• Pokud je to možné, vyhněte se dlouhotrvajícím dotazům, protože inferenční požadavky mohou vypršet.
• Před odesláním požadavků zkontrolujte stav koncového bodu. Aby bylo možné zpracovávat dotazy, musí být koncové body ve READY stavu.
• Zvažte omezení rychlosti požadavků na odvozování, abyste se vyhnuli zahlcení koncového bodu, zejména během období vysokého provozu.