Přidání prostředku koncového bodu pro nasazování modelu do aplikace Databricks

Přidejte koncové body pro obsluhu modelů jako prostředky Databricks Apps, aby vaše aplikace mohla dotazovat modely strojového učení pro inference. Model obsluhující koncové body zpracovává předpovědi modelu a poskytuje konzistentní rozhraní pro přístup k nasazeným modelům.

Přidejte zdroj koncového bodu pro obsluhu modelu

Než přidáte koncový bod pro model jako prostředek, projděte si požadavky na prostředky aplikace.

1. V sekci Zdroje aplikací při vytváření nebo úpravě aplikace klikněte na + Přidat zdroj>Model.
2. Ve výběru prostředků vyberte koncový bod pro poskytování modelu v části Serving Endpoints. Výběr také uvádí modelové služby Unity Gateway v sekci Unity Gateway .
3. Vyberte odpovídající úroveň oprávnění pro vaši aplikaci:
   • Může zobrazit: Zobrazení metadat koncových bodů, včetně názvů modelů, verzí a konfigurace úloh Žádosti o odvození nelze odeslat.
   • Může dotazovat: Odesílat žádosti o odvození a zobrazovat metadata Tuto možnost použijte pro většinu aplikací, které potřebují predikce modelu.
   • Může spravovat: Úplné řízení správy, včetně zobrazení, úprav, dotazů, odstranění a správy oprávnění.
4. (Volitelné) Zadejte vlastní klíč prostředku, což je způsob, jakým odkazujete na koncový bod obsluhující model v konfiguraci aplikace. Výchozí klíč je model.

Poznámka:

Aby bylo možné zpracovávat žádosti o odvozování z vaší aplikace, musí být koncový bod obsluhující model ve READY stavu.

Poznámka:

Koncové body pro poskytování modelů foundation model spravované službou Azure Databricks (názvy začínající na databricks-) jsou ve výběru označeny jako Legacy. Pro obsluhu základního modelu místo toho připojte službu modelu Unity Gateway.

Proměnné prostředí

Když nasadíte aplikaci s modelem obsluhující prostředek koncového bodu, Azure Databricks zveřejní název obslužného koncového bodu prostřednictvím proměnných prostředí, na které můžete odkazovat pomocí pole valueFrom.

Například:

SERVING_ENDPOINT=<your-serving-endpoint-name>

Další informace najdete v tématu Použití proměnných prostředí pro přístup k prostředkům.

Odstranit prostředek koncového bodu pro obsluhu modelu

Když odeberete model obsluhující prostředek koncového bodu z aplikace, instanční objekt aplikace ztratí přístup ke koncovému bodu. Samotný model obsluhující koncový bod zůstane beze změny a bude nadále dostupný pro ostatní uživatele a aplikace s příslušnými oprávněními.

Osvědčené postupy

Při práci s modelem obsluhujícími prostředky koncových bodů zvažte následující skutečnosti:

• Udělte minimální oprávnění. Používejte Can view pro nejmenší přístup nebo Can query pro většinu aplikací, které potřebují odesílat žádosti o odvozování, pokud vaše aplikace konkrétně nepotřebuje provádět úlohy správy na koncovém bodu.
• Pokud je to možné, vyhněte se dlouhotrvajícím dotazům, protože inferenční požadavky mohou vypršet.
• Před odesláním požadavků zkontrolujte stav koncového bodu. Aby bylo možné zpracovávat dotazy, musí být koncové body ve READY stavu.
• Zvažte omezení rychlosti požadavků na odvozování, abyste se vyhnuli zahlcení koncového bodu, zejména během období vysokého provozu.