Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Poskytování modelů poskytuje pokročilé nástroje pro monitorování kvality a stavu modelů a jejich nasazení. Následující tabulka obsahuje přehled jednotlivých dostupných monitorovacích nástrojů.
| nástroj | Description | Purpose | Přístup |
|---|---|---|---|
| Dočasné protokoly služby | Zachytává stdout a stderr streamy z koncového bodu pro obsluhu modelu. |
Užitečné pro ladění během implementace modelu. Používejte logging.warning(...) nebo logging.error(...) pro okamžité zobrazení v protokolech. |
Přístupné pomocí záložky Protokoly v uživatelském rozhraní obslužné aplikace. Protokoly se streamují v reálném čase a dají se exportovat prostřednictvím rozhraní API. |
| OpenTelemetry pro vlastní model obsluhující koncové body | Zachovává standardní systémové logy, logy vlastních aplikací, metriky a sledování do tabulek Unity Catalog Delta pomocí OpenTelemetry pro dlouhodobé uchování. | Užitečné pro historické ladění, požadavky na dodržování předpisů a analýzu produkčních problémů pomocí dotazů SQL. | Při vytváření koncového bodu nakonfigurujte nastavení telemetrie v uživatelském rozhraní nebo rozhraní API pro obsluhu. Dotazujte se na protokoly pomocí SQL z Unity Catalogu nebo poznámkových bloků v Azure Databricks. |
| Protokoly sestavení | Zobrazí výstup z procesu, který automaticky vytvoří produkční prostředí Pythonu pro koncový bod obsluhující model. | Užitečné při diagnostice problémů s nasazením modelu a závislostmi. | K dispozici po dokončení sestavení modelu ve službě v části Protokoly sestavení na kartě Protokoly. Protokoly lze exportovat pomocí rozhraní API. Tyto protokoly se uchovávají po dobu až třiceti (30) dnů. |
| Metriky stavu koncového bodu | Poskytuje přehled o metrikách infrastruktury, jako je latence, frekvence požadavků, míra chyb, využití procesoru a využití paměti. | Důležité pro pochopení výkonu a stavu obslužné infrastruktury. | Ve výchozím nastavení je k dispozici v obslužném uživatelském rozhraní posledních 14 dnů. Data je možné streamovat také do nástrojů pozorovatelnosti v reálném čase. |
| inferenční tabulky s podporou brány AI | Automaticky protokoluje žádosti o online predikce a odpovědi do tabulek Delta spravovaných službou Unity Catalog pro koncové body, které obsluhují vlastní modely, externí modely nebo úlohy zřízené propustnosti. | Tento nástroj slouží k monitorování a ladění kvality modelu nebo odpovědí, generování trénovacích sad dat nebo provádění auditů dodržování předpisů. | Může být povoleno pro stávající a nové koncové body služby při povolování funkcí AI Gateway pomocí uživatelského rozhraní služby nebo rozhraní REST API. |
Návod
Pomocí těchto monitorovacích nástrojů identifikujte kritické body výkonu a optimalizujte koncové body. Komplexní strategie optimalizace najdete v tématu Optimalizace koncových bodů obsluhy modelů pro produkční prostředí.