Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
A Modellkiszolgáló fejlett eszközkészletet biztosít a modellek és azok üzembe helyezései minőségének és állapotának monitorozásához. Az alábbi táblázat az elérhető monitorozási eszközök áttekintését tartalmazza.
| Eszköz | Leírás | Alkalmazás célja | Hozzáférés |
|---|---|---|---|
| Rövid élettartamú szolgáltatásnaplók | Rögzíti a stdout és stderr áramlatokat a modell szolgáltatási végpontjáról. |
Hasznos hibakereséshez a modell üzembe helyezése során. Használja a logging.warning(...), vagy a logging.error(...) azonnali megjelenítéséhez a naplókban. |
Elérhető a Kiszolgáló felhasználói felületén a Naplók lapon . A naplók valós időben streamelhetők, és az API-val exportálhatók. |
| OpenTelemetria végpontokat kiszolgáló egyéni modellhez | Megőrzi a standard rendszernaplókat, egyéni alkalmazásnaplókat, metrikákat és nyomkövetéseket a Unity Catalog Delta-tábláiban az OpenTelemetria használatával a hosszú távú megőrzés érdekében. | Hasznos az előzménykereséshez, a megfelelőségi követelményekhez és az éles problémák SQL-lekérdezésekkel történő elemzéséhez. | A végpont létrehozásakor konfigurálja a telemetriabeállításokat a kiszolgáló felhasználói felületén vagy AZ API-ban. Naplók lekérdezése Unity Catalog SQL- vagy Azure Databricks-jegyzetfüzetekkel. |
| Build naplók | Megjeleníti a folyamat kimenetét, amely automatikusan létrehoz egy éles üzemre kész Python-környezetet a végpontot kiszolgáló modellhez. | A modell üzembe helyezési és függőségi problémáinak diagnosztizálása szempontjából hasznos. | A model kiszolgálásához szükséges build befejezése után érhető el a Build naplók lapon a Naplók fülön. A naplók az API-val exportálhatók. Ezeket a naplókat legfeljebb harminc (30) napig őrzi meg a rendszer. |
| Végpontok egészségügyi mutatói | Betekintést nyújt az infrastruktúra-metrikákba, például a késésbe, a kérelmek sebességébe, a hibaarányba, a processzorhasználatba és a memóriahasználatba. | Fontos a kiszolgáló infrastruktúra teljesítményének és állapotának megértéséhez. | Alapértelmezés szerint elérhető a kiszolgáló felhasználói felületén az elmúlt 14 napban. Az adatok valós időben is továbbíthatók a megfigyelhetőségi eszközökre. |
| AI Gateway-kompatibilis következtetési táblák | Automatikusan naplózza az online előrejelzési kérelmeket és válaszokat a Unity Catalog által felügyelt Delta-táblákba egyéni modelleket, külső modelleket vagy kiosztott átviteli sebességet kiszolgáló végpontok esetében. | Ez az eszköz a modell minőségének vagy válaszainak monitorozására és hibakeresésére, betanítási adatkészletek létrehozására vagy megfelelőségi auditok elvégzésére használható. | A végpontokat kiszolgáló meglévő és új modell esetében engedélyezhető AI-átjáró funkciók engedélyezésekor a Kiszolgáló felhasználói felület vagy a REST API használatával. |
Jótanács
Ezekkel a monitorozási eszközökkel azonosíthatja a teljesítménybeli szűk keresztmetszeteket, és optimalizálhatja a végpontokat. Az átfogó optimalizálási stratégiákért lásd: A modellkiszolgáló végpontok produkciós környezetben történő optimalizálása.