Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Modellservern tillhandahåller avancerade verktyg för att övervaka kvaliteten och hälsan för modeller och deras distributioner. Följande tabell är en översikt över varje tillgängligt övervakningsverktyg.
| Verktyg | Beskrivning | Avsikt | Åtkomst |
|---|---|---|---|
| Tillfälliga tjänstloggar | Samlar in stdout och stderr dataströmmar från modellservicens slutpunkt. |
Användbart för felsökning vid modellimplementering. Använd logging.warning(...) eller logging.error(...) för omedelbar visning i loggarna. |
Tillgänglig via fliken Loggar i servermiljöns UI. Loggar strömmas i realtid och kan exporteras via API:et. |
| OpenTelemetry för anpassade modellserverslutpunkter | Bevarar standardsystemloggar, anpassade programloggar, mått och spårningar till Delta-tabeller i Unity Catalog med OpenTelemetry för långsiktig kvarhållning. | Användbart för historisk felsökning, efterlevnadskrav och analys av produktionsproblem med hjälp av SQL-frågor. | Konfigurera telemetriinställningar i servergränssnittet eller API:et när du skapar slutpunkten. Fråga efter loggar med hjälp av Unity Catalog SQL- eller Azure Databricks-notebook-filer. |
| Skapa loggar | Visar utdata från processen som automatiskt skapar en produktionsklar Python-miljö för modellen som betjänar slutpunkten. | Användbart för att diagnostisera problem med modelldistribution och beroenden. | Tillgänglig när modellen som betjänar bygget har slutförts under Byggloggar på fliken Loggar . Loggar kan exporteras via API:et. Dessa loggar behålls i upp till trettio (30) dagar. |
| Slutpunktshälsomått | Ger insikter om infrastrukturmått som svarstid, begärandefrekvens, felfrekvens, CPU-användning och minnesanvändning. | Viktigt för att förstå prestanda och hälsa för den betjänande infrastrukturen. | Tillgänglig som standard i användargränssnittet för servering under de senaste 14 dagarna. Data kan också strömmas till observerbarhetsverktyg i realtid. |
| AI Gateway-aktiverade slutsatsdragningstabeller | Loggar automatiskt begäranden och svar om förutsägelser online i Delta-tabeller som hanteras av Unity Catalog för slutpunkter som hanterar anpassade modeller, externa modeller eller etablerade dataflödesarbetsbelastningar. | Använd det här verktyget för att övervaka och felsöka modellkvalitet eller svar, generera träningsdatauppsättningar eller utföra efterlevnadsgranskningar. | Kan aktiveras för befintliga och nya modellserverslutpunkter när du aktiverar AI Gateway- funktioner med hjälp av serveringsgränssnittet eller REST-API:et. |
Tips/Råd
Använd dessa övervakningsverktyg för att identifiera flaskhalsar i prestanda och optimera dina slutpunkter. Omfattande optimeringsstrategier finns i Optimera modellserveringsslutpunkter för produktion.