Überwachen der Modellqualität und der Endpunktintegrität
Mosaic AI Model Serving bietet erweiterte Tools zum Überwachen der Qualität und der Integrität von Modellen und deren Bereitstellungen. Die folgende Tabelle enthält eine Übersicht über jedes verfügbare Überwachungstool.
| Tool | Beschreibung | Zweck | zugreifen |
|---|---|---|---|
| Dienstprotokolle | Erfasst stdout- und stderr-Datenströme aus dem Modellbereitstellungsendpunkt. |
Nützlich für das Debuggen während der Modellimplementierung. Verwenden Sie print(..., flush=true) für die sofortige Anzeige in den Protokollen. |
Zugriff über die Registerkarte Protokolle in der Serving-Benutzeroberfläche. Protokolle werden in Echtzeit gestreamt und können über die API exportiert werden. |
| Buildprotokolle | Zeigt die Ausgabe des Prozesses an, der automatisch eine produktionsbereite Python-Umgebung für den Modellbereitstellungsendpunkt erstellt. | Nützlich für die Diagnose von Modellimplementierungs- und Abhängigkeitsproblemen. | Verfügbar nach Abschluss des Modellbereitstellungsbuilds unter Buildprotokolle auf der Registerkarte Protokolle. Protokolle können über die API exportiert werden. |
| Endpunktintegritätsmetriken | Bietet Einblicke in Infrastrukturmetriken wie Latenz, Anforderungsrate, Fehlerrate, CPU-Auslastung und Arbeitsspeicherauslastung. | Wichtig für das Verständnis der Leistung und Integrität der Bereitstellungsinfrastruktur. | Standardmäßig in der Benutzeroberfläche für die letzten 14 Tage verfügbar. Daten können auch in Echtzeit auf Einblickstools gestreamt werden. |
| Rückschlusstabellen | Protokolliert automatisch Onlinevorhersageanforderungen und -antworten in Delta-Tabellen, die von Unity Catalog verwaltet werden. | Verwenden Sie dieses Tool zum Überwachen und Debuggen von Modellqualitäten oder -antworten, zum Generieren von Schulungsdatensätzen oder zum Durchführen von Complianceüberprüfungen. | Kann für vorhandene und neue Modellbereitstellungsendpunkte mithilfe eines einzigen Mausklicks in der Benutzeroberfläche oder API aktiviert werden. |