Condividi tramite

Monitorare la qualità del modello e l'integrità degli endpoint

Mosaic AI Model Serving offre strumenti avanzati per il monitoraggio della qualità e dell'integrità dei modelli e delle relative distribuzioni. La tabella seguente offre una panoramica di ogni strumento di monitoraggio disponibile.

Strumento Descrizione Scopo Accesso
Log del servizio Acquisisce e stdout trasmette flussi stderr dall'endpoint di gestione del modello. Utile per il debug durante la distribuzione del modello. Usare logging.warning(...) o logging.error(...) per visualizzare immediatamente i log. Accessibile tramite la scheda Log nell'interfaccia utente di servizio. I log vengono trasmessi in tempo reale e possono essere esportati tramite l'API.
Log di compilazione Visualizza l'output del processo che crea automaticamente un ambiente Python pronto per la produzione per l'endpoint di gestione del modello. Utile per la diagnosi dei problemi di distribuzione e dipendenza del modello. Disponibile al completamento del modello che gestisce la compilazione in Log di compilazione nella scheda Log . I log possono essere esportati tramite l'API. Questi log vengono conservati per un massimo di trenta (30) giorni.
Metriche di integrità degli endpoint Fornisce informazioni dettagliate sulle metriche dell'infrastruttura, ad esempio latenza, frequenza delle richieste, frequenza di errore, utilizzo della CPU e utilizzo della memoria. Importante per comprendere le prestazioni e l'integrità dell'infrastruttura di servizio. Disponibile per impostazione predefinita nell'interfaccia utente Di servizio per gli ultimi 14 giorni. I dati possono anche essere trasmessi agli strumenti di osservabilità in tempo reale.
tabelle di inferenza abilitate da gateway AI Registra automaticamente le richieste di previsione online e le risposte in tabelle Delta gestite dal catalogo Unity per gli endpoint che gestiscono modelli personalizzati, modelli esterni o carichi di lavoro con throughput assegnato. Usare questo strumento per il monitoraggio e il debug della qualità o delle risposte del modello, la generazione di set di dati di training o l'esecuzione di controlli di conformità. Può essere abilitato per gli endpoint esistenti e nuovi del modello quando si abilitano le funzionalità del gateway AI utilizzando l'interfaccia utente di servizio o l'API REST.

Suggerimento

Usare questi strumenti di monitoraggio per identificare i colli di bottiglia delle prestazioni e ottimizzare gli endpoint. Per strategie di ottimizzazione complete, vedere Ottimizzare gli endpoint di gestione dei modelli per la produzione.

Risorse aggiuntive

  • Last updated on