Monitorare il modello distribuito
La distribuzione sicura del modello no-show lo porta in produzione, ma è proprio in produzione che il comportamento reale di un modello e i dati che riceve possono iniziare a discostarsi da quanto il team di data science aveva previsto. Il monitoraggio è il modo in cui si individua questo.
Monitorare lo stato operativo dell'endpoint
Azure Machine Learning endpoint online generano metriche per Monitoraggio di Azure, tra cui latenza delle richieste, numero di richieste, frequenza degli errori e utilizzo della CPU e della memoria del calcolo della distribuzione. È possibile visualizzarli in studio di Azure Machine Learning oppure creare avvisi e dashboard direttamente in Monitoraggio di Azure. Se il tasso di errore dell'endpoint registra un picco o la latenza aumenta, questo andamento indica un problema di infrastruttura o di scoring su cui indagare, indipendentemente dal fatto che le previsioni del modello siano ancora accurate.
Tip
Altre informazioni sul monitoraggio degli endpoint online.
Se una distribuzione non riesce a effettuare il provisioning o assegnare punteggi alle richieste, separare prima i problemi di configurazione dai problemi di runtime. Testare il modello in locale, quando possibile, esaminare lo stato della distribuzione e i dettagli dell'errore ed esaminare i log dei contenitori. I log possono rivelare dipendenze mancanti, comportamento di assegnazione dei punteggi non validi, errori di immagine o vincoli di risorsa e quota.
Tip
Altre informazioni sulla risoluzione dei problemi relativi alla distribuzione e all'assegnazione dei punteggi degli endpoint online.
Configurare il monitoraggio per le stime del modello
Le metriche indicano che l'endpoint risponde; non dicono però se le sue previsioni restano ancora valide quando i dati del mondo reale cambiano. Azure Machine Learning fornisce il monitoraggio del modello a tale scopo, ma si tratta di una funzionalità che va configurata. Per impostazione predefinita, una distribuzione non viene monitorata per la qualità delle previsioni. Per usarla, è prima necessario abilitare la raccolta dati nella distribuzione online in modo che vengano registrate le richieste e le risposte in ingresso, quindi creare un monitoraggio che confronta i dati di produzione con un set di dati di riferimento, in genere i dati su cui è stato eseguito il training o la convalida del modello.
Un modello monitora i segnali come questi in base a una pianificazione definita:
| Segnale | Cosa rileva |
|---|---|
| Deriva dei dati | La distribuzione delle caratteristiche di input si discosta dai dati di riferimento. |
| Deriva della previsione | La distribuzione degli output del modello cambia nel tempo. |
| Qualità dei dati | Valori mancanti, nuove categorie o valori fuori intervallo appaiono nei dati di produzione. |
| Deriva dell'attribuzione delle caratteristiche | L'importanza relativa delle variabili cambia rispetto alla fase di addestramento. |
Tip
Altre informazioni sul monitoraggio delle prestazioni dei modelli distribuiti nell'ambiente di produzione.
Decidere quando analizzare o riaddestrare
Un segnale di monitoraggio che supera la soglia configurata è un prompt per analizzare, non una correzione automatica. Per il modello no-show di Proseware, un avviso di deriva dei dati sul lead time degli appuntamenti potrebbe significare che la clinica ha modificato i criteri di pianificazione, che vale la pena di esaminare più da vicino prima di decidere se è necessaria la ripetizione del training. Un segnale persistente di deriva delle previsioni, abbinato al feedback del personale della clinica secondo cui gli appuntamenti contrassegnati non presentano in realtà un rischio maggiore, costituisce un’indicazione più solida della necessità di riaddestrare il modello sui dati più recenti e distribuirlo nuovamente tramite la stessa pipeline che hai automatizzato in precedenza in questo modulo.
Scegli tra rollback e riaddestramento
Il rollback è appropriato quando un problema inizia con una nuova distribuzione e il modello precedente rimane integro. Spostare prima il traffico verso la distribuzione mantenuta, quindi esaminare la nuova versione. Il riaddestramento è più appropriato quando i dati di produzione o il comportamento nel mondo reale sono cambiati a tal punto da far sì che il modello precedente presenterebbe lo stesso limite. Il monitoraggio fornisce prove per la decisione; non dovrebbe attivare alcuna risposta senza valutazione.