Monitorare le pipeline

Monitorare le pipeline di Lakeflow usando l'interfaccia utente della pipeline predefinita, il log eventi, la cronologia delle query e gli hook di eventi personalizzati. Queste funzionalità tengono traccia dello stato di avanzamento dell'aggiornamento, della qualità dei dati, della derivazione e delle metriche di streaming.

Il monitoraggio delle pipeline funziona su tre livelli, da uno sguardo rapido a query programmatiche approfondite:

• La lista Jobs & Pipelines è il controllo più veloce. Mostra il risultato delle ultime cinque esecuzioni come indicatori di stato accanto a ogni pipeline, così puoi capire a colpo d'occhio se le esecuzioni recenti hanno avuto successo, fallito o sono ancora in corso.
• L'interfaccia di monitoraggio della pipeline mostra il grafico della pipeline codificato a colori per stato, conteggio delle righe per tabella, metriche di qualità dei dati, cronologia degli aggiornamenti e metriche di streaming backlog per l'aggiornamento selezionato. Vedi Monitoraggio delle pipeline nell'interfaccia utente.
• Il registro degli eventi è la verità fondamentale sotto entrambi. È una tabella Delta strutturata che si interroga per qualsiasi cosa programmatica o storica, come risultati degli aggiornamenti, tendenze di qualità dei dati e utilizzo delle risorse. Vedere Registro eventi della pipeline.

Per avvisare gli eventi della pipeline, configura le notifiche. Imposta le notifiche direttamente su una pipeline quando viene eseguita con un proprio programma, oppure come notifiche di lavoro quando la pipeline è attiva all'interno di un Lakeflow Job. Vedi Aggiungi le notifiche di posta elettronica agli eventi della pipeline.

Argomento	Description
Monitorare usando l'interfaccia utente	Osservare l'avanzamento e lo stato degli aggiornamenti della pipeline e segnalare l'esito positivo o negativo. Visualizzare le metriche per le origini di streaming, ad esempio Apache Kafka e Auto Loader.
Log eventi	Estrarre informazioni dettagliate sugli aggiornamenti della pipeline, ad esempio derivazione dei dati, metriche di qualità dei dati e utilizzo delle risorse usando il registro eventi della pipeline. Vedere anche lo schema per il registro eventi.
Cronologia query	Esaminare e diagnosticare le prestazioni delle query esaminando la cronologia delle query.
Monitoraggio personalizzato	Definire azioni personalizzate da eseguire quando si verificano eventi specifici utilizzando gli hook degli eventi.

Sono inoltre disponibili argomenti per la risoluzione dei problemi per scenari specifici.

Argomento	Description
Ripristinare una pipeline da un guasto del checkpoint di streaming	Ripristinare una pipeline con un checkpoint di streaming non valido o danneggiato.
Correggere i tempi di inizializzazione elevati nelle pipeline	Correggere i tempi di inizializzazione elevati per una pipeline suddividendo e bilanciando il carico dei flussi tra le pipeline.