Monitorare visivamente Azure Data Factory

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi all-in-one per le aziende. Microsoft Fabric copre tutto, dallo spostamento dati al data science, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Vedere le informazioni su come iniziare una nuova prova gratuita!

Dopo aver creato e pubblicato una pipeline in Azure Data Factory, è possibile associarla a un trigger o avviare manualmente un'esecuzione ad hoc. È possibile monitorare tutte le esecuzioni della pipeline in modo nativo nell'esperienza utente di Azure Data Factory. Per aprire l'esperienza di monitoraggio, selezionare il riquadro Monitoraggio e gestione nel pannello Data factory del portale di Azure. Se si è già all'interno dell'UX di ADF, fare clic sull'icona Monitor sulla barra laterale sinistra.

Per impostazione predefinita, tutte le esecuzioni della data factory vengono visualizzate nel fuso orario locale del browser. Se si modifica il fuso orario, tutti i campi di data/ora vengono impostati sul fuso selezionato.

Monitorare le esecuzioni delle pipeline

La visualizzazione di monitoraggio predefinita è l'elenco delle esecuzioni delle pipeline attivate nel periodo di tempo selezionato. È possibile modificare l'intervallo di tempo e filtrare in base a stato, nome della pipeline o annotazione. Posizionare il puntatore del mouse sull'esecuzione della pipeline specifica per ottenere azioni specifiche dell'esecuzione, ad esempio la riesecuzione e il report sull'utilizzo.

La griglia delle esecuzioni delle pipeline include le colonne seguenti:

Nome colonna	Descrizione
Nome pipeline	Nome della pipeline
Inizio esecuzione	Data e ora di inizio dell'esecuzione della pipeline (GG/MM/AAAA, HH:MM:SS)
Fine esecuzione	Data e ora di fine dell'esecuzione della pipeline (GG/MM/AAAA, HH:MM:SS)
Durata	Durata dell'esecuzione (HH:MM:SS)
Attivato da	Il nome del trigger che ha originato la pipeline
Status	Operazione non riuscita, Operazione completata, In corso, Annullata o In coda
Annotazioni	Tag filtrabili associati a una pipeline
Parametri	Parametri relativi all'esecuzione della pipeline (coppie nome-valore)
Errore	Errore di esecuzione se la pipeline fallisce
Run	Originale, Riesecuzione o Riesecuzione (più recente)
ID esecuzione	ID dell'esecuzione della pipeline

Per aggiornare l'elenco delle esecuzioni di pipeline e attività, è necessario selezionare manualmente il pulsante Aggiorna. L'aggiornamento automatico non è attualmente supportato.

Per visualizzare i risultati dell'esecuzione di un debug, selezionare la scheda Debug.

Monitorare le esecuzioni delle attività

Per ottenere una visualizzazione dettagliata delle singole esecuzioni delle attività di una specifica esecuzione della pipeline, fare clic sul nome della pipeline.

La visualizzazione elenco mostra le esecuzioni di attività che corrispondono a ciascuna esecuzione della pipeline. Posiziona il puntatore del mouse sulla specifica esecuzione dell'attività per ottenere informazioni specifiche dell'esecuzione, ad esempio l'input JSON, l'output JSON e il monitoraggio dettagliato specifico dell'attività.

Nome colonna	Descrizione
Nome attività	Nome dell'attività all'interno della pipeline
Tipo di attività	Tipo di attività, ad esempio Copy, ExecuteDataFlow o AzureMLExecutePipeline
Azioni	Icone che consentono di visualizzare le informazioni di input JSON, le informazioni di output JSON o esperienze di monitoraggio dettagliate specifiche delle attività
Inizio esecuzione	Data e ora di inizio dell'attività (GG/MM/AAAA, HH:MM:SS AM/PM)
Durata	Durata dell'esecuzione (HH:MM:SS)
Status	Operazione non riuscita, Operazione completata, In corso o Annullata
Runtime di integrazione	Indica l'istanza di Integration Runtime in cui è stata eseguita l'attività
Proprietà utente	Proprietà dell'attività definite dall'utente
Errore	Errore di esecuzione se l'attività non è riuscita
ID esecuzione	ID dell'esecuzione dell'attività

Se un'attività non è riuscita, è possibile visualizzare il messaggio di errore dettagliato facendo clic sull'icona nella colonna degli errori.

Alzare di livello le proprietà utente per il monitoraggio

Alzare di livello qualsiasi proprietà dell'attività della pipeline e impostarla come proprietà utente in modo che diventi un'entità che è possibile monitorare. Ad esempio, è possibile alzare di livello le proprietà Origine e Destinazione dell'attività di copia nella pipeline impostandole come proprietà utente.

Nota

È possibile alzare di livello fino a cinque proprietà di attività della pipeline e impostarle come proprietà utente.

Dopo aver creato le proprietà utente, è possibile monitorarle successivamente nelle visualizzazioni delle liste di monitoraggio.

Se l'origine per l'attività di copia è il nome di una tabella, è possibile monitorare il nome della tabella di origine come colonna nella visualizzazione elenco delle esecuzioni delle attività.

Eseguire di nuovo le pipeline e le attività

Il comportamento di riesecuzione delle attività del container è il seguente:

• Wait- L'attività si comporterà come in precedenza.
• Set Variable - L'attività si comporterà come in precedenza.
• Filter - L'attività si comporterà come in precedenza.
• Until L'attività valuterà l'espressione e si ripeterà fino a quando la condizione viene soddisfatta. Le attività interne potrebbero comunque essere ignorate in base alle regole di riesecuzione.
• Foreach L'attività verrà riprodotta a ciclo continuo sugli elementi che riceve. Le attività interne potrebbero comunque essere ignorate in base alle regole di riesecuzione.
• If and switch - Le condizioni verranno sempre valutate. Tutte le attività interne verranno valutate. Le attività interne possono ancora essere ignorate in accordo con le regole di riesecuzione, ma attività come Execute Pipeline verranno eseguite nuovamente.
• Execute pipeline activity - Verrà attivata la pipeline figlia, ma tutte le attività nella pipeline figlia potrebbero comunque essere ignorate in base alle regole di riesecuzione.

Per rieseguire dall'inizio una pipeline eseguita in precedenza, passare il mouse sopra l'esecuzione della pipeline specifica e selezionare Riesegui. Se si selezionano più pipeline, è possibile usare il pulsante Riesegui per eseguirle tutte.

Se si desidera rieseguire a partire da un punto specifico, è possibile farlo dalla visualizzazione delle esecuzioni delle attività. Selezionare l'attività da cui si desidera iniziare e selezionare Ripeti esecuzione dall'attività.

È anche possibile rieseguire una pipeline e modificare i parametri. Selezionare il pulsante Nuovi parametri per modificare i parametri.

Nota

La riesecuzione di una pipeline con nuovi parametri sarà considerata una nuova esecuzione della pipeline e quindi non verrà mostrata nei gruppi di riesecuzione per un'esecuzione della pipeline.

Rieseguire dall'attività fallita

Se un'attività non riesce, raggiunge il time-out o viene annullata, è possibile eseguire nuovamente la pipeline da tale attività selezionando Esegui di nuovo nell'attività non riuscita.

Visualizzare la cronologia di riesecuzione

È possibile visualizzare la cronologia di riesecuzione per tutte le esecuzioni di pipeline nella visualizzazione elenco.

È anche possibile visualizzare la cronologia di riesecuzione per una specifica esecuzione della pipeline.

Monitorare l'utilizzo

Per visualizzare le risorse utilizzate da un'esecuzione della pipeline, fare clic sull'icona del consumo accanto all'esecuzione.

Facendo clic sull'icona viene visualizzato un report sul consumo delle risorse usate dall'esecuzione della pipeline.

È possibile inserire questi valori nel calcolatore dei prezzi di Azure per stimare il costo dell'esecuzione della pipeline. Per altre informazioni sui prezzi di Azure Data Factory, vedere Informazioni sui prezzi.

Nota

I valori restituiti dal calcolatore prezzi sono solo stimati Non riflette l'importo esatto che verrà fatturato da Azure Data Factory.

Visualizzazioni Gantt

Un diagramma di Gantt è una visualizzazione che consente di osservare la cronologia di esecuzione in un intervallo di tempo. Passando a una visualizzazione Gantt, è possibile visualizzare tutte le esecuzioni delle pipeline raggruppate per nome e mostrate come barre in base al tempo impiegato dall'esecuzione. È anche possibile raggruppare per annotazioni/tag che hai creato sulla tua pipeline. La visualizzazione Gantt è disponibile anche a livello dell'esecuzione delle attività.

La lunghezza della barra indica la durata della pipeline. È anche possibile selezionare la barra per visualizzare altri dettagli.

Avvisi

È possibile generare avvisi sulle metriche supportate in Data Factory. Per iniziare, selezionare Monitor>Alerts & metrics (Monitoraggio > Avvisi e metriche) nella pagina di monitoraggio di Data Factory.

Per un'introduzione di sette minuti e una dimostrazione di questa funzionalità, guardare il video seguente:

Creare avvisi

1. Selezionare Nuova regola di avviso per creare un nuovo avviso.

   

2. Specificare il nome della regola e selezionare la gravità dell'avviso.

   

3. Selezionare i criteri di avviso.

   

   

   Screenshot dell'elenco dei criteri.

   È possibile creare avvisi su varie metriche, tra cui quelle per il conteggio/dimensioni delle entità di Azure Data Factory, le esecuzioni di attività/pipeline/trigger, l'utilizzo della CPU del runtime di integrazione/memoria/conteggio/coda dei nodi, nonché per le esecuzioni di pacchetti SSIS e le operazioni di avvio/arresto del runtime di integrazione SSIS.

4. Configurare la logica degli avvisi. È possibile creare un avviso per la metrica selezionata per tutte le pipeline e attività corrispondenti. È anche possibile selezionare un tipo di attività, un nome di attività, un nome di pipeline o un tipo di errore specifico.

   

5. Configurare notifiche tramite posta elettronica, SMS, push, voce per l'avviso. Creare un gruppo di azioni o sceglierne uno esistente per le notifiche di avviso.

   

   

6. Crea la regola di avviso.

   

Contenuto correlato

Per informazioni sul monitoraggio e sulla gestione delle pipeline, vedere l'articolo su come monitorare e gestire pipeline a livello di codice.