Formazione
Percorso di apprendimento
Use advance techniques in canvas apps to perform custom updates and optimization - Training
Use advance techniques in canvas apps to perform custom updates and optimization
Questo browser non è più supportato.
Esegui l'aggiornamento a Microsoft Edge per sfruttare i vantaggi di funzionalità più recenti, aggiornamenti della sicurezza e supporto tecnico.
L'articolo illustra:
Nota
Se si ha già familiarità con questo servizio e/o il Monitoraggio di Azure e si vuole solo sapere come analizzare i dati di monitoraggio, vedere la sezione Analizza alla fine di questo articolo.
Quando si hanno applicazioni e processi di business critici che si basano sulle risorse di Azure, è necessario monitorare e ricevere avvisi per il sistema. Il servizio Monitoraggio di Azure raccoglie e aggrega metriche e log da ogni componente del sistema. Il Monitoraggio di Azure offre una visione sulla disponibilità, le prestazioni e la resilienza e notifica i problemi. È possibile usare il portale di Azure, PowerShell, l'interfaccia della riga di comando di Azure, l'API REST o le librerie client per configurare e visualizzare i dati di monitoraggio.
Esistono diversi modi per monitorare Azure Data Factory.
È possibile monitorare tutte le esecuzioni della pipeline di Data Factory in modo nativo in Azure Data Factory Studio. Per aprire l'esperienza di monitoraggio, selezionare Avvia Studio dalla pagina Data Factory nel portale di Azure e in Azure Data Factory Studio selezionare Monitoraggio dal menu a sinistra.
Per altre informazioni sul monitoraggio in Azure Data Factory Studio, vedere gli articoli seguenti:
È anche possibile monitorare Azure Data Factory direttamente dal portale di Azure. Diversi grafici delle metriche vengono visualizzati nella pagina Panoramica del portale di Azure per Data Factory. Nel menu della barra laterale sinistra è possibile accedere al Log attività di Azure oppure selezionare Avvisi, Metriche, Impostazioni di diagnostica o Log dalla sezione Monitoraggio.
È possibile monitorare le pipeline di Data Factory a livello di codice usando .NET, PowerShell, Python o l'API REST. Per altre informazioni, vedere gli articoli seguenti:
Azure usa il concetto di tipi di risorse e ID per identificare tutti gli elementi in una sottoscrizione. I tipi di risorse fanno anche parte degli ID della risorsa per ogni risorsa in esecuzione in Azure. Ad esempio, un tipo di risorsa per una macchina virtuale è Microsoft.Compute/virtualMachines
. Per un elenco dei servizi e dei relativi tipi di risorse associati, vedere Provider di risorse.
Il Monitoraggio di Azure organizza in modo analogo i dati di monitoraggio di base in metriche e log in base ai tipi di risorse, detti anche spazi dei nomi. Sono disponibili metriche e log diversi per diversi tipi di risorse. Il servizio potrebbe essere associato a più tipi di risorse.
Per altre informazioni sui tipi di risorse per Azure Data Factory, vedere Informazioni di riferimento sui dati di monitoraggio di Data Factory.
Per il Monitoraggio di Azure:
Facoltativamente, è possibile instradare i dati delle metriche e dei log attività all'archivio dei log di Monitoraggio di Azure. È quindi possibile usare Analisi dei log per eseguire query sui dati e correlarli con altri dati di log.
Molti servizi possono usare le impostazioni di diagnostica per inviare i dati delle metriche e dei log ad altre posizioni di archiviazione all'esterno di Monitoraggio di Azure. Gli esempi includono Archiviazione di Azure, sistemi partner ospitati e sistemi partner non Azure usando Hub eventi.
Per informazioni dettagliate su come il Monitoraggio di Azure archivia i dati, vedere la piattaforma dati del Monitoraggio di Azure.
Data Factory archivia i dati di esecuzione della pipeline solo per 45 giorni. Usare Monitoraggio di Azure per instradare i log di diagnostica se si vogliono mantenere i dati più a lungo.
Instradare i dati a Log Analytics se si vogliono analizzare i dati con query complesse, creare avvisi personalizzati o monitorarli tra data factory. È possibile instradare i dati da più data factory a una singola area di lavoro Log Analytics.
È possibile usare un account di archiviazione o uno spazio dei nomi di Hub eventi che non si trova nella sottoscrizione della risorsa che genera i log. L'utente che configura l'impostazione deve avere l'accesso appropriato per il controllo degli accessi in base al ruolo di Azure a entrambe le sottoscrizioni.
Il Monitoraggio di Azure fornisce metriche della piattaforma per la maggior parte dei servizi. Le metriche sono:
Raccolta: il Monitoraggio di Azure raccoglie automaticamente le metriche della piattaforma. Non è richiesta alcuna configurazione.
Routing: è anche possibile instradare alcune metriche della piattaforma ai log di Monitoraggio di Azure/Log Analytics per poterle eseguire query con altri dati di log. Controllare l'impostazione di esportazione DS per ogni metrica per verificare se è possibile usare un'impostazione di diagnostica per instradare la metrica ai log di Monitoraggio di Azure/Log Analytics.
Per un elenco di tutte le metriche che è possibile raccogliere per tutte le risorse nel Monitoraggio di Azure, vedere Metriche supportate nel Monitoraggio di Azure.
Per un elenco delle metriche disponibili per Data Factory, vedere Informazioni di riferimento sui dati di monitoraggio di Data Factory.
I log delle risorse forniscono informazioni dettagliate sulle operazioni eseguite da una risorsa di Azure. I log vengono generati automaticamente, ma è necessario indirizzarli verso i log del Monitoraggio di Azure per salvarli o interrogarli. I log sono organizzati in categorie. Uno specifico spazio dei nomi potrebbe avere più categorie di log delle risorse.
Raccolta: i log delle risorse non vengono raccolti e archiviati fino a quando non si crea un'impostazione di diagnostica e li si instrada verso una o più posizioni. Quando si crea un'impostazione di diagnostica, si specificano quali categorie di log raccogliere. Esistono diversi modi per creare e gestire le impostazioni di diagnostica, tra cui il portale di Azure, il livello programmatico e anche i Criteri di Azure.
Pianificazione percorso: l'impostazione predefinita consigliata consiste nell'instradare i log delle risorse verso i log del Monitoraggio di Azure in modo da poterli interrogare con altri dati di log. Sono disponibili anche altre posizioni, ad esempio Archiviazione di Azure, Hub eventi di Azure e alcuni partner di monitoraggio Microsoft. Per altre informazioni, vedere Log delle risorse di Azure e Destinazioni del log delle risorse.
Per informazioni dettagliate sulla raccolta, l'archiviazione e la pianificazione percorso dei log delle risorse, vedere Impostazioni di diagnostica nel Monitoraggio di Azure.
Per un elenco di tutte le categorie di log delle risorse disponibili nel Monitoraggio di Azure, vedere Log delle risorse supportati nel Monitoraggio di Azure.
Tutti i log delle risorse nel Monitoraggio di Azure hanno gli stessi campi d'intestazione, seguiti da campi specifici del servizio. Lo schema comune è descritto in Schema dei log delle risorse di Monitoraggio di Azure.
Per le categorie di log delle risorse di Data Factory disponibili, le tabelle di Log Analytics associate e gli schemi dei log, vedere Informazioni di riferimento sui dati di monitoraggio di Data Factory.
Per configurare le impostazioni di diagnostica e un'area di lavoro Log Analytics per monitorare Data Factory, vedere Configurare le impostazioni di diagnostica e un'area di lavoro.
Il log attività contiene eventi a livello di sottoscrizione che tengono traccia delle operazioni per ogni risorsa di Azure vista dall'esterno, ad esempio la creazione di una nuova risorsa o l'avvio di una macchina virtuale.
Raccolta: gli eventi del log attività vengono generati e raccolti automaticamente in un archivio separato per la visualizzazione nel portale di Azure.
Pianificazione percorso: è possibile inviare i dati del log attività ai log di Monitoraggio di Azure in modo da poterli analizzare insieme ad altri dati di log. Sono disponibili anche altre posizioni, ad esempio Archiviazione di Azure, Hub eventi di Azure e alcuni partner di monitoraggio Microsoft. Per altre informazioni su come instradare i log attività, vedere Informazioni generali sul log attività di Azure.
Il runtime di integrazione è l'infrastruttura di calcolo usata da Data Factory per fornire funzionalità di integrazione dei dati in ambienti di rete diversi. Data Factory offre diversi tipi di runtime di integrazione:
Monitoraggio di Azure raccoglie metriche e log di diagnostica per tutti i tipi di runtime di integrazione. Per istruzioni dettagliate sul monitoraggio dei runtime di integrazione, vedere gli articoli seguenti:
Sono disponibili molti strumenti per l'analisi dei dati di monitoraggio.
Il Monitoraggio di Azure supporta gli strumenti di base seguenti:
Esplora metriche, uno strumento nel portale di Azure che consente di visualizzare e analizzare le metriche per le risorse di Azure. Per altre informazioni, vedere Analizzare le metriche con Esplora metriche di Monitoraggio di Azure.
Log Analytics, uno strumento nel portale di Azure che consente di eseguire query e analizzare i dati di log usando il linguaggio di query Kusto (KQL). Per altre informazioni, vedere Introduzione alle query dei log del Monitoraggio di Azure.
Log attività, che dispone di un'interfaccia utente nel portale di Azure per la visualizzazione e le ricerche di base. Per eseguire analisi più approfondite, è necessario instradare i dati verso i log di Monitoraggio di Azure ed eseguire query più complesse in Log Analytics.
Gli strumenti che consentono una visualizzazione più complessa includono:
È possibile ottenere dati dal Monitoraggio di Azure in altri strumenti usando i metodi seguenti:
Metriche: usare l'API REST per le metriche per estrarre i dati delle metriche dal database delle metriche del Monitoraggio di Azure. L'API supporta espressioni di filtro per perfezionare i dati recuperati. Per altre informazioni, vedere Informazioni di riferimento sull'API REST del Monitoraggio di Azure.
Log: usare l'API REST o le librerie client associate.
Un'altra opzione è l'esportazione dati dell'area di lavoro.
Per iniziare a usare l'API REST per il Monitoraggio di Azure, vedere Procedura dettagliata per l'API REST del Monitoraggio di Azure.
Per istruzioni dettagliate sulla configurazione dei log di diagnostica tramite l'API REST, vedere Configurare i log di diagnostica tramite l'API REST di Monitoraggio di Azure.
È possibile analizzare i dati di monitoraggio nell'archivio dei Log/Log Analytics del Monitoraggio di Azure usando il linguaggio di query Kusto (KQL).
Importante
Quando si seleziona Log dal menu del servizio nel portale, Analisi dei log si apre con l'ambito della query impostato sul servizio corrente. Questo ambito fa sì che le query di log includano solo i dati di tale tipo di risorsa. Se si vuole eseguire una query che includa dati di altri servizi di Azure, selezionare Log nel menu di Monitoraggio di Azure. Per i dettagli, vedere Ambito e intervallo di tempo delle query su log in Log Analytics di Monitoraggio di Azure.
Per un elenco delle query comuni per qualsiasi servizio, vedere l'interfaccia query di Analisi dei log.
Per query di esempio, selezionare Log in Monitoraggio nel riquadro di spostamento sinistro della pagina Data Factory nel portale di Azure e quindi selezionare la scheda Query. Ecco alcune query di esempio:
Disponibilità di PipelineRuns: offre la disponibilità delle esecuzioni della pipeline.
ADFPipelineRun
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| summarize availability = 100.00 - (100.00*countif(Status != 'Succeeded') / count()) by bin(TimeGenerated, 1h)), _ResourceId
| order by TimeGenerated asc
| render timechart
5 errori principali delle esecuzioni di attività: restituisce le prime cinque attività che hanno esito negativo con errori di sistema.
ADFActivityRun
| where TimeGenerated >= ago(24h)
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| where ActivityName in (name)
| summarize failureCount = countif(Status != 'Succeeded') by bin(TimeGenerated, 1h), ActivityName
| top 5 by failureCount desc nulls last
| order by TimeGenerated asc
| render timechart
Stato più recente dell'esecuzione della pipeline: restituisce lo stato più recente delle esecuzioni della pipeline.
ADFPipelineRun
| summarize argmax(TimeGenerated, * ) by RunId, Status, _ResourceId
Gli avvisi di Monitoraggio di Azure notificano in modo proattivo quando vengono riscontrate condizioni specifiche nei dati di monitoraggio. Consentono di identificare e risolvere i problemi del sistema prima che gli utenti li notino. Per altre informazioni, vedere Avvisi di Monitoraggio di Azure.
Esistono molte origini di avvisi comuni per le risorse di Azure. Per esempi di avvisi comuni per le risorse di Azure, vedere Query di avviso di log di esempio. Il sito Avvisi di base di Monitoraggio di Azure (AMBA) offre un metodo semi-automatizzato per implementare importanti avvisi, dashboard e linee guida per le metriche della piattaforma. Il sito si applica a un sottoinsieme di servizi di Azure in continua espansione, inclusi tutti i servizi che fanno parte della zona di destinazione di Azure.
Lo schema di avviso comune standardizza l'utilizzo delle notifiche di avviso di Monitoraggio di Azure. Per altre informazioni, vedere lo Schema degli avvisi comuni.
È possibile creare avvisi su qualsiasi metrica o fonte di dati di log nella piattaforma di dati di Monitoraggio di Azure. Esistono molti tipi diversi di avvisi a seconda dei servizi monitorati e dei dati di monitoraggio raccolti. Ogni tipo di avviso presenta vantaggi e svantaggi. Per altre informazioni, vedere Scegliere il tipo di avviso di monitoraggio corretto.
L'elenco seguente descrive i tipi di avvisi del Monitoraggio di Azure che è possibile creare:
Alcuni servizi di Azure supportano anche avvisi di rilevamento intelligente, avvisi Prometheus o regole di avviso consigliate.
Per alcuni servizi, è possibile effettuare un monitoraggio su larga scala applicando la stessa regola di avviso delle metriche a più risorse dello stesso tipo presenti nella stessa area di Azure. Vengono inviate notifiche singole per ogni risorsa monitorata. Per i servizi e i cloud di Azure supportati, vedere Monitorare più risorse con una regola di avviso.
Per creare e gestire gli avvisi, selezionare Avvisi in Monitoraggio nel riquadro di spostamento sinistro della pagina Data Factory nel portale di Azure.
Nella tabella seguente sono elencate le regole di avviso comuni per Data Factory. Questo è solo un elenco consigliato. È possibile impostare avvisi per qualsiasi metrica, voce di log o voce di log attività elencata nelle Informazioni di riferimento sui dati di monitoraggio di Data Factory.
Tipo di avviso | Condizione | Descrizione |
---|---|---|
Metric | Failed pipeline runs metrics (Metrica esecuzioni pipeline non riuscite) | Ogni volta che la metrica relativa al totale di esecuzioni della pipeline non riuscite è maggiore di 0 |
Metric | Total entities count (Conteggio totale entità) | Ogni volta che il numero massimo di entità totali è maggiore di 1700000 |
Metric | Maximum allowed entities count (Conteggio massimo consentito per le entità) | Ogni volta che le dimensioni massime totali della factory (unità GB) sono maggiori di 6 |
Le notifiche forniscono avvisi proattivi durante o dopo l'esecuzione di una pipeline.
Per alcuni servizi, se si verificano condizioni critiche o modifiche imminenti durante le operazioni sulle risorse, viene visualizzato un avviso nella pagina Panoramica del servizio nel portale. È possibile trovare altre informazioni e correzioni consigliate per l'avviso in Consigli di Advisor in Monitoraggio nel menu a sinistra. Durante il normale funzionamento non viene visualizzato nessun consiglio di Advisor.
Per altre informazioni su Azure Advisor, vedere Informazioni generali su Azure Advisor.
Formazione
Percorso di apprendimento
Use advance techniques in canvas apps to perform custom updates and optimization - Training
Use advance techniques in canvas apps to perform custom updates and optimization
Documentazione
Monitorare visivamente Azure Data Factory - Azure Data Factory
Informazioni su come monitorare visivamente le data factory di Azure
Informazioni di riferimento sul monitoraggio dei dati per Azure Data Factory - Azure Data Factory
Questo articolo contiene materiale di riferimento importante necessario quando si monitora Azure Data Factory.
Monitorare a livello di codice un'istanza di Azure Data Factory - Azure Data Factory
Informazioni su come monitorare una pipeline in una data factory con diversi Software Development Kit (SDK).