Monitorare l'attività di copia
SI APPLICA A:
Azure Data Factory Azure Synapse Analytics
Suggerimento
Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .
Questo articolo illustra come monitorare l'esecuzione dell'attività di copia nelle pipeline di Azure Data Factory e Synapse. Si basa sull'articolo di panoramica dell'attività di copia che presenta una panoramica generale sull'attività di copia. È anche possibile monitorare le attività di copia generate con lo strumento Copia dati e eliminare le attività usando lo stesso approccio.
Monitorare visivamente
Dopo aver creato e pubblicato una pipeline, è possibile associarla a un trigger o avviare manualmente un'esecuzione ad hoc. È possibile monitorare tutte le esecuzioni della pipeline in modo nativo nell'esperienza utente. Informazioni sul monitoraggio generale dalle pipeline di Azure Data Factory e Synapse in modo visivo.
Per monitorare l'esecuzione del attività Copy, passare all'interfaccia utente di Data Factory Studio o azure Synapse Studio per l'istanza del servizio. Nella scheda Monitoraggio viene visualizzato un elenco di esecuzioni di pipeline, fare clic sul collegamento nome della pipeline per accedere all'elenco di esecuzioni di attività nell'esecuzione della pipeline.
A questo livello, è possibile visualizzare collegamenti all'input, all'output e agli errori dell'attività di copia (se l'esecuzione attività Copy ha esito negativo), nonché statistiche come durata/stato. Facendo clic sul pulsante Dettagli (occhiali) accanto al nome dell'attività di copia verranno fornite informazioni dettagliate sull'esecuzione dell'attività di copia.
In questa visualizzazione di monitoraggio grafico, il servizio presenta le informazioni sull'esecuzione dell'attività di copia, tra cui il volume di lettura/scrittura dei dati, il numero di file/righe di dati copiati dall'origine al sink, la velocità effettiva, le configurazioni applicate per lo scenario di copia, i passaggi dell'attività di copia passano attraverso con le relative durate e dettagli e altro ancora. Fare riferimento a questa tabella per ogni possibile metrica e la relativa descrizione dettagliata.
In alcuni scenari, quando si esegue un attività Copy, nella parte superiore della visualizzazione di monitoraggio dell'attività di copia verrà visualizzato "Suggerimenti per l'ottimizzazione delle prestazioni", come illustrato nell'esempio. I suggerimenti indicano il collo di bottiglia identificato dal servizio per l'esecuzione della copia specifica, insieme ai suggerimenti su cosa modificare per aumentare la velocità effettiva della copia. Altre informazioni sui suggerimenti per l'ottimizzazione delle prestazioni automatica.
I dettagli e le durate dell'esecuzione inferiore descrivono i passaggi chiave eseguiti dall'attività di copia, che è particolarmente utile per la risoluzione dei problemi relativi alle prestazioni di copia. Il collo di bottiglia dell'esecuzione della copia è quello con la durata più lunga. Fare riferimento a Risolvere i problemi relativi alle prestazioni dell'attività di copia in base a ciò che ogni fase rappresenta e le indicazioni dettagliate sulla risoluzione dei problemi.
Esempio: Copiare da Amazon S3 ad Azure Data Lake Archiviazione Gen2
Monitorare a livello di codice
attività Copy anche i dettagli di esecuzione e le caratteristiche delle prestazioni vengono restituiti nel Sezione Output dei risultati>dell'esecuzione dell'attività di copia, usata per eseguire il rendering della visualizzazione di monitoraggio dell'interfaccia utente. Di seguito è riportato un elenco completo delle proprietà che potrebbero essere restituite. Verranno visualizzate solo le proprietà applicabili allo scenario di copia. Per informazioni su come monitorare le esecuzioni di attività a livello di codice, vedere Monitorare a livello di codice una pipeline di Azure Data Factory o Synapse.
| Nome della proprietà | Descrizione | Unità nell'output |
|---|---|---|
| dataRead | Quantità effettiva di dati letti dall'origine. | Valore int64, in byte |
| dataWritten | Montaggio effettivo dei dati scritti/sottoposti a commit nel sink. Le dimensioni possono essere diverse dalle dataRead dimensioni, in quanto riguardano il modo in cui ogni archivio dati archivia i dati. |
Valore int64, in byte |
| filesRead | Numero di file letti dall'origine basata su file. | Valore Int64 (senza unità) |
| filesWritten | Numero di file scritti/sottoposti a commit nel sink basato su file. | Valore Int64 (senza unità) |
| filesSkipped | Numero di file ignorati dall'origine basata su file. | Valore Int64 (senza unità) |
| dataConsistencyVerification | Dettagli della verifica della coerenza dei dati in cui è possibile verificare se i dati copiati sono stati verificati in modo coerente tra l'archivio di origine e quello di destinazione. Altre informazioni sono disponibili in questo articolo. | Matrice |
| sourcePeak Connessione ions | Numero massimo di connessioni simultanee stabilite all'archivio dati di origine durante l'esecuzione del attività Copy. | Valore Int64 (senza unità) |
| sinkPeak Connessione ions | Numero massimo di connessioni simultanee stabilite all'archivio dati sink durante l'esecuzione del attività Copy. | Valore Int64 (senza unità) |
| rowsRead | Numero di righe lette dall'origine. Questa metrica non si applica quando si copiano i file così com'è senza analizzarli, ad esempio quando i set di dati di origine e sink sono di tipo formato binario o un altro tipo di formato con impostazioni identiche. | Valore Int64 (senza unità) |
| rowsCopied | Numero di righe copiate nel sink. Questa metrica non si applica quando si copiano i file così com'è senza analizzarli, ad esempio quando i set di dati di origine e sink sono di tipo formato binario o un altro tipo di formato con impostazioni identiche. | Valore Int64 (senza unità) |
| rowsSkipped | Numero di righe incompatibili ignorate. È possibile abilitare righe incompatibili da ignorare impostando su enableSkipIncompatibleRow true. |
Valore Int64 (senza unità) |
| copyDuration | Durata dell'esecuzione della copia. | Valore int32, in secondi |
| throughput | Frequenza del trasferimento dei dati, calcolata per dataRead diviso per copyDuration. |
Numero a virgola mobile, in KBps |
| sourcePeak Connessione ions | Numero massimo di connessioni simultanee stabilite all'archivio dati di origine durante l'esecuzione del attività Copy. | Valore Int32 (nessuna unità) |
| sinkPeak Connessione ions | Numero massimo di connessioni simultanee stabilite all'archivio dati sink durante l'esecuzione del attività Copy. | Valore Int32 (nessuna unità) |
| sqlDwPolyBase | Indica se PolyBase viene usato quando i dati vengono copiati in Azure Synapse Analytics. | Boolean |
| redshiftUnload | Indica se UNLOAD viene usato quando i dati vengono copiati da Redshift. | Boolean |
| hdfsDistcp | Indica se DistCp viene usato quando i dati vengono copiati da HDFS. | Boolean |
| effectiveIntegrationRuntime | Runtime di integrazione o runtime usati per attivare l'esecuzione dell'attività, nel formato <IR name> (<region if it's Azure IR>). |
Testo (stringa) |
| usedDataIntegrationUnits | Le unità di integrazione dati effettive durante la copia. | Valore Int32 |
| usedParallelCopies | Proprietà parallelCopies effettiva durante la copia. | Valore Int32 |
| logPath | Percorso del log di sessione dei dati ignorati nell'archivio BLOB. Vedere Tolleranza di errore. | Testo (stringa) |
| executionDetails | Altre informazioni sulle fasi del attività Copy vengono esaminate e i passaggi, le durate, le configurazioni e così via corrispondenti. Non è consigliabile analizzare questa sezione perché potrebbe cambiare. Per comprendere meglio il modo in cui consente di comprendere e risolvere i problemi relativi alle prestazioni di copia, vedere la sezione Monitorare visivamente . | Matrice |
| perfRecommendation | Copiare i suggerimenti per l'ottimizzazione delle prestazioni. Per informazioni dettagliate, vedere Suggerimenti per l'ottimizzazione delle prestazioni. | Matrice |
| billingReference | Consumo di fatturazione per l'esecuzione specificata. Per altre informazioni, vedere Monitorare l'utilizzo a livello di esecuzione delle attività. | Oggetto |
| durationInQueue | Durata della coda in secondo tempo prima dell'avvio dell'attività di copia. | Oggetto |
Esempio:
"output": {
"dataRead": 1180089300500,
"dataWritten": 1180089300500,
"filesRead": 110,
"filesWritten": 110,
"filesSkipped": 0,
"sourcePeakConnections": 640,
"sinkPeakConnections": 1024,
"copyDuration": 388,
"throughput": 2970183,
"errors": [],
"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
"usedDataIntegrationUnits": 128,
"billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
"usedParallelCopies": 64,
"dataConsistencyVerification":
{
"VerificationResult": "Verified",
"InconsistentData": "None"
},
"executionDetails": [
{
"source": {
"type": "AmazonS3"
},
"sink": {
"type": "AzureBlobFS",
"region": "East US",
"throttlingErrors": 6
},
"status": "Succeeded",
"start": "2020-03-04T02:13:25.1454206Z",
"duration": 388,
"usedDataIntegrationUnits": 128,
"usedParallelCopies": 64,
"profile": {
"queue": {
"status": "Completed",
"duration": 2
},
"transfer": {
"status": "Completed",
"duration": 386,
"details": {
"listingSource": {
"type": "AmazonS3",
"workingDuration": 0
},
"readingFromSource": {
"type": "AmazonS3",
"workingDuration": 301
},
"writingToSink": {
"type": "AzureBlobFS",
"workingDuration": 335
}
}
}
},
"detailedDurations": {
"queuingDuration": 2,
"transferDuration": 386
}
}
],
"perfRecommendation": [
{
"Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
"ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
"RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
}
],
"durationInQueue": {
"integrationRuntimeQueue": 0
}
}
Contenuto correlato
Vedere gli altri articoli relativi all'attività di copia: