Den här artikeln beskriver hur du övervakar kopieringsaktivitetskörningen i Azure Data Factory- och Synapse-pipelines. Den bygger på översiktsartikeln för kopieringsaktivitet som visar en allmän översikt över kopieringsaktiviteten. Du kan också övervaka kopieringsaktiviteter som genereras med verktyget Kopiera data samt Ta bort aktiviteter med samma metod.
Övervaka visuellt
När du har skapat och publicerat en pipeline kan du associera den med en utlösare eller starta en ad hoc-körning manuellt. Du kan övervaka alla pipelinekörningar internt i användarupplevelsen. Lär dig mer om övervakning i allmänhet från Övervaka Azure Data Factory- och Synapse-pipelines visuellt.
Om du vill övervaka aktiviteten Kopiera köra går du till Data Factory Studio eller Azure Synapse Studio-användargränssnittet för din tjänstinstans. På fliken Övervaka visas en lista över pipelinekörningar. Klicka på länken pipelinenamn för att komma åt listan över aktivitetskörningar i pipelinekörningen.
På den här nivån kan du se länkar för att kopiera aktivitetsindata, utdata och fel (om aktiviteten Kopiera körningen misslyckas) samt statistik som varaktighet/status. Om du klickar på knappen Information (glasögon) bredvid namnet på kopieringsaktiviteten får du detaljerad information om kopieringsaktivitetens körning.
I den här grafiska övervakningsvyn visar tjänsten körningsinformationen för kopieringsaktiviteten, inklusive läs-/skrivvolym för data, antal filer/rader med data som kopierats från källa till mottagare, dataflöde, konfigurationer som används för ditt kopieringsscenario, steg som kopieringsaktiviteten går igenom med motsvarande varaktighet och information med mera. Se den här tabellen om varje möjligt mått och dess detaljerade beskrivning.
När du kör en aktiviteten Kopiera i vissa scenarier visas "Prestandajusteringstips" överst i övervakningsvyn för kopieringsaktivitet enligt exemplet. Tipsen visar flaskhalsen som identifieras av tjänsten för den specifika kopieringskörningen, tillsammans med förslag på vad som ska ändras för att öka kopieringsdataflödet. Läs mer om tips för automatisk prestandajustering.
Den nedre körningsinformationen och varaktigheterna beskriver de viktiga steg som kopieringsaktiviteten går igenom, vilket är särskilt användbart för att felsöka kopieringsprestandan. Flaskhalsen i kopieringskörningen är den som har längst varaktighet. Se Felsöka prestanda för kopieringsaktivitet för vad varje steg representerar och den detaljerade felsökningsvägledningen.
Exempel: Kopiera från Amazon S3 till Azure Data Lake Storage Gen2
Övervaka programmatiskt
aktiviteten Kopiera körningsinformation och prestandaegenskaper returneras också i Utdataavsnittet> Kopiera aktivitetskörningsresultat, som används för att återge övervakningsvyn för användargränssnittet. Följande är en fullständig lista över egenskaper som kan returneras. Du ser bara de egenskaper som gäller för ditt kopieringsscenario. Information om hur du övervakar aktivitetskörningar programmatiskt i allmänhet finns i Övervaka programmatiskt en Azure Data Factory- eller Synapse-pipeline.
Egenskapsnamn
beskrivning
Enhet i utdata
dataRead
Den faktiska mängden data som lästs från källan.
Int64-värde i byte
dataWritten
Den faktiska monteringen av data som skrivits/checkats in till mottagaren. Storleken kan skilja sig från dataRead storleken eftersom den relaterar till hur varje datalager lagrar data.
Int64-värde i byte
filesRead
Antalet filer som lästs från den filbaserade källan.
Int64-värde (ingen enhet)
filesWritten
Antalet filer som skrivits/checkats in till den filbaserade mottagaren.
Int64-värde (ingen enhet)
filesSkipped
Antalet filer som hoppas över från den filbaserade källan.
Int64-värde (ingen enhet)
dataConsistencyVerification
Information om verifiering av datakonsekvens där du kan se om dina kopierade data har verifierats vara konsekventa mellan käll- och mållagret. Läs mer i den här artikeln.
Matris
sourcePeakConnections
Maximalt antal samtidiga anslutningar som upprättats till källdatalagret under den aktiviteten Kopiera körningen.
Int64-värde (ingen enhet)
sinkPeakConnections
Högsta antalet samtidiga anslutningar som upprättats till datalagret för mottagare under aktiviteten Kopiera körning.
Int64-värde (ingen enhet)
rowsRead
Antal rader som lästs från källan. Det här måttet gäller inte när du kopierar filer som de är utan att parsa dem, till exempel när käll- och mottagardatauppsättningar är binära formattyper eller andra formattyper med identiska inställningar.
Int64-värde (ingen enhet)
rader kopierade
Antal rader som kopierats till mottagare. Det här måttet gäller inte när du kopierar filer som de är utan att parsa dem, till exempel när käll- och mottagardatauppsättningar är binära formattyper eller andra formattyper med identiska inställningar.
Int64-värde (ingen enhet)
rowsSkipped
Antal inkompatibla rader som hoppades över. Du kan aktivera att inkompatibla rader hoppas över genom att ange enableSkipIncompatibleRow sant.
Int64-värde (ingen enhet)
copyDuration
Varaktighet för kopieringskörningen.
Int32-värde i sekunder
dataflöde
Dataöverföringshastighet, beräknad dataRead med dividerat med copyDuration.
Flyttalsnummer i Kbit/s
sourcePeakConnections
Maximalt antal samtidiga anslutningar som upprättats till källdatalagret under den aktiviteten Kopiera körningen.
Int32-värde (ingen enhet)
sinkPeakConnections
Högsta antalet samtidiga anslutningar som upprättats till datalagret för mottagare under aktiviteten Kopiera körning.
Int32-värde (ingen enhet)
sqlDwPolyBase
Om PolyBase används när data kopieras till Azure Synapse Analytics.
Booleskt
redshiftUnload
Om UNLOAD används när data kopieras från Redshift.
Booleskt
hdfsDistcp
Om DistCp används när data kopieras från HDFS.
Booleskt
effectiveIntegrationRuntime
Integration Runtime (IR) eller runtimes som används för att driva aktivitetskörningen i formatet <IR name> (<region if it's Azure IR>).
Text (sträng)
usedDataIntegrationUnits
Den effektiva Dataintegration enheter under kopiering.
Int32-värde
usedParallelCopies
De effektiva parallelCopies under kopiering.
Int32-värde
logPath
Sökväg till sessionsloggen för överhoppade data i bloblagringen. Se Feltolerans.
Text (sträng)
executionDetails
Mer information om de steg som aktiviteten Kopiera går igenom och motsvarande steg, varaktigheter, konfigurationer och så vidare. Vi rekommenderar inte att du parsar det här avsnittet eftersom det kan ändras. Mer information om hur det hjälper dig att förstå och felsöka kopieringsprestanda finns i avsnittet Övervaka visuellt .
Demonstrate understanding of common data engineering tasks to implement and manage data engineering workloads on Microsoft Azure, using a number of Azure services.