Övervaka kopieringsaktivitet

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Den här artikeln beskriver hur du övervakar kopieringsaktivitetskörningen i Azure Data Factory- och Synapse-pipelines. Den bygger på översiktsartikeln för kopieringsaktivitet som visar en allmän översikt över kopieringsaktiviteten. Du kan också övervaka kopieringsaktiviteter som genereras med verktyget Kopiera data samt Ta bort aktiviteter med samma metod.

Övervaka visuellt

När du har skapat och publicerat en pipeline kan du associera den med en utlösare eller starta en ad hoc-körning manuellt. Du kan övervaka alla pipelinekörningar internt i användarupplevelsen. Lär dig mer om övervakning i allmänhet från Övervaka Azure Data Factory- och Synapse-pipelines visuellt.

Om du vill övervaka aktiviteten Kopiera köra går du till Data Factory Studio eller Azure Synapse Studio-användargränssnittet för din tjänstinstans. På fliken Övervaka visas en lista över pipelinekörningar. Klicka på länken pipelinenamn för att komma åt listan över aktivitetskörningar i pipelinekörningen.

På den här nivån kan du se länkar för att kopiera aktivitetsindata, utdata och fel (om aktiviteten Kopiera körningen misslyckas) samt statistik som varaktighet/status. Om du klickar på knappen Information (glasögon) bredvid namnet på kopieringsaktiviteten får du detaljerad information om kopieringsaktivitetens körning.

Monitor copy activity run

I den här grafiska övervakningsvyn visar tjänsten körningsinformationen för kopieringsaktiviteten, inklusive läs-/skrivvolym för data, antal filer/rader med data som kopierats från källa till mottagare, dataflöde, konfigurationer som används för ditt kopieringsscenario, steg som kopieringsaktiviteten går igenom med motsvarande varaktighet och information med mera. Se den här tabellen om varje möjligt mått och dess detaljerade beskrivning.

När du kör en aktiviteten Kopiera i vissa scenarier visas "Prestandajusteringstips" överst i övervakningsvyn för kopieringsaktivitet enligt exemplet. Tipsen visar flaskhalsen som identifieras av tjänsten för den specifika kopieringskörningen, tillsammans med förslag på vad som ska ändras för att öka kopieringsdataflödet. Läs mer om tips för automatisk prestandajustering.

Den nedre körningsinformationen och varaktigheterna beskriver de viktiga steg som kopieringsaktiviteten går igenom, vilket är särskilt användbart för att felsöka kopieringsprestandan. Flaskhalsen i kopieringskörningen är den som har längst varaktighet. Se Felsöka prestanda för kopieringsaktivitet för vad varje steg representerar och den detaljerade felsökningsvägledningen.

Exempel: Kopiera från Amazon S3 till Azure Data Lake Storage Gen2

Monitor copy activity run details

Övervaka programmatiskt

aktiviteten Kopiera körningsinformation och prestandaegenskaper returneras också i Utdataavsnittet> Kopiera aktivitetskörningsresultat, som används för att återge övervakningsvyn för användargränssnittet. Följande är en fullständig lista över egenskaper som kan returneras. Du ser bara de egenskaper som gäller för ditt kopieringsscenario. Information om hur du övervakar aktivitetskörningar programmatiskt i allmänhet finns i Övervaka programmatiskt en Azure Data Factory- eller Synapse-pipeline.

Egenskapsnamn beskrivning Enhet i utdata
dataRead Den faktiska mängden data som lästs från källan. Int64-värde i byte
dataWritten Den faktiska monteringen av data som skrivits/checkats in till mottagaren. Storleken kan skilja sig från dataRead storleken eftersom den relaterar till hur varje datalager lagrar data. Int64-värde i byte
filesRead Antalet filer som lästs från den filbaserade källan. Int64-värde (ingen enhet)
filesWritten Antalet filer som skrivits/checkats in till den filbaserade mottagaren. Int64-värde (ingen enhet)
filesSkipped Antalet filer som hoppas över från den filbaserade källan. Int64-värde (ingen enhet)
dataConsistencyVerification Information om verifiering av datakonsekvens där du kan se om dina kopierade data har verifierats vara konsekventa mellan käll- och mållagret. Läs mer i den här artikeln. Matris
sourcePeak Anslut ions Maximalt antal samtidiga anslutningar som upprättats till källdatalagret under den aktiviteten Kopiera körningen. Int64-värde (ingen enhet)
sinkPeak Anslut ions Högsta antalet samtidiga anslutningar som upprättats till datalagret för mottagare under aktiviteten Kopiera körning. Int64-värde (ingen enhet)
rowsRead Antal rader som lästs från källan. Det här måttet gäller inte när du kopierar filer som de är utan att parsa dem, till exempel när käll- och mottagardatauppsättningar är binära formattyper eller andra formattyper med identiska inställningar. Int64-värde (ingen enhet)
rader kopierade Antal rader som kopierats till mottagare. Det här måttet gäller inte när du kopierar filer som de är utan att parsa dem, till exempel när käll- och mottagardatauppsättningar är binära formattyper eller andra formattyper med identiska inställningar. Int64-värde (ingen enhet)
rowsSkipped Antal inkompatibla rader som hoppades över. Du kan aktivera att inkompatibla rader hoppas över genom att ange enableSkipIncompatibleRow sant. Int64-värde (ingen enhet)
copyDuration Varaktighet för kopieringskörningen. Int32-värde i sekunder
dataflöde Dataöverföringshastighet, beräknad dataRead med dividerat med copyDuration. Flyttalsnummer i Kbit/s
sourcePeak Anslut ions Maximalt antal samtidiga anslutningar som upprättats till källdatalagret under den aktiviteten Kopiera körningen. Int32-värde (ingen enhet)
sinkPeak Anslut ions Högsta antalet samtidiga anslutningar som upprättats till datalagret för mottagare under aktiviteten Kopiera körning. Int32-värde (ingen enhet)
sqlDwPolyBase Om PolyBase används när data kopieras till Azure Synapse Analytics. Booleskt
redshiftUnload Om UNLOAD används när data kopieras från Redshift. Booleskt
hdfsDistcp Om DistCp används när data kopieras från HDFS. Booleskt
effectiveIntegrationRuntime Integration Runtime (IR) eller runtimes som används för att driva aktivitetskörningen i formatet <IR name> (<region if it's Azure IR>). Text (sträng)
usedDataIntegrationUnits Den effektiva Dataintegration enheter under kopiering. Int32-värde
usedParallelCopies De effektiva parallelCopies under kopiering. Int32-värde
logPath Sökväg till sessionsloggen för överhoppade data i bloblagringen. Se Feltolerans. Text (sträng)
executionDetails Mer information om de steg som aktiviteten Kopiera går igenom och motsvarande steg, varaktigheter, konfigurationer och så vidare. Vi rekommenderar inte att du parsar det här avsnittet eftersom det kan ändras. Mer information om hur det hjälper dig att förstå och felsöka kopieringsprestanda finns i avsnittet Övervaka visuellt . Matris
perfRecommendation Kopiera prestandajusteringstips. Mer information finns i Prestandajusteringstips . Matris
billingReference Faktureringsförbrukningen för den angivna körningen. Läs mer från Övervaka förbrukning på aktivitetskörningsnivå. Object
durationInQueue Kövaraktighet i andra innan kopieringsaktiviteten börjar köras. Object

Exempel:

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

Relaterat innehåll

Se de andra artiklarna om kopieringsaktivitet:

- aktiviteten Kopiera översikt

- aktiviteten Kopiera prestanda