Dela via

Övervaka kopieringsaktivitet

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Den här artikeln beskriver hur du övervakar kopieringsaktivitetskörningen i Azure Data Factory- och Synapse-pipelines. Den bygger på översiktsartikeln för kopieringsaktivitet som visar en allmän översikt över kopieringsaktiviteten. Du kan också övervaka kopieringsaktiviteter som genereras med verktyget Kopiera data samt Ta bort aktiviteter med samma metod.

Övervaka visuellt

När du har skapat och publicerat en pipeline kan du associera den med en utlösare eller starta en ad hoc-körning manuellt. Du kan övervaka alla pipelinekörningar internt i användarupplevelsen. Lär dig mer om övervakning i allmänhet från Övervaka Azure Data Factory- och Synapse-pipelines visuellt.

Om du vill övervaka kopieringsaktivitetskörningen går du till Data Factory Studio eller Azure Synapse Studio-användargränssnittet för din tjänstinstans. På fliken Övervaka visas en lista över pipelinekörningar. Klicka på länken pipelinenamn för att komma åt listan över aktivitetskörningar i pipelinekörningen.

På den här nivån kan du se länkar till indata, utdata och fel för kopieringsaktivitet (om kopieringsaktiviteten misslyckas) samt statistik som varaktighet/status. Om du klickar på knappen Information (glasögon) bredvid namnet på kopieringsaktiviteten får du detaljerad information om kopieringsaktivitetens körning.

Övervaka kopieringsaktivitetskörning

I den här grafiska övervakningsvyn visar tjänsten körningsinformationen för kopieringsaktiviteten, inklusive läs-/skrivvolym för data, antal filer/rader med data som kopierats från källa till mottagare, dataflöde, konfigurationer som används för ditt kopieringsscenario, steg som kopieringsaktiviteten går igenom med motsvarande varaktighet och information med mera. Se den här tabellen om varje möjligt mått och dess detaljerade beskrivning.

I vissa scenarier visas "Prestandajusteringstips" överst i övervakningsvyn för kopieringsaktivitet som du ser i exemplet när du kör en kopieringsaktivitet. Tipsen visar flaskhalsen som identifieras av tjänsten för den specifika kopieringskörningen, tillsammans med förslag på vad som ska ändras för att öka kopieringsdataflödet. Läs mer om tips för automatisk prestandajustering.

Den nedre körningsinformationen och varaktigheterna beskriver de viktiga steg som kopieringsaktiviteten går igenom, vilket är särskilt användbart för att felsöka kopieringsprestandan. Flaskhalsen i kopieringskörningen är den som har längst varaktighet. Se Felsöka prestanda för kopieringsaktivitet för vad varje steg representerar och den detaljerade felsökningsvägledningen.

Exempel: Kopiera från Amazon S3 till Azure Data Lake Storage Gen2

Övervaka information om kopieringsaktivitetskörning

Övervaka programmatiskt

Information om körning av kopieringsaktivitet och prestandaegenskaper returneras också i avsnittet Utdata>för körning av kopieringsaktivitet, som används för att återge övervakningsvyn för användargränssnittet. Följande är en fullständig lista över egenskaper som kan returneras. Du ser bara de egenskaper som gäller för ditt kopieringsscenario. Information om hur du övervakar aktivitetskörningar programmatiskt i allmänhet finns i Övervaka programmatiskt en Azure Data Factory- eller Synapse-pipeline.

Egenskapsnamn beskrivning Enhet i utdata
dataRead Den faktiska mängden data som lästs från källan. Int64-värde i byte
dataWritten Den faktiska monteringen av data som skrivits/checkats in till mottagaren. Storleken kan skilja sig från dataRead storleken eftersom den relaterar till hur varje datalager lagrar data. Int64-värde i byte
filesRead Antalet filer som lästs från den filbaserade källan. Int64-värde (ingen enhet)
filesWritten Antalet filer som skrivits/checkats in till den filbaserade mottagaren. Int64-värde (ingen enhet)
filesSkipped Antalet filer som hoppas över från den filbaserade källan. Int64-värde (ingen enhet)
dataConsistencyVerification Information om verifiering av datakonsekvens där du kan se om dina kopierade data har verifierats vara konsekventa mellan käll- och mållagret. Läs mer i den här artikeln. Matris
sourcePeakConnections Högsta antalet samtidiga anslutningar som upprättats till källdatalagret under kopieringsaktivitetskörningen. Int64-värde (ingen enhet)
sinkPeakConnections Högsta antalet samtidiga anslutningar som upprättats till datalagret för mottagare under kopieringsaktivitetskörningen. Int64-värde (ingen enhet)
rowsRead Antal rader som lästs från källan. Det här måttet gäller inte när du kopierar filer som de är utan att parsa dem, till exempel när käll- och mottagardatauppsättningar är binära formattyper eller andra formattyper med identiska inställningar. Int64-värde (ingen enhet)
rader kopierade Antal rader som kopierats till mottagare. Det här måttet gäller inte när du kopierar filer som de är utan att parsa dem, till exempel när käll- och mottagardatauppsättningar är binära formattyper eller andra formattyper med identiska inställningar. Int64-värde (ingen enhet)
rowsSkipped Antal inkompatibla rader som hoppades över. Du kan aktivera att inkompatibla rader hoppas över genom att ange enableSkipIncompatibleRow sant. Int64-värde (ingen enhet)
copyDuration Varaktighet för kopieringskörningen. Int32-värde i sekunder
dataflöde Dataöverföringshastighet, beräknad dataRead med dividerat med copyDuration. Flyttalsnummer i Kbit/s
sourcePeakConnections Högsta antalet samtidiga anslutningar som upprättats till källdatalagret under kopieringsaktivitetskörningen. Int32-värde (ingen enhet)
sinkPeakConnections Högsta antalet samtidiga anslutningar som upprättats till datalagret för mottagare under kopieringsaktivitetskörningen. Int32-värde (ingen enhet)
sqlDwPolyBase Om PolyBase används när data kopieras till Azure Synapse Analytics. Booleskt
redshiftUnload Om UNLOAD används när data kopieras från Redshift. Booleskt
hdfsDistcp Om DistCp används när data kopieras från HDFS. Booleskt
effectiveIntegrationRuntime Integration Runtime (IR) eller runtimes som används för att driva aktivitetskörningen i formatet <IR name> (<region if it's Azure IR>). Text (sträng)
usedDataIntegrationUnits De effektiva dataintegreringsenheterna under kopiering. Int32-värde
usedParallelCopies De effektiva parallelCopies under kopiering. Int32-värde
logPath Sökväg till sessionsloggen för överhoppade data i bloblagringen. Se Feltolerans. Text (sträng)
executionDetails Mer information om de steg som kopieringsaktiviteten går igenom och motsvarande steg, varaktigheter, konfigurationer och så vidare. Vi rekommenderar inte att du parsar det här avsnittet eftersom det kan ändras. Mer information om hur det hjälper dig att förstå och felsöka kopieringsprestanda finns i avsnittet Övervaka visuellt . Matris
perfRecommendation Kopiera prestandajusteringstips. Mer information finns i Prestandajusteringstips . Matris
billingReference Faktureringsförbrukningen för den angivna körningen. Läs mer från Övervaka förbrukning på aktivitetskörningsnivå. Objekt
durationInQueue Kövaraktighet i andra innan kopieringsaktiviteten börjar köras. Objekt

Exempel:

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

Relaterat innehåll

Se de andra artiklarna om kopieringsaktivitet:

- Översikt över kopieringsaktivitet

- Prestanda för kopieringsaktivitet