Másolási tevékenység figyelése
A következőkre vonatkozik:
Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ez a cikk azt ismerteti, hogyan figyelheti a másolási tevékenységek végrehajtását az Azure Data Factory és a Synapse-folyamatokban. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be. Ugyanezzel a módszerrel figyelheti az adatmásolási eszközzel létrehozott másolási tevékenységeket, valamint a törlési tevékenységeket is.
Vizuális megfigyelés
Miután létrehozott és közzétett egy folyamatot, hozzárendelheti egy eseményindítóhoz, vagy manuálisan elindíthat egy alkalmi futtatást. A felhasználói felületen natív módon figyelheti az összes folyamatfuttatást. Az Azure Data Factory és a Synapse-folyamatok vizualizációs monitorozásának általános megismerése.
A Copy tevékenység futtatásának figyeléséhez nyissa meg a Data Factory Studiót vagy az Azure Synapse Studio felhasználói felületét a szolgáltatáspéldányhoz. A Monitorozás lapon megjelenik a folyamatfuttatások listája, majd a folyamatnév hivatkozására kattintva elérheti a folyamatfuttatásban futó tevékenységfuttatások listáját.
Ezen a szinten a másolási tevékenység bemenetére, kimenetére és hibáira mutató hivatkozások láthatók (ha a Copy tevékenység futtatása meghiúsul), valamint olyan statisztikákat, mint az időtartam/állapot. A másolási tevékenység neve melletti Részletek gombra (szemüveg) kattintva részletes információkat kaphat a másolási tevékenység végrehajtásáról.
Ebben a grafikus monitorozási nézetben a szolgáltatás bemutatja a másolási tevékenység végrehajtási adatait, beleértve az olvasási/írott kötetet, a forrásból a fogadóba másolt fájlok/adatsorok számát, az átviteli sebességet, a másolási forgatókönyvre alkalmazott konfigurációkat, a másolási tevékenység megfelelő időtartamokkal és részletekkel végzett lépéseit és egyebeket. Tekintse meg ezt a táblázatot az egyes lehetséges metrikákról és annak részletes leírásáról.
Bizonyos esetekben egy Copy tevékenység futtatásakor a másolási tevékenység figyelési nézetének tetején a "Teljesítményhangolási tippek" jelenik meg, ahogyan az a példában is látható. A tippekből megtudhatja, hogy a szolgáltatás milyen szűk keresztmetszetet észlelt az adott másolási futtatáshoz, valamint javaslatot ad arra vonatkozóan, hogy mi változzon a másolási átviteli sebesség növelése érdekében. További információ az automatikus teljesítményhangolási tippekről.
Az alsó végrehajtási adatok és időtartamok a másolási tevékenység főbb lépéseit ismertetik, ami különösen hasznos a másolási teljesítmény hibaelhárításához. A másolási futtatás szűk keresztmetszete a leghosszabb időtartamú. Tekintse meg a másolási tevékenység teljesítményével kapcsolatos hibaelhárítást az egyes szakaszokban, valamint a részletes hibaelhárítási útmutatót.
Példa: Másolás az Amazon S3-ból az Azure Data Lake Storage Gen2-be
Monitorozás programozott módon
Copy tevékenység végrehajtási adatokat és teljesítményjellemzőket is visszaadja a A másolási tevékenység futtatási eredményének>kimeneti szakasza, amely a felhasználói felület figyelési nézetének megjelenítésére szolgál. Az alábbiakban a visszaadható tulajdonságok teljes listája látható. Csak a másolási forgatókönyvre vonatkozó tulajdonságok jelennek meg. Az Azure Data Factory- vagy Synapse-folyamatok programozott módon történő monitorozásáról bővebben az Azure Data Factory vagy a Synapse-folyamatok programozott figyelése című témakörben olvashat.
| Tulajdonság neve | Leírás | Egység a kimenetben |
|---|---|---|
| dataRead | A forrásból beolvasott adatok tényleges mennyisége. | Int64 érték bájtban |
| dataWritten | A fogadóhoz írt/véglegesített adatok tényleges csatlakoztatása. A méret eltérhet a mérettől dataRead , mivel az egyes adattárak hogyan tárolják az adatokat. |
Int64 érték bájtban |
| filesRead | A fájlalapú forrásból beolvasott fájlok száma. | Int64 érték (egység nélkül) |
| fájlok megírása | A fájlalapú fogadóba írt/véglegesített fájlok száma. | Int64 érték (egység nélkül) |
| filesSkipped | A fájlalapú forrásból kihagyott fájlok száma. | Int64 érték (egység nélkül) |
| dataConsistencyVerification | Az adatkonzisztencia-ellenőrzés részletei, ahol láthatja, hogy a másolt adatok konzisztensek-e a forrás- és a céltároló között. További információ ebből a cikkből. | Tömb |
| sourcePeak Csatlakozás ions | A forrásadattárhoz létesített egyidejű kapcsolatok maximális száma a Copy tevékenység futtatása során. | Int64 érték (egység nélkül) |
| sinkPeak Csatlakozás ions | A fogadó adattárhoz létesített egyidejű kapcsolatok maximális száma a Copy tevékenység futtatása során. | Int64 érték (egység nélkül) |
| rowsRead | A forrásból beolvasott sorok száma. Ez a metrika nem vonatkozik a fájlok elemzés nélküli másolására, például ha a forrás- és fogadóadatkészletek bináris formátumúak, vagy más, azonos beállításokkal rendelkező formátumtípusok. | Int64 érték (egység nélkül) |
| rowsCopied | A fogadóba másolt sorok száma. Ez a metrika nem vonatkozik a fájlok elemzés nélküli másolására, például ha a forrás- és fogadóadatkészletek bináris formátumúak, vagy más, azonos beállításokkal rendelkező formátumtípusok. | Int64 érték (egység nélkül) |
| rowsSkipped | Kihagyott nem kompatibilis sorok száma. Az inkompatibilis sorok kihagyása a true (igaz) beállítással enableSkipIncompatibleRow engedélyezhető. |
Int64 érték (egység nélkül) |
| copyDuration | A másolási futtatás időtartama. | Int32 érték másodpercben |
| korlátozások | Az adatátvitel sebessége, amely a hányados szerint van kiszámítva dataReadcopyDuration. |
Lebegőpontos szám KBps-ben |
| sourcePeak Csatlakozás ions | A forrásadattárhoz létesített egyidejű kapcsolatok maximális száma a Copy tevékenység futtatása során. | Int32 érték (egység nélkül) |
| sinkPeak Csatlakozás ions | A fogadó adattárhoz létesített egyidejű kapcsolatok maximális száma a Copy tevékenység futtatása során. | Int32 érték (egység nélkül) |
| sqlDwPolyBase | A PolyBase használata az adatok Azure Synapse Analyticsbe való másolásakor. | Logikai |
| redshiftUnload | Azt határozza meg, hogy a rendszer a UNLOAD-t használja-e az adatok redshiftből való másolásakor. | Logikai |
| hdfsDistcp | Az adatok HDFS-ből való másolásakor a DistCp használata. | Logikai |
| effectiveIntegrationRuntime | A tevékenység futtatásának futtatásához használt integrációs modul (IR) vagy futtatókörnyezetek formátuma <IR name> (<region if it's Azure IR>). |
Szöveg (sztring) |
| usedDataIntegrationUnits | A másolás során érvényes adatintegráció egységek. | Int32 érték |
| usedParallelCopies | A másolás során érvényes párhuzamos másolatok. | Int32 érték |
| logPath | A blobtárolóban kihagyott adatok munkamenetnaplójának elérési útja. Lásd: Hibatűrés. | Szöveg (sztring) |
| executionDetails | További részletek a Copy tevékenység fázisáról, valamint a megfelelő lépésekről, időtartamokról, konfigurációkról és így tovább. Nem javasoljuk, hogy elemezje ezt a szakaszt, mert az változhat. A másolási teljesítmény megértéséhez és hibaelhárításához tekintse meg a Monitor vizuálisan szakaszt. | Tömb |
| perfRecommendation | Teljesítményhangolási tippek másolása. A részletekért tekintse meg a teljesítményhangolási tippeket . | Tömb |
| billingReference | Az adott futtatás számlázási felhasználása. További információ a használat figyeléséről tevékenységalapú szinten. | Object |
| durationInQueue | A másolási tevékenység végrehajtása előtti várakozási idő másodpercben. | Object |
Példa
"output": {
"dataRead": 1180089300500,
"dataWritten": 1180089300500,
"filesRead": 110,
"filesWritten": 110,
"filesSkipped": 0,
"sourcePeakConnections": 640,
"sinkPeakConnections": 1024,
"copyDuration": 388,
"throughput": 2970183,
"errors": [],
"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
"usedDataIntegrationUnits": 128,
"billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
"usedParallelCopies": 64,
"dataConsistencyVerification":
{
"VerificationResult": "Verified",
"InconsistentData": "None"
},
"executionDetails": [
{
"source": {
"type": "AmazonS3"
},
"sink": {
"type": "AzureBlobFS",
"region": "East US",
"throttlingErrors": 6
},
"status": "Succeeded",
"start": "2020-03-04T02:13:25.1454206Z",
"duration": 388,
"usedDataIntegrationUnits": 128,
"usedParallelCopies": 64,
"profile": {
"queue": {
"status": "Completed",
"duration": 2
},
"transfer": {
"status": "Completed",
"duration": 386,
"details": {
"listingSource": {
"type": "AmazonS3",
"workingDuration": 0
},
"readingFromSource": {
"type": "AmazonS3",
"workingDuration": 301
},
"writingToSink": {
"type": "AzureBlobFS",
"workingDuration": 335
}
}
}
},
"detailedDurations": {
"queuingDuration": 2,
"transferDuration": 386
}
}
],
"perfRecommendation": [
{
"Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
"ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
"RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
}
],
"durationInQueue": {
"integrationRuntimeQueue": 0
}
}
Kapcsolódó tartalom
Lásd a másolási tevékenységről szóló további cikkeket: