Kopyalama etkinliğini izleme
UYGULANANLAR:
Azure Data Factory Azure Synapse Analytics
Bahşiş
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Bu makalede, Azure Data Factory ve Synapse işlem hatlarında kopyalama etkinliği yürütmesinin nasıl izleneceği açıklanmaktadır. Kopyalama etkinliğine genel bir genel bakış sunan kopyalama etkinliğine genel bakış makalesini oluşturur. Aynı yaklaşımı kullanarak Veri Kopyalama Aracıile oluşturulan kopyalama etkinliklerini ve Silme etkinliklerini de izleyebilirsiniz.
Görsel olarak izleme
İşlem hattını oluşturup yayımladıktan sonra bir tetikleyiciyle ilişkilendirebilir veya geçici çalıştırmayı el ile başlatabilirsiniz. İşlem hattı çalıştırmalarınızın tümünü kullanıcı deneyiminde yerel olarak izleyebilirsiniz. Azure Data Factory ve Synapse işlem hatlarını görsel olarak izleme bölümünden genel olarak izleme hakkında bilgi edinin.
Kopyalama etkinliği çalıştırmasını izlemek için hizmet örneğinizin Data Factory Studio veya Azure Synapse Studio kullanıcı arabirimine gidin. İzleyici sekmesinde işlem hattı çalıştırmalarının listesini görürsünüz, işlem hattı çalıştırmalarındaki etkinlik çalıştırmaları listesine erişmek için işlem hattı adı bağlantısına tıklayın.
Bu düzeyde, kopyalama etkinliği girişi, çıkışı ve hataları (Kopyalama etkinliği çalıştırması başarısız olursa) bağlantılarının yanı sıra süre/durum gibi istatistikleri görebilirsiniz. Kopyalama etkinliği adının yanındaki Ayrıntılar düğmesine (gözlükler) tıklanması, kopyalama etkinliği yürütmeniz hakkında ayrıntılı bilgi sağlar.
Bu grafik izleme görünümünde, hizmet size veri okuma/yazma birimi, kaynaktan havuza kopyalanan veri dosyalarının/satırlarının sayısı, aktarım hızı, kopyalama senaryonuz için uygulanan yapılandırmalar, kopyalama etkinliğinin ilgili süreler ve ayrıntılarla ilerlendiği adımlar ve daha fazlası dahil olmak üzere kopyalama etkinliği yürütme bilgilerini sunar. Her olası ölçüm ve ayrıntılı açıklaması hakkında bu tabloya bakın.
Bazı senaryolarda, bir Kopyalama etkinliği çalıştırdığınızda, örnekte gösterildiği gibi kopyalama etkinliği izleme görünümünün üst kısmında "Performans ayarlama ipuçları" görürsünüz. İpuçları, hizmet tarafından belirli bir kopyalama çalıştırması için tanımlanan performans sorununun yanı sıra kopyalama aktarım hızını artırmak için nelerin değiştireceğinin önerisini gösterir. Otomatik performans ayarlama ipuçları hakkında daha fazla bilgi edinin.
En alttaki yürütme ayrıntıları ve süreleri , kopyalama etkinliğinizin ilerlediği temel adımları açıklar ve bu, özellikle kopyalama performansı sorunlarını gidermek için kullanışlıdır. Kopyalama çalıştırmanızın performans sorunu, en uzun süreye sahip olandır. Her aşamanın neyi temsil ettiği ve ayrıntılı sorun giderme kılavuzu için kopyalama etkinliği performansı sorunlarını giderme bölümüne bakın.
Örnek: Amazon S3'ten Azure Data Lake Storage 2. Nesil kopyalama
Program aracılığıyla izleme
Kopyalama etkinliği yürütme ayrıntıları ve performans özellikleri Kullanıcı arabirimi izleme görünümünü işlemek için kullanılan Kopyalama Etkinliği çalıştırma sonucu>Çıktı bölümü. Aşağıda, döndürülebilecek özelliklerin tam listesi yer alır. Yalnızca kopyalama senaryonuz için geçerli olan özellikleri görürsünüz. Etkinlik çalıştırmalarını genel olarak program aracılığıyla izleme hakkında bilgi için bkz . Azure Data Factory veya Synapse işlem hattını program aracılığıyla izleme.
| Özellik adı | Açıklama | Çıktıdaki birim |
|---|---|---|
| dataRead | Kaynaktan okunan gerçek veri miktarı. | Bayt cinsinden Int64 değeri |
| dataWritten | Havuza yazılan/işlenen verilerin gerçek bağlaması. Boyut, her veri deposunun verileri depolama şekliyle ilgili olduğundan boyuttan farklı dataRead olabilir. |
Bayt cinsinden Int64 değeri |
| filesRead | Dosya tabanlı kaynaktan okunan dosyaların sayısı. | Int64 değeri (birim yok) |
| filesWritten | Dosya tabanlı havuza yazılan/işlenen dosya sayısı. | Int64 değeri (birim yok) |
| filesSkipped | Dosya tabanlı kaynaktan atlanan dosya sayısı. | Int64 değeri (birim yok) |
| dataConsistencyVerification | Kopyalanan verilerinizin kaynak ve hedef depo arasında tutarlı olup olmadığını görebileceğiniz veri tutarlılığı doğrulamasının ayrıntıları. Bu makaleden daha fazla bilgi edinin. | Dizi |
| sourcePeak Bağlan ions | Kopyalama etkinliği çalıştırması sırasında kaynak veri deposuna kurulan eşzamanlı bağlantıların en yüksek sayısı. | Int64 değeri (birim yok) |
| sinkPeak Bağlan ions | Kopyalama etkinliği çalıştırması sırasında havuz veri deposuna kurulan eşzamanlı bağlantıların en yüksek sayısı. | Int64 değeri (birim yok) |
| rowsRead | Kaynaktan okunan satır sayısı. Bu ölçüm, dosyaları ayrıştırmadan olduğu gibi kopyalarken (örneğin, kaynak ve havuz veri kümeleri ikili biçim türünde olduğunda veya aynı ayarlara sahip başka bir biçim türünde olduğunda) uygulanmaz. | Int64 değeri (birim yok) |
| rowsCopied | Havuza kopyalanan satır sayısı. Bu ölçüm, dosyaları ayrıştırmadan olduğu gibi kopyalarken (örneğin, kaynak ve havuz veri kümeleri ikili biçim türünde olduğunda veya aynı ayarlara sahip başka bir biçim türünde olduğunda) uygulanmaz. | Int64 değeri (birim yok) |
| rowsSkipped | Atlanan uyumsuz satır sayısı. Uyumsuz satırların atlanması için true olarak ayarlayabilirsiniz enableSkipIncompatibleRow . |
Int64 değeri (birim yok) |
| copyDuration | Kopyalama çalıştırmasının süresi. | Saniye olarak Int32 değeri |
| aktarım hızı | Veri aktarım hızı, ile bölünerek dataReadcopyDurationhesaplanır. |
KBps'de kayan nokta numarası |
| sourcePeak Bağlan ions | Kopyalama etkinliği çalıştırması sırasında kaynak veri deposuna kurulan eşzamanlı bağlantıların en yüksek sayısı. | Int32 değeri (birim yok) |
| sinkPeak Bağlan ions | Kopyalama etkinliği çalıştırması sırasında havuz veri deposuna kurulan eşzamanlı bağlantıların en yüksek sayısı. | Int32 değeri (birim yok) |
| sqlDwPolyBase | Veriler Azure Synapse Analytics'e kopyalandığında PolyBase'in kullanılıp kullanılmadığı. | Boolean |
| redshiftUnload | Veriler Redshift'ten kopyalandığında UNLOAD'ın kullanılıp kullanılmadığı. | Boolean |
| hdfsDistcp | Veriler HDFS'den kopyalandığında DistCp'nin kullanılıp kullanılmadığı. | Boolean |
| effectiveIntegrationRuntime | Etkinlik çalıştırmasını biçiminde <IR name> (<region if it's Azure IR>)çalıştırmak için kullanılan tümleştirme çalışma zamanı (IR) veya çalışma zamanları. |
Metin (dize) |
| usedDataIntegrationUnits | Kopyalama sırasında geçerli Veri Entegrasyonu Birimleri. | Int32 değeri |
| usedParallelCopies | Kopyalama sırasında etkin parallelCopies. | Int32 değeri |
| Logpath | Blob depolamada atlanan verilerin oturum günlüğünün yolu. Bkz. Hataya dayanıklılık. | Metin (dize) |
| executionDetails | Kopyalama etkinliği geçtiği aşamalar ve buna karşılık gelen adımlar, süreler, yapılandırmalar vb. hakkında daha fazla ayrıntı. Değişebileceğinden bu bölümü ayrıştırmanızı önermeyiz. Kopyalama performansını anlamanıza ve sorunlarını gidermenize nasıl yardımcı olduğunu daha iyi anlamak için Görsel olarak izleme bölümüne bakın. | Dizi |
| perfRecommendation | Kopyalama performansı ayarlama ipuçları. Ayrıntılar için bkz . Performans ayarlama ipuçları . | Dizi |
| billingReference | Verilen çalıştırmanın faturalama tüketimi. Etkinlik çalıştırma düzeyinde tüketimi izleme bölümünden daha fazla bilgi edinin. | Object |
| durationInQueue | Kopyalama etkinliği yürütülmeye başlamadan önce saniye cinsinden kuyruğa alma süresi. | Object |
Örnek:
"output": {
"dataRead": 1180089300500,
"dataWritten": 1180089300500,
"filesRead": 110,
"filesWritten": 110,
"filesSkipped": 0,
"sourcePeakConnections": 640,
"sinkPeakConnections": 1024,
"copyDuration": 388,
"throughput": 2970183,
"errors": [],
"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
"usedDataIntegrationUnits": 128,
"billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
"usedParallelCopies": 64,
"dataConsistencyVerification":
{
"VerificationResult": "Verified",
"InconsistentData": "None"
},
"executionDetails": [
{
"source": {
"type": "AmazonS3"
},
"sink": {
"type": "AzureBlobFS",
"region": "East US",
"throttlingErrors": 6
},
"status": "Succeeded",
"start": "2020-03-04T02:13:25.1454206Z",
"duration": 388,
"usedDataIntegrationUnits": 128,
"usedParallelCopies": 64,
"profile": {
"queue": {
"status": "Completed",
"duration": 2
},
"transfer": {
"status": "Completed",
"duration": 386,
"details": {
"listingSource": {
"type": "AmazonS3",
"workingDuration": 0
},
"readingFromSource": {
"type": "AmazonS3",
"workingDuration": 301
},
"writingToSink": {
"type": "AzureBlobFS",
"workingDuration": 335
}
}
}
},
"detailedDurations": {
"queuingDuration": 2,
"transferDuration": 386
}
}
],
"perfRecommendation": [
{
"Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
"ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
"RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
}
],
"durationInQueue": {
"integrationRuntimeQueue": 0
}
}
İlgili içerik
Diğer Kopyalama Etkinliği makalelerine bakın: