Memantau aktivitas salin

  • Artikel

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menguraikan cara memantau eksekusi aktivitas salin di Azure Data Factory dan alur Synapse. Artikel tersebut dibuat berdasarkan artikel gambaran umum aktivitas salin yang menyajikan gambaran umum aktivitas salin. Anda juga dapat memantau aktivitas penyalinan yang dibuat dengan Alat Salin Data serta Hapus aktivitas menggunakan pendekatan yang sama.

Memantau secara visual

Setelah membuat dan menerbitkan alur, Anda dapat mengaitkannya dengan pemicu atau memulai eksekusi ad hoc secara manual. Anda dapat memantau semua alur Anda berjalan secara asli di pengalaman pengguna. Pelajari tentang pemantauan secara umum dari Memantau secara visual Azure Data Factory dan alur Synapse.

Untuk memantau eksekusi aktivitas Salin, buka antarmuka pengguna Studio Data Factory atau Studio Azure Synapse untuk instans layanan Anda. Pada tab Pantau, Anda melihat daftar eksekusi alur, klik tautan nama alur untuk mengakses daftar eksekusi aktivitas dalam eksekusi alur.

Pada tingkat ini, Anda dapat melihat tautan untuk menyalin input, output, dan kesalahan aktivitas (jika eksekusi aktivitas salin gagal), serta statistik seperti durasi/status. Mengklik tombol Detail (kacamata) di samping nama aktivitas salin akan memberi Anda lebih banyak detail tentang eksekusi aktivitas salin Anda.

Monitor copy activity run

Dalam tampilan pemantauan grafis ini, layanan menyajikan kepada Anda informasi eksekusi aktivitas salin, termasuk volume baca/tulis data, jumlah file/baris data yang disalin dari sumber ke sink, throughput, konfigurasi yang diterapkan untuk skenario penyalinan Anda, langkah-langkah aktivitas salin yang berjalan dengan durasi dan detail yang sesuai, dan banyak lagi. Lihat tabel ini pada setiap metrik yang memungkinkan dan deskripsi terperincinya.

Dalam beberapa skenario, saat Anda menjalankan aktivitas Salin, Anda akan melihat "Tips penyetelan performa" di bagian atas tampilan pemantauan aktivitas salin seperti yang ditunjukkan pada contoh. Tips memberi tahu Anda penyempitan yang diidentifikasi oleh layanan untuk menjalankan penyalinan tertentu, bersama dengan saran tentang apa yang harus diubah untuk meningkatkan throughput penyalinan. Pelajari selengkapnya tentang tips penyetelan performa otomatis.

Detail dan durasi eksekusi bawah menjelaskan langkah-langkah kunci yang dilalui aktivitas salin Anda, yang sangat berguna untuk memecahkan masalah performa salinan. Penyempitan dari eksekusi penyalinan adalah yang memiliki durasi terpanjang. Lihat Memecahkan masalah performa aktivitas salin pada yang diwakili oleh setiap tahap dan panduan pemecahan masalah terperinci.

Contoh: Menyalin dari Amazon S3 ke Azure Data Lake Storage Gen2

Monitor copy activity run details

Memantau secara terprogram

Detail eksekusi aktivitas salin dan karakteristik performa juga dikembalikan di bagian hasil Aktivitas Salin>Output, yang digunakan untuk merender tampilan pemantauan antarmuka pengguna. Berikut ini adalah daftar lengkap properti yang mungkin dikembalikan. Anda hanya akan melihat properti yang berlaku untuk skenario salinan Anda. Untuk informasi tentang cara memantau aktivitas yang berjalan secara terprogram secara umum, lihat Memantau secara terprogram Azure Data Factory atau alur Synapse.

Nama properti Deskripsi Unit dalam output
dataRead Jumlah data sebenarnya yang dibaca dari sumber. Nilai Int64, dalam byte
dataWritten Pemasangan data yang sebenarnya yang ditulis/dijalankan ke sink. Ukurannya mungkin berbeda dari ukuran dataRead, karena berkaitan dengan bagaimana setiap penyimpanan data menyimpan data itu. Nilai Int64, dalam byte
filesRead Jumlah file yang dibaca dari sumber berbasis file. Nilai Int64 (tanpa unit)
filesWritten Jumlah file yang ditulis/dijalankan ke sink berbasis file. Nilai Int64 (tanpa unit)
fileSkipped Jumlah file yang dilewati dari sumber berbasis file. Nilai Int64 (tanpa unit)
dataConsistencyVerification Detail verifikasi konsistensi data tempat Anda dapat melihat apakah data Anda yang disalin telah diverifikasi agar konsisten antara penyimpanan sumber dan penyimpanan tujuan. Pelajari selengkapnya dari artikel ini. Array
sourcePeakConnections Jumlah puncak koneksi bersamaan yang dibuat ke penyimpanan data sumber selama eksekusi aktivitas Salin. Nilai Int64 (tanpa unit)
sinkPeakConnections Jumlah puncak koneksi bersamaan yang dibuat ke penyimpanan data sink selama eksekusi aktivitas Salin. Nilai Int64 (tanpa unit)
rowsRead Jumlah baris yang dibaca dari sumber. Metrik ini tidak berlaku saat menyalin file apa adanya tanpa menguraikannya, misalnya, ketika himpunan data sumber dan sink adalah jenis format biner, atau jenis format lainnya dengan pengaturan yang identik. Nilai Int64 (tanpa unit)
rowsCopied Jumlah baris yang disalin ke sink. Metrik ini tidak berlaku saat menyalin file apa adanya tanpa menguraikannya, misalnya, ketika himpunan data sumber dan sink adalah jenis format biner, atau jenis format lainnya dengan pengaturan yang identik. Nilai Int64 (tanpa unit)
rowsSkipped Jumlah baris yang tidak kompatibel yang dilewati. Anda dapat mengaktifkan baris yang tidak kompatibel untuk dilewati dengan mengatur enableSkipIncompatibleRow ke true. Nilai Int64 (tanpa unit)
copyDuration Durasi eksekusi salinan. Nilai Int32, dalam detik
throughput Kecepatan transfer data, dihitung dengan dataRead dibagi dengan copyDuration. Bilangan titik floating, dalam KBps
sourcePeakConnections Jumlah puncak koneksi bersamaan yang dibuat ke penyimpanan data sumber selama eksekusi aktivitas Salin. Nilai Int32 (tanpa unit)
sinkPeakConnections Jumlah puncak koneksi bersamaan yang dibuat ke penyimpanan data sink selama eksekusi aktivitas Salin. Nilai Int32 (tanpa unit)
sqlDwPolyBase Apakah PolyBase digunakan saat data disalin ke Azure Synapse Analytics. Boolean
redshiftUnload Apakah UNLOAD digunakan ketika data disalin dari Redshift. Boolean
hdfsDistcp Apakah DistCp digunakan ketika data disalin dari HDFS. Boolean
effectiveIntegrationRuntime Runtime integrasi (IR) atau runtime yang digunakan untuk menggerakkan eksekusi aktivitas, dalam format <IR name> (<region if it's Azure IR>). Teks (string)
usedDataIntegrationUnits Unit Integrasi Data yang efektif selama proses salin. Nilai Int32
usedParallelCopies ParallelCopies yang efektif selama proses salin. Nilai Int32
logPath Jalur ke log sesi data yang dilewati di penyimpanan blob. Lihat Toleransi kegagalan. Teks (string)
executionDetails Rincian selengkapnya tentang tahapan yang dilalui aktivitas Salin dan langkah-langkah, durasi, konfigurasi, dan lain sebagainya yang sesuai. Kami tidak menyarankan Anda memilah bagian ini karena mungkin bagian ini akan berubah. Untuk lebih memahami bagaimana hal itu dapat membantu Anda memahami dan memecahkan masalah performa Salin, lihat bagian Memantau secara visual. Array
perfRecommendation Tips penyetelan performa Salin. Lihat Tips penyetelan Performa untuk detailnya. Array
billingReference Konsumsi tagihan untuk eksekusi yang diberikan. Pelajari selengkapnya dari Memantau konsumsi pada tingkat eksekusi aktivitas. Objek
durationInQueue Durasi antrean dalam detik sebelum aktivitas salin mulai dijalankan. Objek

Contoh:

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

Konten terkait

Lihat artikel Aktivitas Penyalinan lainnya:

- Ringkasan aktivitas salin

- Performa aktivitas salin