Muat data secara bertahap dari penyimpanan data sumber ke penyimpanan data tujuan

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Mencari cara mudah untuk memindahkan data? Tugas penyalinan di Microsoft Fabric menyediakan cara sederhana dan mudah diskalakan untuk memuat data tanpa membangun alur. Pelajari cara membuatnya.

Dalam solusi integrasi data, memuat data secara bertahap (atau delta) setelah pemuatan data penuh awal adalah praktik yang umum digunakan. Tutorial di bagian ini menunjukkan kepada Anda berbagai cara memuat data secara bertahap dengan menggunakan Microsoft Azure Data Factory.

Pemuatan data Delta dari database dengan menggunakan watermark

Dalam hal ini, Anda menentukan tanda air di database sumber Anda. Watermark adalah kolom yang memiliki stempel waktu terakhir diperbarui atau kunci yang meningkat. Solusi pemuatan delta memuat data yang diubah antara marka air lama dan marka air baru. Alur kerja untuk pendekatan ini digambarkan dalam diagram berikut:

Lihat tutorial berikut untuk instruksi langkah demi langkah:

• Menyalin data secara bertahap dari satu tabel di Microsoft Azure SQL Database ke penyimpanan Microsoft Azure Blob
• Menyalin data secara bertahap dari beberapa tabel dalam instans SQL Server ke Microsoft Azure SQL Database

Untuk templat, lihat berikut:

• Salinan delta dengan tabel kontrol

Pemuatan data Delta dari SQL DB dengan menggunakan teknologi Pelacakan Perubahan

Teknologi Pelacakan Perubahan adalah solusi ringan di SQL Server dan Microsoft Azure SQL Database yang menyediakan mekanisme pelacakan perubahan yang efisien untuk aplikasi. Hal ini memungkinkan aplikasi untuk mudah mengidentifikasi data yang disisipkan, diperbarui, atau dihapus.

Alur kerja untuk pendekatan ini digambarkan dalam diagram berikut:

Untuk instruksi langkah demi langkah, lihat tutorial berikut:

• Menyalin data secara bertahap dari Microsoft Azure SQL Database ke penyimpanan Microsoft Azure Blob dengan menggunakan teknologi Pelacakan Perubahan

Memuat file baru dan yang diubah hanya dengan menggunakan LastModifiedDate

Anda dapat menyalin file baru dan yang diubah hanya dengan menggunakan LastModifiedDate ke penyimpanan tujuan. ADF akan memindai seluruh file dari penyimpanan sumber, menerapkan filter file berdasarkan LastModifiedDate mereka, dan hanya menyalin file baru dan yang telah diperbarui sejak proses terakhir ke penyimpanan tujuan. Jika Anda membiarkan ADF memindai sejumlah besar file tetapi Anda hanya menyalin beberapa file ke tujuan, ini masih akan memakan waktu lama karena proses pemindaian file.

Untuk instruksi langkah demi langkah, lihat tutorial berikut:

• Salin secara inkremental file baru dan yang diubah berdasarkan LastModifiedDate dari penyimpanan Azure Blob ke penyimpanan Azure Blob

Untuk templat, lihat berikut:

• Menyalin file baru menurut LastModifiedDate

Memuat file baru hanya dengan menggunakan folder atau nama file yang dipartisi waktu

Anda hanya dapat menyalin file baru saja, di mana file atau folder sudah dipartisi berdasarkan informasi timeslice yang menjadi bagian dari nama file atau folder tersebut (misalnya, /yyyy/mm/dd/file.csv). Ini adalah pendekatan yang paling berkinerja untuk memuat file baru secara bertahap.

Untuk instruksi langkah demi langkah, lihat tutorial berikut:

• Salin file baru secara inkremental berdasarkan folder atau nama file yang dipartisi berdasarkan waktu dari Azure Blob Storage ke Azure Blob Storage

Konten terkait

Lanjutkan ke tutorial berikut:

Menyalin data secara bertahap dari satu tabel di Microsoft Azure SQL Database ke penyimpanan Microsoft Azure Blob