Menyalin file baru dan yang diubah oleh LastModifiedDate dengan Azure Data Factory

Artikel
05/15/2024

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menjelaskan templat solusi yang bisa Anda gunakan untuk menyalin file baru dan file yang diubah hanya oleh LastModifiedDate dari penyimpanan berbasis file ke penyimpanan tujuan.

Tentang templat solusi ini

Pertama-tama templat ini akan memilih file baru dan file yang diubah hanya dengan atribut LastModifiedDatemereka, lalu menyalin file yang dipilih dari penyimpanan sumber data ke penyimpanan tujuan data.

Templat berisi satu aktivitas:

Salin untuk menyalin file baru dan file yang diubah hanya oleh LastModifiedDate dari penyimpanan file ke penyimpanan tujuan.

Templat menentukan dua parameter:

FolderPath_Source adalah jalur folder tempat Anda dapat membaca file dari penyimpanan sumber. Anda perlu mengganti nilai default dengan jalur folder Anda sendiri.
Directory_Source adalah jalur subfolder tempat Anda dapat membaca file dari penyimpanan sumber. Anda harus mengganti nilai default dengan jalur subfolder Anda sendiri.
FolderPath_Destination adalah jalur folder tempat Anda ingin menyalin file ke penyimpanan tujuan. Anda perlu mengganti nilai default dengan jalur folder Anda sendiri.
Directory_Destination adalah jalur subfolder tempat Anda ingin menyalin file ke penyimpanan tujuan. Anda harus mengganti nilai default dengan jalur subfolder Anda sendiri.
LastModified_From digunakan untuk memilih file dengan atribut LastModifiedDate yang melewati atau setara dengan nilai tanggalwaktu ini. Untuk memilih file baru saja, yang belum disalin terakhir kali, nilai tanggalwaktu ini bisa menjadi waktu ketika alur dipicu terakhir kali. Anda dapat mengganti nilai default '2019-02-01T00:00:00Z' menjadi LastModifiedDate yang diharapkan dalam zona waktu UTC.
LastModified_To digunakan untuk memilih file dengan atribut LastModifiedDate yang sebelum nilai tanggalwaktu ini. Untuk memilih file baru saja, yang tidak disalin dalam eksekusi sebelumnya, nilai tanggalwaktu ini bisa menjadi waktu saat ini. Anda dapat mengganti nilai default '2019-02-01T00:00:00Z' menjadi LastModifiedDate yang diharapkan dalam zona waktu UTC.

Cara menggunakan templat solusi ini

Navigasikan ke Galeri Templat dari tab Penulis di Azure Data Factory, lalu pilih + tombol, Alur, dan terakhir Galeri Templat.
Cari templat Salin file baru hanya oleh LastModifiedDate, pilih, lalu pilih Lanjutkan.
Buat koneksi Baru ke penyimpanan tujuan Anda. Penyimpanan tujuan adalah tempat tujuan file yang ingin Anda salin.
Buat koneksi Baru ke penyimpanan sumber Anda. Penyimpanan sumber adalah tempat asal file yang ingin Anda salin.
Pilih Gunakan templat ini.
Anda melihat alur yang tersedia di panel, seperti yang ditunjukkan dalam contoh berikut:
Pilih Debug, tulis nilai untuk Parameter, dan pilih Selesai. Dalam gambar berikut, kita mengatur parameter sebagai berikut.
- FolderPath_Source = sourcefolder
- Directory_Source = subfolder
- FolderPath_Destination = destinationfolder
- Directory_Destination = subfolder
- LastModified_From = 2019-02-01T00:00:00Z
- LastModified_To = 2019-03-01T00:00:00Z
Contohnya adalah menunjukkan bahwa file, yang terakhir dimodifikasi dalam rentang waktu (2019-02-01T00:00:00Z hingga 2019-03-01T00:00:00Z) akan disalin dari sourcefolder/subfolder jalur sumber ke jalur tujuan destinationfolder/subfolder. Anda dapat mengganti waktu atau folder ini dengan parameter Anda sendiri.
Meninjau ulang hasilnya. Anda hanya melihat file yang terakhir diubah dalam rentang waktu yang dikonfigurasi yang disalin ke penyimpanan tujuan.
Sekarang Anda dapat menambahkan pemicu jendela tumbling untuk mengotomatisasi alur ini sehingga alur dapat selalu menyalin file baru dan file yang diubah hanya dengan LastModifiedDate secara berkala. Pilih Tambahkan pemicu, lalu pilih Baru/Edit.
Di jendela Tambahkan Pemicu, pilih + Baru.
Pilih Jendela Tumbling untuk tipe pemicu, atur Setiap 15 menit sebagai pengulangan (Anda dapat mengubahnya ke waktu interval apa pun). Pilih Ya untuk kotak Diaktifkan, lalu pilih OK.
Tetapkan nilai Parameter Eksekusi Pemicu sebagai berikut, dan pilih Selesai.
- FolderPath_Source = sourcefolder. Anda dapat menggantinya dengan folder Anda di penyimpanan data sumber.
- Directory_Source = subfolder. Anda dapat menggantinya dengan subfolder Anda di penyimpanan data sumber.
- FolderPath_Destination = destinationfolder. Anda dapat menggantinya dengan folder Anda di penyimpanan data tujuan.
- Directory_Destination = subfolder. Anda dapat menggantinya dengan subfolder Anda di penyimpanan data tujuan.
- LastModified_From = @trigger().outputs.windowStartTime. Ini adalah variabel sistem dari pemicu yang menentukan waktu ketika alur dipicu terakhir kali.
- LastModified_To = @trigger().outputs.windowEndTime. Ini adalah variabel sistem dari pemicu yang menentukan waktu ketika alur dipicu kali ini.
Pilih Terbitkan Semua.
Buat file baru di folder sumber penyimpanan sumber data Anda. Anda sekarang menunggu alur dipicu secara otomatis dan hanya file baru yang disalin ke penyimpanan tujuan.
Pilih tab Monitor di panel navigasi kiri, dan tunggu sekitar 15 menit jika pengulangan pemicu diatur ke setiap 15 menit.
Meninjau ulang hasilnya. Anda melihat alur Anda dipicu secara otomatis setiap 15 menit, dan hanya file baru atau yang diubah dari penyimpanan sumber yang disalin ke penyimpanan tujuan di setiap eksekusi alur.