Mengonfigurasi Azure Files dalam aktivitas salin
Artikel ini menguraikan cara menggunakan aktivitas salin di Alur data untuk menyalin data dari dan ke Azure Files.
Format yang didukung
Azure Files mendukung format file berikut. Lihat setiap artikel untuk mengetahui cara melakukan pengaturan berbasis format.
- Format Avro
- Format Biner
- Format teks terpisah
- Format Excel
- Format JSON
- Format ORC
- Format Parquet
- Format XML
Konfigurasi yang didukung
Untuk konfigurasi setiap tab di bawah aktivitas salin, buka bagian berikut.
Umum
Lihat panduan Pengaturan umum untuk mengonfigurasi tab Pengaturan umum.
Sumber
Properti berikut ini didukung untuk Azure Files di bawah tab Sumber aktivitas salin.
Properti berikut diperlukan:
Jenis penyimpanan data: Pilih Eksternal.
Koneksi ion: Pilih koneksi Azure Files dari daftar koneksi. Jika tidak ada koneksi, buat koneksi Azure Files baru dengan memilih Baru.
Jenis jalur file: Anda dapat memilih Jalur file, Awalan, jalur file Wildcard, Daftar file sebagai jenis jalur file Anda. Konfigurasi setiap pengaturan adalah:
Jalur file: Jika Anda memilih jenis ini, data dapat disalin dari jalur folder/file yang ditentukan.
Awalan: Awalan untuk nama file di bawah berbagi file yang ditentukan untuk memfilter file sumber. Files dengan nama yang dimulai dengan
fileshare_in_connection/this_prefixdipilih. Ini menggunakan filter sisi layanan untuk Azure Files, yang memberikan performa lebih baik daripada filter kartubebas.
Jalur file kartubebas: Tentukan folder atau jalur file dengan karakter kartubebas untuk memfilter folder atau file sumber.
Kartubebas yang diizinkan adalah
*(cocok dengan nol atau lebih karakter) dan?(cocok dengan nol atau satu karakter). Gunakan^untuk karakter escape jika nama folder Anda memiliki karakter kartubebas atau karakter escape di dalamnya. Untuk contoh lainnya, buka Contoh filter folder dan file.
Jalur folder kartubebas: Tentukan jalur folder dengan karakter kartubebas untuk memfilter folder sumber.
Nama file kartubebas: Tentukan nama file dengan karakter kartubebas di bawah jalur folder folder/kartubebas yang dikonfigurasi untuk memfilter file sumber.
Daftar file: Menunjukkan set file tertentu untuk disalin. Di Jalur ke daftar file, masukkan atau telusuri ke file teks yang menyertakan daftar file yang ingin Anda salin, satu file per baris, yang merupakan jalur relatif ke setiap file.
Saat Anda menggunakan opsi ini, jangan tentukan nama file. Untuk contoh lainnya, buka Contoh daftar file.
Jalur folder: Tentukan jalur ke folder. Hal ini diperlukan.
Jalur ke daftar file: Tentukan jalur file teks yang menyertakan daftar file yang ingin Anda salin.
Secara rekursif: Tentukan apakah data dibaca secara rekursif dari subfolder atau hanya dari folder yang ditentukan. Perhatikan bahwa ketika Secara rekursif dipilih dan tujuannya adalah penyimpanan berbasis file, folder atau subfolder kosong tidak disalin atau dibuat di tujuan. Properti ini dipilih secara default dan tidak berlaku saat Anda mengonfigurasi Jalur ke daftar file.
Format file: Pilih format file yang diterapkan dari daftar drop-down. Pilih Pengaturan untuk mengonfigurasi format file. Untuk pengaturan format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci.
Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:
Filter menurut terakhir diubah: File difilter berdasarkan tanggal terakhir diubah. Properti ini tidak berlaku saat Anda mengonfigurasi tipe jalur file sebagai Daftar file.
Waktu mulai (UTC): File dipilih jika waktu terakhir diubah lebih besar dari atau sama dengan waktu yang dikonfigurasi.
Waktu selesai (UTC): File dipilih jika waktu terakhir diubah kurang dari waktu yang dikonfigurasi.
Ketika Waktu mulai (UTC) memiliki nilai tanggalwaktu tetapi Waktu selesai (UTC) adalah NULL, itu berarti file yang atribut terakhir diubah lebih besar dari atau sama dengan nilai tanggalwaktu akan dipilih. Ketika Waktu selesai (UTC) memiliki nilai tanggalwaktu tetapi Waktu mulai (UTC) adalah NULL, itu berarti file yang atribut terakhir diubah kurang dari nilai tanggalwaktu akan dipilih. Properti dapat berupa NULL, yang berarti tidak ada filter atribut file yang akan diterapkan ke data.
Aktifkan penemuan partisi: Tentukan apakah akan mengurai partisi dari jalur file dan menambahkannya sebagai kolom sumber tambahan. Ini tidak dipilih secara default dan tidak didukung saat Anda menggunakan format file biner.
Jalur akar partisi: Saat penemuan partisi diaktifkan, tentukan jalur akar absolut untuk membaca folder yang dipartisi sebagai kolom data.
Jika tidak ditentukan, secara default,
- Saat Anda menggunakan jalur file atau daftar file pada sumber, jalur akar partisi adalah jalur yang Anda konfigurasikan.
- Saat Anda menggunakan filter folder kartubebas, jalur akar partisi adalah sub-jalur sebelum wildcard pertama.
Misalnya, dengan asumsi Anda mengonfigurasi jalur sebagai
root/folder/year=2020/month=08/day=27:- Jika Anda menentukan jalur akar partisi sebagai
root/folder/year=2020, aktivitas salin akan menghasilkan dua kolom lagi bulan dan hari dengan nilai "08" dan "27" masing-masing, selain kolom di dalam file. - Jika jalur akar partisi tidak ditentukan, tidak ada kolom tambahan yang akan dihasilkan.
Koneksi bersamaan maksimum: Properti ini menunjukkan batas atas koneksi bersamaan yang dibuat ke penyimpanan data selama aktivitas berjalan. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan.
Kolom tambahan: Tambahkan kolom data tambahan untuk menyimpan jalur relatif file sumber atau nilai statis. Ekspresi didukung untuk yang terakhir.
Tujuan
Properti berikut ini didukung untuk Azure Files di bawah tab Tujuan dari aktivitas salin.
Properti berikut diperlukan:
- Jenis penyimpanan data: Pilih Eksternal.
- Koneksi ion: Pilih koneksi Azure Files dari daftar koneksi. Jika koneksi tidak ada, buat koneksi Azure Files baru dengan memilih Baru.
- Jalur file: Pilih Telusuri untuk memilih file yang ingin Anda salin atau isi jalur secara manual.
- Format file: Pilih format file yang diterapkan dari daftar drop-down. Pilih Pengaturan untuk mengonfigurasi format file. Untuk pengaturan format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci.
Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:
Perilaku salin: Menentukan perilaku salin saat sumbernya adalah file dari penyimpanan data berbasis file. Anda dapat memilih perilaku dari daftar drop-down.
- Meratakan hierarki: Semua file dari folder sumber berada di tingkat pertama folder tujuan. File tujuan memiliki nama yang dibuat secara otomatis.
- Gabungkan file: Menggabungkan semua file dari folder sumber ke satu file. Jika nama file ditentukan, nama file yang digabungkan adalah nama yang ditentukan. Jika tidak, ini adalah nama file yang dibuat secara otomatis.
- Mempertahankan hierarki: Mempertahankan hierarki file di folder target. Jalur relatif file sumber ke folder sumber identik dengan jalur relatif file target ke folder target.
Koneksi bersamaan maksimum: Batas atas koneksi bersamaan yang dibuat ke penyimpanan data selama aktivitas berjalan. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan.
Baris maks per file: Saat menulis data ke dalam folder, Anda dapat memilih untuk menulis ke beberapa file dan menentukan baris maksimum per file. Tentukan baris maksimum yang ingin Anda tulis per file.
Pemetaan
Untuk Konfigurasi tab Pemetaan , buka Mengonfigurasi pemetaan Anda di bawah tab pemetaan. Jika Anda memilih Biner sebagai format file Anda, pemetaan tidak akan didukung.
Pengaturan
Untuk konfigurasi tab Pengaturan, lihat Mengonfigurasi pengaturan Anda yang lain di bawah tab pengaturan.
Ringkasan tabel
Tabel berikut ini berisi informasi selengkapnya tentang aktivitas salin di Azure Files.
Informasi sumber
| Nama | Deskripsi | Nilai | Wajib | Properti skrip JSON |
|---|---|---|---|---|
| Jenis penyimpanan data | Jenis penyimpanan data Anda. | Eksternal | Ya | / |
| Koneksi | Koneksi Anda ke penyimpanan data sumber. | <koneksi Azure Files Anda> | Ya | koneksi |
| Jenis jalur file | Jenis jalur file yang digunakan untuk mendapatkan data sumber. | • Jalur file •Awalan • Jalur file kartubebas • Daftar file |
Ya | / |
| Untuk Jalur file | ||||
| Direktori | Jalur ke folder. | <nama folder Anda> | No | folderPath |
| Nama file | Nama file di bawah jalur folder yang ditentukan. | <nama file Anda> | No | fileName |
| Untuk Awalan | ||||
| Awalan | Awalan untuk nama file di bawah berbagi file yang ditentukan untuk memfilter file sumber. | <awalan Anda> | No | awalan |
| Untuk jalur file Wildcard | ||||
| Jalur folder kartubebas | Jalur folder dengan karakter kartubebas untuk memfilter folder sumber. | <jalur folder Anda dengan karakter kartubebas> | No | wildcardFolderPath |
| Nama file kartubebas | Nama file dengan karakter kartubebas di bawah jalur folder/kartubebas yang ditentukan untuk memfilter file sumber. | <nama file Anda dengan karakter kartubebas> | Ya | wildcardFileName |
| Untuk Daftar file | ||||
| Jalur Folder | Jalur ke folder. | <nama folder Anda> | No | folderpath |
| Jalur ke daftar file | Mengindikasikan untuk menyalin set file yang diberikan. Arahkan ke file teks yang menyertakan daftar file yang ingin Anda salin, satu file per baris. | < jalur daftar file > | No | fileListPath |
| Secara rekursif | Proses semua file dalam folder input dan subfoldernya secara rekursif atau hanya yang ada di folder yang dipilih. Pengaturan ini dinonaktifkan ketika satu file dipilih. | Dipilih atau tidak dipilih | No | recursive |
| Format file | Format file untuk data sumber Anda. Untuk informasi format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci. | / | Ya | / |
| Filter menurut terakhir diubah | File dengan waktu terakhir diubah dalam rentang [Waktu mulai, Waktu selesai) akan difilter untuk pemrosesan lebih lanjut. Waktu akan diterapkan ke zona waktu UTC dalam format yyyy-mm-ddThh:mm:ss.fffZ. Properti ini dapat dilewati yang berarti tidak ada filter atribut file yang akan diterapkan. Properti ini tidak berlaku saat Anda mengonfigurasi tipe jalur file sebagai Daftar file. |
datetime | No | modifiedDatetimeStart modifiedDatetimeEnd |
| Mengaktifkan penemuan partisi | Menunjukkan apakah akan mengurai partisi dari jalur file dan menambahkannya sebagai kolom sumber tambahan. | dipilih atau tidak dipilih (default) | No | enablePartitionDiscovery: true atau false (default) |
| Koneksi bersamaan maks | Batas atas koneksi bersamaan yang ditetapkan ke penyimpanan data selama eksekusi aktivitas. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan. | <koneksi bersamaan maks> | No | maxConcurrentConnections |
| Kolom tambahan | Tambahkan kolom data tambahan untuk menyimpan jalur relatif file sumber atau nilai statis. Ekspresi didukung untuk yang terakhir. | •Nama •Nilai |
No | additionalColumns: •Nama •Nilai |
Informasi tujuan
| Nama | Deskripsi | Nilai | Wajib | Properti skrip JSON |
|---|---|---|---|---|
| Jenis penyimpanan data | Jenis penyimpanan data Anda. | Eksternal | Ya | / |
| Koneksi | Koneksi Anda ke penyimpanan data tujuan. | <koneksi Anda> | Ya | koneksi |
| Jalur file | Jalur folder/file ke file tujuan. | < jalur folder/file > | Ya | / |
| Direktori | Jalur ke folder di bawah wadah yang ditentukan. | <nama folder Anda> | No | folderpath |
| Nama file | Nama file di bawah wadah dan jalur folder yang ditentukan. | <nama file Anda> | No | fileName |
| Perilaku salin | Menentukan perilaku salin saat sumber berupa file dari penyimpanan data berbasis file. | • Meratakan hierarki • Gabungkan file • Mempertahankan hierarki |
No | copyBehavior: • FlattenHierarchy • MergeFiles • PreserveHierarchy |
| Koneksi bersamaan maks | Batas atas koneksi bersamaan yang ditetapkan ke penyimpanan data selama eksekusi aktivitas. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan. | <koneksi bersamaan maks> | No | maxConcurrentConnections |
| Baris maks per file | Saat menulis data ke dalam folder, Anda dapat memilih untuk menulis ke beberapa file dan menentukan baris maksimum per file. Tentukan baris maksimum yang ingin Anda tulis per file. | < baris maks Anda per file > | No | maxRowsPerFile |