Mengonfigurasi Azure Blob Storage dalam aktivitas salin
Artikel ini menguraikan cara menggunakan aktivitas salin dalam alur data untuk menyalin data dari dan ke Azure Blob Storage.
Format yang didukung
Azure Blob Storage mendukung format file berikut. Lihat setiap artikel untuk mengetahui cara melakukan pengaturan berbasis format.
- Format Avro
- Format Biner
- Format teks terpisah
- Format Excel
- Format JSON
- Format ORC
- Format Parquet
- Format XML
Konfigurasi yang didukung
Untuk konfigurasi setiap tab di bawah aktivitas salin, buka bagian berikut.
Umum
Lihat panduan Pengaturan umum untuk mengonfigurasi tab Pengaturan umum.
Sumber
Properti berikut ini didukung untuk Azure Blob Storage di bawah tab Sumber aktivitas salin.
Properti berikut diperlukan:
- Jenis penyimpanan data: Pilih Eksternal.
- Koneksi ion: Pilih koneksi Azure Blob Storage dari daftar koneksi. Jika tidak ada koneksi, buat koneksi Azure Blob Storage baru dengan memilih Baru.
- Jalur file: Pilih Telusuri untuk memilih file yang ingin Anda salin, atau isi jalur secara manual.
- Pengaturan file: Pilih Pengaturan file untuk mengonfigurasi format file. Untuk pengaturan format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci.
Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:
Jenis jalur file: Anda dapat memilih Jalur file, Awalan, jalur file Wildcard, Daftar file sebagai jenis jalur file Anda. Konfigurasi setiap pengaturan adalah:
Jalur file: Jika Anda memilih jenis ini, data dapat disalin dari kontainer atau jalur folder/file yang ditentukan sebelumnya.
Awalan: Awalan untuk nama blob di bawah kontainer yang diberikan dikonfigurasi untuk memfilter blob sumber. Blob yang namanya dimulai dengan
container/this_prefix
dipilih. Ini menggunakan filter sisi layanan untuk penyimpanan blob.Saat Anda menggunakan Awalan dan memilih untuk menyalin ke tujuan berbasis file dengan mempertahankan hierarki, subpath setelah "/" terakhir dalam awalan dipertahankan. Misalnya, Anda memiliki sumber
container/folder/subfolder/file.txt
, dan mengonfigurasi awalan sebagaifolder/sub
, maka jalur file yang dipertahankan adalahsubfolder/file.txt
.Jalur file kartubebas: Tentukan folder atau jalur file dengan karakter kartubebas di bawah kontainer blob yang Anda berikan untuk memfilter folder atau file sumber Anda.
Kartubebas yang diizinkan adalah
*
(cocok dengan nol atau lebih karakter) dan?
(cocok dengan nol atau satu karakter). Gunakan^
untuk karakter escape jika nama folder Anda memiliki karakter kartubebas atau karakter escape di dalamnya. Untuk contoh lainnya, buka Contoh filter folder dan file.Jalur folder kartubebas: Tentukan jalur folder dengan karakter kartubebas di bawah kontainer yang Anda berikan untuk memfilter folder sumber.
Nama file kartubebas: Tentukan nama file dengan karakter kartubebas di bawah jalur kontainer dan folder yang Anda berikan (atau jalur folder kartubebas) untuk memfilter file sumber.
Daftar file: Menunjukkan set file tertentu untuk disalin. Di Jalur ke daftar file, masukkan atau telusuri ke file teks yang menyertakan daftar file yang ingin Anda salin, satu file per baris, yang merupakan jalur relatif ke setiap file.
Saat Anda menggunakan opsi ini, jangan tentukan nama file. Untuk contoh lainnya, buka Contoh daftar file.
Secara rekursif: Jika kotak centang ini dipilih, semua file di folder input dan subfoldernya diproses secara rekursif. Jika Anda membatalkan pilihan kotak centang, hanya yang ada di folder yang dipilih yang diproses. Pengaturan ini dinonaktifkan ketika satu file dipilih.
Hapus file setelah selesai: Jika kotak centang ini dipilih, file biner dihapus dari penyimpanan sumber setelah berhasil berpindah ke penyimpanan tujuan. Penghapusan file adalah per file, jadi ketika aktivitas salin gagal, Anda akan melihat bahwa beberapa file telah disalin ke tujuan dan dihapus dari sumber, sementara yang lain masih tersisa di penyimpanan sumber.
Catatan
Properti ini hanya valid dalam skenario salinan file biner.
Koneksi bersamaan maksimum: Properti ini menunjukkan batas atas koneksi bersamaan yang dibuat ke penyimpanan data selama aktivitas berjalan. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan.
Tujuan
Properti berikut ini didukung untuk Azure Blob Storage di bawah tab Tujuan dari aktivitas salin.
Properti berikut diperlukan:
- Jenis penyimpanan data: Pilih Eksternal.
- Koneksi ion: Pilih koneksi Azure Blob Storage dari daftar koneksi. Jika koneksi tidak ada, buat koneksi Azure Blob Storage baru dengan memilih Baru.
- Jalur file: Pilih Telusuri untuk memilih file yang ingin Anda salin atau isi jalur secara manual.
- Pengaturan file: Pilih Pengaturan file untuk mengonfigurasi format file. Untuk pengaturan format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci.
Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:
Perilaku salin: Menentukan perilaku salin saat sumbernya adalah file dari penyimpanan data berbasis file. Anda dapat memilih Tambahkan konten dinamis, Tidak Ada, FlattenHierarchy, atau Pertahankan hierarki dari daftar drop-down.
Menambahkan konten dinamis: Untuk menentukan ekspresi untuk nilai properti, pilih Tambahkan konten dinamis. Pilihan ini membuka penyusun ekspresi tempat Anda dapat membangun ekspresi dari variabel sistem yang didukung, output aktivitas, fungsi, dan variabel atau parameter yang ditentukan pengguna. Untuk informasi tentang bahasa ekspresi, buka Ekspresi dan fungsi.
Tidak Ada: Pilih pilihan ini untuk tidak menggunakan perilaku salin apa pun.
Meratakan hierarki: Semua file dari folder sumber berada di tingkat pertama folder tujuan. File tujuan memiliki nama yang dibuat secara otomatis.
Mempertahankan hierarki: Mempertahankan hierarki file di folder target. Jalur relatif file sumber ke folder sumber identik dengan jalur relatif file target ke folder target.
Koneksi bersamaan maksimum: Batas atas koneksi bersamaan yang dibuat ke penyimpanan data selama aktivitas berjalan. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan.
Ukuran blok (MB): Tentukan ukuran blok, dalam megabyte, digunakan untuk menulis data untuk memblokir blob. Untuk informasi selengkapnya, buka Tentang blob blok.
Metadata: Atur metadata kustom saat menyalin ke tujuan. Setiap objek di bawah
metadata
array mewakili kolom tambahan.name
mendefinisikan nama kunci metadata, danvalue
menunjukkan nilai data dari kunci tersebut. Jika fitur pertahankan atribut digunakan, metadata yang ditentukan akan disatukan/ditimpa dengan metadata file sumber.Nilai data yang diperbolehkan adalah:
$$LASTMODIFIED
: variabel yang dicadangkan menunjukkan untuk menyimpan waktu modifikasi terakhir file sumber. Sebarkan ke sumber berbasis file dengan format biner saja.Expression
Nilai statis
Pemetaan
Untuk Konfigurasi tab Pemetaan , buka Mengonfigurasi pemetaan Anda di bawah tab pemetaan. Jika Anda memilih Biner sebagai format file Anda, pemetaan tidak akan didukung.
Pengaturan
Untuk konfigurasi tab Pengaturan, lihat Mengonfigurasi pengaturan Anda yang lain di bawah tab pengaturan.
Ringkasan tabel
Tabel berikut ini berisi informasi selengkapnya tentang aktivitas salin di Azure Blob Storage.
Informasi sumber
Nama | Deskripsi | Nilai | Wajib | Properti skrip JSON |
---|---|---|---|---|
Jenis penyimpanan data | Jenis penyimpanan data Anda. | Eksternal | Ya | / |
Koneksi | Koneksi Anda ke penyimpanan data sumber. | <koneksi Anda> | Ya | koneksi |
Jalur file | Jalur file data sumber Anda. | <jalur file sumber Anda> | Ya | Wadah fileName |
Jenis jalur file | Jenis jalur file yang ingin Anda gunakan. | • Jalur file •Awalan • Jalur folder kartubebas, nama file Wildcard • Daftar file |
No | •Awalan • wildcardFolderPath, wildcardFileName • fileListPath |
Secara rekursif | Proses semua file dalam folder input dan subfoldernya secara rekursif atau hanya yang ada di folder yang dipilih. Pengaturan ini dinonaktifkan ketika satu file dipilih. | Dipilih atau tidak dipilih | No | recursive |
Menghapus file setelah selesai | File di penyimpanan data sumber akan dihapus tepat setelah dipindahkan ke penyimpanan tujuan. Penghapusan file adalah per file, jadi ketika aktivitas salin gagal, Anda dapat mengetahui bahwa beberapa file telah disalin ke tujuan dan dihapus dari sumber, sementara yang lain masih berada di penyimpanan sumber. | Dipilih atau tidak dipilih | No | deleteFilesAfterCompletion |
Koneksi bersamaan maks | Batas atas koneksi bersamaan yang ditetapkan ke penyimpanan data selama eksekusi aktivitas. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan. | <koneksi bersamaan maks> | No | maxConcurrentConnections |
Informasi tujuan
Nama | Deskripsi | Nilai | Wajib | Properti skrip JSON |
---|---|---|---|---|
Jenis penyimpanan data | Jenis penyimpanan data Anda. | Eksternal | Ya | / |
Koneksi | Koneksi Anda ke penyimpanan data tujuan. | <koneksi Anda> | Ya | koneksi |
Jalur file | Jalur file data tujuan Anda. | Jalur file sumber | Ya | Wadah fileName |
Perilaku salin | Menentukan perilaku saat menyalin file dari satu sistem file, seperti penyimpanan, ke yang lain (misalnya, dari satu penyimpanan blob ke penyimpanan blob lainnya). | •Tidak • Tambahkan konten dinamis • Meratakan hierarki • Mempertahankan hierarki |
No | copyBehavior |
Koneksi bersamaan maks | Batas atas koneksi bersamaan yang ditetapkan ke penyimpanan data selama eksekusi aktivitas. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan. | <koneksi bersamaan maks> | No | maxConcurrentConnections |
Ukuran blok (MB) | Tentukan ukuran blok dalam MB saat menulis data ke Azure Blob Storage. Nilai yang diizinkan adalah antara 4 MB dan 100 MB. | <ukuran blok> | No | blockSizeInMB |
Metadata | Atur metadata kustom saat menyalin ke tujuan. | • $$LASTMODIFIED •Ekspresi • Nilai statis |
No | metadata |