Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Artikel ini menguraikan cara menggunakan aktivitas salin dalam pipeline untuk menyalin data dari SFTP.
Format yang didukung
SFTP mendukung format file berikut. Lihat setiap artikel untuk mengetahui cara melakukan pengaturan berbasis format.
- Format Avro
- Format Biner
- Format teks terpisah
- Format Excel
- Format JSON
- Format ORC
- Format Parquet
- Format XML
Konfigurasi yang didukung
Untuk konfigurasi setiap tab di bawah aktivitas salin, buka bagian berikut.
General
Lihat panduan Pengaturan umum untuk mengonfigurasi tab Pengaturan umum.
Sumber
Buka tab Sumber untuk mengonfigurasi sumber aktivitas salin Anda. Lihat konten berikut untuk konfigurasi terperinci.
Tiga properti berikut diperlukan:
Koneksi: Pilih koneksi SFTP dari daftar koneksi. Jika tidak ada koneksi, buat koneksi SFTP baru dengan memilih Baru.
Jenis jalur file: Pilih dari Jalur file, jalur file Wildcard , dan Daftar file berdasarkan cara Anda ingin membaca file.
Jalur file: Jika Anda memilih jenis ini, tentukan jalur file sumber Anda. Anda dapat memilih Telusuri untuk memilih file sumber Anda atau memasukkan jalur file Anda secara manual.
Jalur file liar: Jika Anda memilih jenis ini, tentukan jalur Wildcard untuk memfilter folder atau file sumber Anda.
Kartubebas yang diizinkan adalah
*(cocok dengan nol karakter atau lebih) dan?(cocok dengan nol atau karakter tunggal). Gunakan^untuk melakukan escape jika nama folder Anda memiliki wildcard atau karakter escape di dalamnya. Untuk contoh lainnya, buka Contoh filter folder dan file.
Jalur folder wildcard: Tentukan jalur folder dengan karakter wildcard untuk memfilter folder asal.
Nama file wildcard: Tentukan nama file dengan karakter wildcard di dalam jalur folder yang diberikan/jalur folder wildcard untuk menyaring file sumber.
Daftar file: Jika Anda memilih jenis ini, tentukan jalur Folder dan Daftar jalur ke file untuk menunjukkan untuk menyalin kumpulan file tertentu. Arahkan ke file teks yang menyertakan daftar file yang ingin Anda salin, satu file per baris. Untuk contoh lainnya, buka Contoh daftar file.
Jalur folder: Tentukan jalur ke folder sumber Anda. Ini diperlukan.
Jalur ke daftar file: Tentukan jalur file teks yang menyertakan daftar file yang ingin Anda salin.
Format file: Pilih format file yang diterapkan dari daftar drop-down. Pilih Pengaturan untuk mengonfigurasi format file. Untuk pengaturan format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci.
Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:
Filter menurut terakhir diubah: File difilter berdasarkan tanggal terakhir diubah yang Anda tentukan. Properti ini tidak berlaku saat Anda mengonfigurasi tipe jalur file sebagai Daftar file.
- Waktu mulai (UTC): File dipilih jika waktu terakhir diubah lebih besar dari atau sama dengan waktu yang dikonfigurasi.
- Waktu selesai (UTC): File dipilih jika waktu terakhir diubah kurang dari waktu yang dikonfigurasi.
Ketika Waktu mulai (UTC) memiliki nilai tanggalwaktu tetapi Waktu akhir (UTC) adalah NULL, itu berarti file yang atribut terakhir diubahnya lebih besar atau sama dengan nilai tanggalwaktu dipilih. Ketika Waktu akhir (UTC) memiliki nilai tanggal dan waktu tetapi Waktu mulai (UTC) adalah NULL, ini berarti file dengan atribut terakhir diubah yang lebih kecil dari nilai tanggal dan waktu tersebut akan dipilih. Properti dapat berupa NULL, yang berarti tidak ada filter atribut file yang diterapkan ke data.
Nonaktifkan penggugusan: Penggugusan dirancang untuk mengoptimalkan performa dan terjadi di bawahnya. Opsi ini memungkinkan Anda menonaktifkan pemotongan dalam setiap file. Saat menyalin data dari SFTP, layanan mencoba mendapatkan panjang file terlebih dahulu, lalu membagi file menjadi beberapa bagian dan membacanya secara paralel. Tentukan apakah server SFTP Anda mendukung mendapatkan panjang file atau ingin membaca dari offset tertentu. Ini tidak dipilih secara default.
Aktifkan penemuan partisi: Tentukan apakah akan mengurai partisi dari jalur file dan menambahkannya sebagai kolom sumber tambahan. Ini tidak dipilih secara default dan tidak didukung saat Anda menggunakan format file biner.
Jalur akar partisi: Saat penemuan partisi diaktifkan, tentukan jalur akar absolut untuk membaca folder yang dipartisi sebagai kolom data.
Jika tidak ditentukan, secara default,- Saat Anda menggunakan jalur file atau daftar file pada sumber, jalur akar partisi adalah jalur yang Anda konfigurasikan.
- Saat Anda menggunakan filter folder wildcard, jalur akar partisi adalah subjalur sebelum wildcard pertama.
Misalnya, dengan asumsi Anda mengonfigurasi jalur sebagai
root/folder/year=2020/month=08/day=27:- Jika Anda menentukan jalur akar partisi sebagai
root/folder/year=2020, aktivitas salin menghasilkan dua kolom lagi bulan dan hari dengan nilai "08" dan "27" masing-masing, selain kolom di dalam file. - Jika jalur akar partisi tidak ditentukan, tidak ada kolom tambahan yang dihasilkan.
Koneksi bersamaan maksimum: Properti ini menunjukkan batas atas koneksi bersamaan yang dibuat ke penyimpanan data selama aktivitas berjalan. Tentukan nilai hanya jika Anda ingin membatasi koneksi bersamaan.
Kolom tambahan: Tambahkan kolom data tambahan untuk menyimpan jalur relatif file sumber atau nilai statis. Ekspresi didukung untuk pilihan terakhir. Untuk informasi selengkapnya, buka Menambahkan kolom tambahan selama penyalinan.
Tujuan
Buka tab Tujuan untuk mengonfigurasi tujuan aktivitas salin Anda. Lihat konten berikut untuk konfigurasi terperinci.
- Koneksi: Pilih koneksi SFTP dari daftar koneksi. Jika tidak ada koneksi, buat koneksi SFTP baru dengan memilih Baru.
- Jalur file: Tentukan jalur file untuk menulis data Anda. Anda dapat memilih Telusuri untuk memilih file sumber Anda atau memasukkan jalur file Anda secara manual.
- Format file: Pilih format file yang diterapkan dari daftar drop-down. Pilih Pengaturan untuk mengonfigurasi format file. Untuk pengaturan format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci.
Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:
Perilaku salin: Tentukan perilaku salin saat sumbernya adalah file dari penyimpanan data berbasis file. Pilih dari properti berikut.
- Meratakan hierarki: Semua file dari folder sumber diletakkan di tingkat pertama dari folder target. File target memiliki nama yang ditulis secara otomatis.
- Gabungkan file: Menggabungkan semua file dari folder sumber ke satu file. Jika nama file ditentukan, nama file yang digabungkan adalah nama yang ditentukan. Jika tidak, nama tersebut adalah nama file yang ditulis secara otomatis.
- Mempertahankan hierarki (default): Mempertahankan hierarki file di folder target. Jalur relatif dari file sumber ke folder sumber sama dengan jalur relatif file target ke folder target.
- Tambahkan konten dinamis: Pilih ini untuk menentukan perilaku salin Anda menggunakan konten dinamis.
Koneksi bersamaan maks: Batas atas koneksi bersamaan yang dibuat ke penyimpanan data selama aktivitas berjalan. Tentukan nilai hanya jika Anda ingin membatasi koneksi bersamaan.
Batas waktu operasi (menit): Tentukan batas waktu untuk menulis setiap gugus ke server SFTP. Nilai defaultnya adalah 60 menit.
Unggah dengan file sementara: Tentukan apakah akan mengunggah ke file sementara dan mengganti namanya, atau langsung menulis ke folder target atau lokasi file. Secara default, ini dipilih dan layanan pertama kali menulis ke file sementara lalu mengganti namanya ketika unggahan selesai.
Urutan ini membantu (1) menghindari konflik yang mungkin mengakibatkan file rusak jika Anda memiliki proses lain yang menulis ke file yang sama, dan (2) memastikan bahwa versi asli file ada selama transfer. Jika server SFTP Anda tidak mendukung operasi ganti nama, nonaktifkan opsi ini dan pastikan Anda tidak memiliki penulisan bersamaan ke file target.
Petunjuk / Saran
Jika Anda menerima kesalahan "UserErrorSftpPathNotFound," "UserErrorSftpPermissionDenied," atau "SftpOperationFail" saat Anda menulis data ke SFTP, dan pengguna SFTP yang Anda gunakan memang memiliki izin yang tepat, periksa untuk melihat apakah operasi penggantian nama file dukungan server SFTP Anda berfungsi. Jika tidak, nonaktifkan opsi Unggah dengan file sementara , lalu coba lagi.
Pemetaan
Untuk Konfigurasi tab Pemetaan , lihat Mengonfigurasi pemetaan Anda di bawah tab pemetaan. Jika Anda memilih Biner sebagai format file Anda, pemetaan tidak akan didukung.
Pengaturan
Untuk konfigurasi tab Pengaturan, buka tab Pengaturan kemudian konfigurasikan pengaturan lain di bawah tab pengaturan.
Ringkasan tabel
Tabel berikut berisi informasi selengkapnya tentang aktivitas salin di SFTP.
Sumber
| Nama | Description | Nilai | Diperlukan | Properti skrip JSON |
|---|---|---|---|---|
| Koneksi | Koneksi SFTP Anda ke penyimpanan data sumber. | < koneksi SFTP Anda > | Yes | connection |
| Jenis jalur file | Jenis jalur file yang digunakan untuk mendapatkan data sumber. | • Path file • Jalur file kartubebas • Daftar file |
Yes | / |
| Jalur file | Jalur ke file sumber. | < jalur file> | Yes | Filename folderPath |
| Jalur kartubebas | Jalur wildcard ke file sumber. | < jalur file kartubebas Anda > | Ya untuk nama file Wildcard | wildcardFolderPath wildcardFileName |
| Lokasi Folder | Jalur ke folder sumber Anda. | < jalur folder Anda> | Yes | folderPath |
| Jalur ke daftar file | Mengindikasikan untuk menyalin set file yang diberikan. Arahkan ke file teks yang menyertakan daftar file yang ingin Anda salin, satu file per baris. | < jalur daftar file > | Tidak. | fileListPath |
| Format File | Format file untuk data sumber Anda. Untuk informasi format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci. | / | Yes | / |
| Filter berdasarkan terakhir diubah | File dengan waktu terakhir diubah dalam rentang [Waktu mulai, Waktu selesai) difilter untuk pemrosesan lebih lanjut. Waktu diterapkan ke zona waktu UTC dalam format yyyy-mm-ddThh:mm:ss.fffZ. Properti ini dapat dilewati yang berarti tidak ada filter atribut file yang diterapkan. Properti ini tidak berlaku saat Anda mengonfigurasi tipe jalur file sebagai Daftar file. |
tanggalwaktu | Tidak. | modifiedDatetimeStart modifiedDatetimeEnd |
| Menonaktifkan chunking | Potongan dirancang untuk mengoptimalkan performa dan terjadi di bawahnya. Opsi ini memungkinkan Anda menonaktifkan pemotongan dalam setiap file. Saat menyalin data dari SFTP, layanan mencoba mendapatkan panjang file terlebih dahulu, lalu membagi file menjadi beberapa bagian dan membacanya secara paralel. Tentukan apakah server SFTP Anda mendukung mendapatkan panjang file atau ingin membaca dari offset tertentu. | dipilih atau tidak dipilih (default) | Tidak. | disableChunking: benar atau salah (default) |
| Mengaktifkan penemuan partisi | Menunjukkan apakah akan mengurai partisi dari jalur file dan menambahkannya sebagai kolom sumber tambahan. | dipilih atau tidak dipilih (default) | Tidak. | aktifkanPenemuanPartisi: benar atau salah (default) |
| Jalur akar partisi | Jalur akar partisi absolut untuk membaca folder yang dipartisi sebagai kolom data. Tentukan hal itu ketika penemuan partisi diaktifkan. | < jalur akar partisi > | Tidak. | partitionRootPath |
| Jumlah koneksi bersamaan maksimum | Batas maksimum jumlah koneksi bersamaan yang dapat dibuat ke penyimpanan data selama aktivitas berlangsung. Tentukan nilai hanya jika Anda ingin membatasi koneksi bersamaan. |
< batas atas koneksi bersamaan > (bilangan bulat) |
Tidak. | maxConcurrentConnections |
| Kolom tambahan | Tambahkan kolom data tambahan untuk menyimpan jalur relatif file sumber atau nilai statis. Ekspresi didukung untuk pilihan terakhir. Untuk informasi selengkapnya, buka Menambahkan kolom tambahan selama penyalinan | •Nama •Nilai |
Tidak. | kolomTambahan: •Nama • nilai |
Tujuan
| Nama | Description | Nilai | Diperlukan | Properti skrip JSON |
|---|---|---|---|---|
| Koneksi | Koneksi Anda ke SFTP sumber. | < koneksi Anda > | Yes | connection |
| Jalur file | Jalur file data tujuan Anda. | Jalur file tujuan | Yes | folderPath Filename |
| Format File | Format file untuk data sumber Anda. Untuk informasi format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci. | / | Yes | / |
| Perilaku salin | Menentukan perilaku salin saat sumber berupa file dari penyimpanan data berbasis file. | • Meratakan hierarki • Gabungkan file • Mempertahankan hierarki |
Tidak. | copyBehavior: - FlattenHierarchy - MergeFiles MempertahankanHierarki |
| Jumlah koneksi bersamaan maksimum | Batas maksimum jumlah koneksi bersamaan yang dapat dibuat ke penyimpanan data selama aktivitas berlangsung. Tentukan nilai hanya jika Anda ingin membatasi koneksi bersamaan. | < koneksi bersamaan maksimum > | Tidak. | maxConcurrentConnections |
| Batas waktu operasi (menit) | Batas waktu untuk menulis setiap potongan ke server SFTP. |
< batas waktu operasi Anda > Nilai defaultnya adalah 60 |
Tidak. | operationTimeout |
| Unggah dengan file sementara | Menunjukkan apakah akan mengunggah file sementara dan mengganti nama. Nonaktifkan opsi ini jika server SFTP Anda tidak mendukung operasi ganti nama. | dipilih (default) atau tidak dipilih | Tidak. | useTempFileRename: benar (default) atau salah |