Format Avro dalam Data Factory di Microsoft Fabric
Artikel ini menguraikan cara mengonfigurasi format Avro dalam alur data Data Factory di Microsoft Fabric.
Kemampuan yang didukung
Format Avro didukung untuk aktivitas dan konektor berikut sebagai sumber dan tujuan.
Category | Koneksi/Aktivitas |
---|---|
Konektor yang didukung | Amazon S3 |
Azure Blob Storage | |
Azure Data Lake Storage Gen1 | |
Azure Data Lake Storage Gen2 | |
FTP | |
Penyimpanan Cloud Google | |
HTTP | |
SFTP | |
Aktivitas yang didukung | Aktivitas Salin |
Aktivitas pencarian | |
Aktivitas GetMetadata | |
Aktivitas penghapusan |
Format Avro dalam aktivitas salin
Untuk mengonfigurasi format Avro, pilih koneksi Anda di sumber atau tujuan aktivitas penyalinan alur data, lalu pilih Avro di daftar drop-down format File. Pilih Pengaturan untuk konfigurasi lebih lanjut dari format ini.
Format Avro sebagai sumber
Setelah Anda memilih Pengaturan di bagian Format file, properti berikut ini diperlihatkan dalam kotak dialog pengaturan format file pop-up.
Jenis kompresi: Pilih codec kompresi yang digunakan untuk membaca file Avro di daftar drop-down. Anda dapat memilih dari Tidak Ada atau kempis. Anda juga dapat memilih Tambahkan konten dinamis untuk menentukan jenis dalam penyusun ekspresi.
Tingkat kompresi: Tentukan rasio pemadatan. Pilih dari 1 hingga 7. Anda juga dapat memilih Tambahkan konten dinamis untuk menentukan tingkat dalam penyusun ekspresi.
Format Avro sebagai tujuan
Setelah Anda memilih Pengaturan, properti berikut ini diperlihatkan dalam kotak dialog pengaturan format file pop-up.
Jenis kompresi: Pilih codec kompresi yang digunakan untuk menulis file Avro di daftar drop-down. Anda dapat memilih dari Tidak Ada atau kempis. Anda juga dapat memilih Tambahkan konten dinamis untuk menentukan jenis dalam penyusun ekspresi.
Tingkat kompresi: Tentukan rasio pemadatan. Pilih dari 1 hingga 7. Anda juga dapat memilih Tambahkan konten dinamis untuk menentukan tingkat dalam penyusun ekspresi.
Di bawah Pengaturan tingkat lanjut di tab Tujuan , properti terkait format Avro berikut ditampilkan.
- Baris maks per file: Saat menulis data ke dalam folder, Anda dapat memilih untuk menulis ke beberapa file dan menentukan baris maksimum per file.
- Awalan nama file: Berlaku saat Baris maks per file dikonfigurasi. Menentukan awalan nama file saat menulis data ke beberapa file, menghasilkan pola ini:
<fileNamePrefix>_00000.<fileExtension>
. Jika tidak ditentukan, awalan nama file dibuat secara otomatis. Properti ini tidak berlaku ketika sumbernya adalah penyimpanan berbasis file atau opsi partisi yang mengaktifkan penyimpanan data.
Ringkasan tabel
Avro sebagai sumber
Properti berikut ini didukung di bagian Sumber aktivitas salin saat menggunakan format Avro.
Nama | Deskripsi | Nilai | Wajib | Properti skrip Avro |
---|---|---|---|---|
Format file | Format file yang ingin Anda gunakan. | Avro | Ya | type (di bawah datasetSettings ):Avro |
Jenis pemadatan | Codec kompresi yang digunakan untuk membaca file Avro. | Tidak Mengempis |
No | avroCompressionCodec: Mengempis |
Tingkat pemadatan | Rasio pemadatan. | 1 hingga 7 | No | avroCompressionLevel: 1 hingga 7 |
Avro sebagai tujuan
Properti berikut ini didukung di bagian Tujuan aktivitas salin saat menggunakan format Avro.
Nama | Deskripsi | Nilai | Wajib | Properti skrip Avro |
---|---|---|---|---|
Format file | Format file yang ingin Anda gunakan. | Avro | Ya | type (di bawah datasetSettings ):Avro |
Jenis pemadatan | Codec kompresi yang digunakan untuk menulis file Avro. | Tidak Mengempis |
No | avroCompressionCodec: Mengempis |
Tingkat pemadatan | Rasio pemadatan. | 1 hingga 7 | No | avroCompressionLevel: 1 hingga 7 |
Baris maks per file | Saat menulis data ke dalam folder, Anda dapat memilih untuk menulis ke beberapa file dan menentukan baris maksimum per file. | < baris maks Anda per file > | No | maxRowsPerFile |
Awalan nama file | Berlaku saat Baris maks per file dikonfigurasi. Menentukan awalan nama file saat menulis data ke beberapa file, menghasilkan pola ini: <fileNamePrefix>_00000.<fileExtension> . Jika tidak ditentukan, awalan nama file dibuat secara otomatis. Properti ini tidak berlaku ketika sumbernya adalah penyimpanan berbasis file atau opsi partisi yang mengaktifkan penyimpanan data. |
< awalan nama file Anda > | No | fileNamePrefix |
Konten terkait
Saran dan Komentar
https://aka.ms/ContentUserFeedback.
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat:Kirim dan lihat umpan balik untuk