Format Biner di alur Azure Data Factory dan Synapse Analytics

  • Artikel

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Format biner didukung untuk konektor berikut: Amazon S3, Penyimpanan Kompatibel Amazon S3, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage, dan SFTP.

Anda dapat menggunakan himpunan data Biner dalam aktivitas Salin,aktivitas GetMetadata,atau aktivitas Hapus. Saat menggunakan himpunan data Biner, layanan tidak mengurai konten file tetapi memperlakukannya apa adanya.

Catatan

Saat menggunakan himpunan data Biner dalam aktivitas salin, Anda hanya dapat menyalin dari himpunan data Biner ke himpunan data Biner.

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel Himpunan Data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data Biner.

Properti Deskripsi Wajib
jenis Properti jenis himpunan data harus diatur ke Biner. Ya
lokasi Pengaturan lokasi file. Tiap konektor berbasis file memiliki jenis lokasinya sendiri dan properti yang didukung di location. Lihat detail di artikel konektor -> Bagian properti himpunan data. Ya
kompresi Grup properti untuk mengonfigurasi kompresi file. Konfigurasikan bagian ini saat Anda ingin melakukan kompresi/dekompresi selama eksekusi aktivitas. Tidak
jenis Codec pemadatan yang digunakan untuk membaca/menulis file biner.
Nilai yang diizinkan adalah bzip2,gzip,deflate,ZipDeflate,Tar,atau TarGzip.
Catatan ketika menggunakan aktivitas penyalinan untuk mendekompresi file ZipDeflate/TarGzip/Tar dan menulis ke penyimpanan data sink berbasis file, secara default file diekstraksi ke folder:<path specified in dataset>/<folder named as source compressed file>/, gunakan sumber preserveZipFileNameAsFolder/preserveCompressionFileNameAsFolderaktivitas penyalinan untuk mengontrol apakah akan mempertahankan nama file yang dipadatkan sebagai struktur folder.		 Tidak
tingkat Rasio pemadatan. Terapkan saat himpunan data digunakan di sink aktivitas Salin.
Nilai yang diizinkan adalah Optimal atau Tercepat.
- Tercepat: Operasi kompresi akan selesai secepat mungkin, meski file hasil tidak dikompresi secara optimal.
- Optimal: Operasi pemadatan akan dipadatkan secara optimal, bahkan jika operasi membutuhkan waktu lebih lama untuk menyelesaikannya. Untuk informasi selengkapnya, lihat topik Tingkat Pemadatan.		 Tidak

Di bawah ini adalah contoh himpunan data Biner di Azure Blob Storage:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung oleh sumber dan sink Biner.

Catatan

Saat menggunakan himpunan data Biner dalam aktivitas salin, Anda hanya dapat menyalin dari himpunan data Biner ke himpunan data Biner.

Biner sebagai sumber

Properti berikut didukung di bagian *sumber* aktivitas salin.

Properti Deskripsi Wajib
jenis Properti jenis sumber aktivitas salinan harus diatur ke BinarySource. Ya
formatSettings Grup properti. Lihat tabel pengaturan baca Biner di bawah ini. Tidak
storeSettings Grup berbagai properti tentang cara membaca data dari penyimpanan data. Setiap konektor berbasis file memiliki pengaturan baca yang didukung sendiri di bagian storeSettings. Lihat detail di artikel konektor -> Bagian properti aktivitas salin. Tidak

Pengaturan baca biner yang didukung di bawah formatSettings :

Properti Deskripsi Wajib
jenis Jenis formatSettings harus diatur ke BinaryReadSettings. Ya
compressionProperties Grup properti tentang cara mendekompresi data untuk codec pemadatan yang ditentukan. Tidak
preserveZipFileNameAsFolder
(di bawah compressionProperties->type sebagai ZipDeflateReadSettings)		 Berlaku saat input himpunan data dikonfigurasi dengan pemadatan ZipDeflate. Menunjukkan apakah akan mempertahankan nama file zip sumber sebagai struktur folder selama salin.
- Apabila disetel ke benar (default), layanan akan menulis file yang tidak di-zip ke <path specified in dataset>/<folder named as source zip file>/.
- Bila disetel ke false, layanan menulis file yang tidak di-zip langsung ke <path specified in dataset>. Pastikan Anda tidak memiliki nama file duplikat dalam file zip sumber yang berbeda untuk menghindari persaingan atau perilaku tak terduga.		 Tidak
preserveCompressionFileNameAsFolder
(di bawah compressionProperties->type sebagai TarGZipReadSettings atau TarReadSettings)		 Berlaku ketika himpunan data input dikonfigurasi dengan pemadatan TarGzip/Tar. Menunjukkan apakah akan mempertahankan nama file sumber yang dipadatkan sebagai struktur folder selama salin.
- Bila disetel ke true (default), layanan akan menulis file yang didekompresi ke <path specified in dataset>/<folder named as source compressed file>/.
- Bila disetel ke false, layanan menulis file yang didekompresi langsung ke <path specified in dataset>. Pastikan Anda tidak memiliki nama file duplikat di file sumber yang berbeda untuk menghindari persaingan atau perilaku yang tidak terduga.		 Tidak 
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Biner sebagai sink

Properti berikut ini didukung di bagian sink aktivitas salin.

Properti Deskripsi Wajib
jenis Properti jenis sumber aktivitas salin harus diatur ke BinarySink. Ya
storeSettings Grup properti tentang cara menulis data ke penyimpanan data. Setiap konektor berbasis file memiliki pengaturan tulis tersendiri yang didukung pada storeSettings. Lihat detail di artikel konektor -> Bagian properti aktivitas salin. Tidak

Konten terkait