Azure Data Factory ve Synapse Analytics'te ikili dosya formatı

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

İkili biçim şu bağlayıcılar için desteklenir: Amazon S3, Amazon S3 Uyumlu Depolama, Azure Blob, 1. Nesil Azure Data Lake Storage, Azure Data Lake Storage 2. Nesil, Azure Dosyalar, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage ve SFTP.

İkili veri kümesini Kopyalama etkinliği, GetMetadata etkinliği veya Delete activity içinde kullanabilirsiniz. İkili veri kümesi kullanılırken, hizmet dosya içeriğini ayrıştırmaz ancak as-isolarak ele alır.

Önemli Not

Kopyalama etkinliğinde İkili veri kümesini kullanırken, yalnızca İkili veri kümesinden İkili veri kümesine kopyalayabilirsiniz.

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde, İkili veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Özellik Açıklama Gerekli
Tür Veri kümesinin tür özelliği İkili olarak ayarlanmalıdır. Yes
konum Dosya konum ayarları. Her dosya tabanlı bağlayıcının kendine ait konum türü ve location altında desteklenen özellikleri vardır. Bağlayıcı makalesi -> Veri kümesi özellikleri bölümündeki ayrıntılara bakın. Yes
sıkıştırma Dosya sıkıştırmayı yapılandırmak için özellikler grubu. Etkinlik yürütülürken sıkıştırma veya sıkıştırmayı açma işlemleri yapmak istediğinizde bu bölümü yapılandırın. Hayır
Tür İkili dosyaları okumak/yazmak için kullanılan sıkıştırma kodeği.
İzin verilen değerler bzip2, gzip, deflate, ZipDeflate, Tar veya TarGzip'tir.
Not ZipDeflate, / ve / dosyalarını sıkıştırmasını açmak ve dosya tabanlı bir veri depolama alanına yazmak için kopyalama etkinliğini kullanırken, varsayılan olarak dosyalar şu klasöre çıkarılır:, sıkıştırılmış dosyaların adını klasör yapısı olarak koruyup korumayacağını kontrol etmek için kopyalama etkinliği kaynağında <path specified in dataset>/<folder named as source compressed file>/preserveZipFileNameAsFolder/preserveCompressionFileNameAsFolder kullanın.		 Hayır
düzey Sıkıştırma oranı. Veri kümesi Kopyalama etkinliği havuzu içinde kullanıldığında uygulayın.
İzin verilen değerler En uygun veya en hızlı değerlerdir.
- En hızlı: Sonuçta elde edilen dosya en iyi şekilde sıkıştırılmıyor olsa bile sıkıştırma işlemi mümkün olan en hızlı şekilde tamamlanmalıdır.
- En uygun: İşlemin tamamlanması daha uzun sürse bile sıkıştırma işlemi en iyi şekilde sıkıştırılmalıdır. Daha fazla bilgi için Bkz . Sıkıştırma Düzeyi konusu.		 Hayır

aşağıda Azure Blob Depolama'da İkili veri kümesi örneği verilmiştir:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Kopyalama etkinliği özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Pipelines makalesine bakın. Bu bölüm, İkili kaynak ve havuz tarafından desteklenen özelliklerin listesini sağlar.

Önemli Not

Kopyalama etkinliğinde İkili veri kümesini kullanırken, yalnızca İkili veri kümesinden İkili veri kümesine kopyalayabilirsiniz.

Kaynak olarak ikili sistem

Kopyalama etkinliği *kaynak* bölümünde aşağıdaki özellikler desteklenir.

Özellik Açıklama Gerekli
Tür Kopyalama etkinliği kaynağının type özelliği BinarySource olarak ayarlanmalıdır. Yes
format ayarları Bir özellik grubu. Aşağıdaki İkili okuma ayarları tablosuna bakın. Hayır
Mağaza Ayarları Veri deposundan veri okuma hakkında bir özellik grubu. Her dosya tabanlı bağlayıcının storeSettings altında kendine ait desteklenen okuma ayarları vardır. > Hayır

altında desteklenen formatSettings:

Özellik Açıklama Gerekli
Tür formatSettings türü BinaryReadSettings olarak ayarlanmalıdır. Yes
sıkıştırmaÖzellikleri Belirli bir sıkıştırma codec'i için verilerin sıkıştırmasını kaldırmaya yönelik bir özellik grubu. Hayır
ZipDosyasınınAdınıKlasörOlarakKoru
(altında compressionProperties->type olarak ZipDeflateReadSettings)		 Giriş veri kümesi ZipDeflate sıkıştırması ile yapılandırıldığında uygulanır. Kopyalama sırasında kaynak zip dosyası adının klasör yapısı olarak korunup korunmayacağını gösterir.
- true (varsayılan) olarak ayarlandığında, hizmet sıkıştırılmış dosyaları open birime yazar.
- False olarak ayarlandığında, servis sıkıştırması açılmış dosyaları doğrudan <path specified in dataset> üzerine yazar. Yarış veya beklenmeyen davranışlardan kaçınmak için farklı kaynak zip dosyalarında yinelenen dosya adlarının olmadığından emin olun.		 Hayır
preserveCompressionFileNameAsFolder
(altında compressionProperties->type olarak TarGZipReadSettings veya TarReadSettings)		 Giriş veri kümesi TarGzip/ sıkıştırmasıyla yapılandırıldığında geçerlidir. Kaynak sıkıştırılmış dosya adının kopyalama sırasında klasör yapısı olarak korunup korunmayacağını gösterir.
- True (varsayılan) olarak ayarlandığında, hizmet sıkıştırması açılmış dosyaları <path specified in dataset>/<folder named as source compressed file>/ öğesine yazar.
- False olarak ayarlandığında, hizmet sıkıştırılan dosyaları doğrudan öğesine <path specified in dataset>yazar. Farklı kaynak dosyalarda yinelenen dosya adları olmadığından emin olun, aksi takdirde çakışma veya beklenmeyen sorunlar yaşayabilirsiniz.		 Hayır 
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Havuz olarak ikili

Kopyalama etkinliği *havuz* bölümünde aşağıdaki özellikler desteklenir.

Özellik Açıklama Gerekli
Tür Kopyalama etkinliği kaynağının type özelliği BinarySink olarak ayarlanmalıdır. Yes
Mağaza Ayarları Veri deposuna veri yazma hakkında bir özellik grubu. Her dosya tabanlı bağlayıcının altında storeSettingskendi desteklenen yazma ayarları vardır. > Hayır

İlgili içerik

  • Last updated on