Aracılığıyla paylaş

Azure Data Factory ve Synapse Analytics'te ikili format

GEÇERLİDİR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

İkili biçim şu bağlayıcılar için desteklenir: Amazon S3, Amazon S3 Uyumlu Depolama, Azure Blob, Azure Data Lake Storage 1. Nesil, Azure Data Lake Storage 2. Nesil, Azure Dosyalar, Dosya Sistemi, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage ve SFTP.

İkili veri kümesini Kopyalama etkinliği, GetMetadata etkinliği veya Delete etkinliğinde kullanabilirsiniz. İkili veri kümesi kullanılırken, hizmet dosya içeriğini ayrıştırmaz ancak as-isolarak ele alır.

Önemli Not

Kopyalama etkinliğinde İkili veri kümesini kullanırken, yalnızca İkili veri kümesinden İkili veri kümesine kopyalayabilirsiniz.

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde, İkili veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Özellik Açıklama Gerekli
Tür Veri kümesinin tür özelliği İkili olarak ayarlanmalıdır. Yes
konum Dosya konum ayarları. Her dosya tabanlı bağlayıcının kendine ait konum türü ve location altında desteklenen özellikleri vardır. Bağlayıcı makalesi -> Veri kümesi özellikleri bölümündeki ayrıntılara bakın. Yes
sıkıştırma Dosya sıkıştırmayı yapılandırmak için özellikler grubu. Etkinlik yürütülürken sıkıştırma veya sıkıştırmayı açma işlemleri yapmak istediğinizde bu bölümü yapılandırın. Hayır
Tür İkili dosyaları okumak/yazmak için kullanılan sıkıştırma kodeği.
İzin verilen değerler bzip2, gzip, deflate, ZipDeflate, Tar veya TarGzip'tir.
Not ZipDeflate, TarGzip/ ve Tar dosyalarını sıkıştırmasını açmak ve dosya tabanlı bir veri depolama alanına yazmak için kopyalama etkinliğini kullanırken, varsayılan olarak dosyalar şu klasöre çıkarılır:<path specified in dataset>/<folder named as source compressed file>/, sıkıştırılmış dosyaların adını klasör yapısı olarak koruyup korumayacağını kontrol etmek için kopyalama etkinliği kaynağında preserveZipFileNameAsFolder/preserveCompressionFileNameAsFolder kullanın.		 Hayır
düzey Sıkıştırma oranı. veri kümesi Kopyalama etkinliği havuzu içinde kullanıldığında uygulayın.
İzin verilen değerler En uygun veya en hızlı değerlerdir.
- En hızlı: Sonuçta elde edilen dosya en iyi şekilde sıkıştırılmıyor olsa bile sıkıştırma işlemi mümkün olan en hızlı şekilde tamamlanmalıdır.
- En uygun: İşlemin tamamlanması daha uzun sürse bile sıkıştırma işlemi en iyi şekilde sıkıştırılmalıdır. Daha fazla bilgi için Bkz . Sıkıştırma Düzeyi konusu.		 Hayır

aşağıda Azure Blob Depolama'de ikili veri kümesi örneği verilmiştir:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Pipelines makalesine bakın. Bu bölüm, İkili kaynak ve havuz tarafından desteklenen özelliklerin listesini sağlar.

Not

Kopyalama etkinliğinde İkili veri kümesini kullanırken, yalnızca İkili veri kümesinden İkili veri kümesine kopyalayabilirsiniz.

Kaynak olarak ikili sistem

Kopyalama etkinliği *kaynak* bölümünde aşağıdaki özellikler desteklenir.

Mülk Açıklama Gerekli
Tür Kopyalama etkinliği kaynağının type özelliği BinarySource olarak ayarlanmalıdır. Yes
format ayarları Bir özellik grubu. Aşağıdaki İkili okuma ayarları tablosuna bakın. Hayır
Mağaza Ayarları Veri deposundan veri okuma hakkında bir özellik grubu. Her dosya tabanlı bağlayıcının storeSettings altında kendine ait desteklenen okuma ayarları vardır. Bağlayıcı makalesindeki Kopyalama etkinliği özellikleri bölümünün ayrıntılarına bakın>. Hayır

altında desteklenen formatSettings:

Mülk Açıklama Gerekli
Tür formatSettings türü BinaryReadSettings olarak ayarlanmalıdır. Yes
sıkıştırmaÖzellikleri Belirli bir sıkıştırma codec'i için verilerin sıkıştırmasını kaldırmaya yönelik bir özellik grubu. Hayır
ZipDosyasınınAdınıKlasörOlarakKoru
(altında compressionProperties->type olarak ZipDeflateReadSettings)		 Giriş veri kümesi ZipDeflate sıkıştırması ile yapılandırıldığında uygulanır. Kopyalama sırasında kaynak zip dosyası adının klasör yapısı olarak korunup korunmayacağını gösterir.
- true (varsayılan) olarak ayarlandığında, hizmet sıkıştırılmış dosyaları open birime yazar.
- False olarak ayarlandığında, servis sıkıştırması açılmış dosyaları doğrudan <path specified in dataset> üzerine yazar. Yarış veya beklenmeyen davranışlardan kaçınmak için farklı kaynak zip dosyalarında yinelenen dosya adlarının olmadığından emin olun.		 Hayır
preserveCompressionFileNameAsFolder
(altında compressionProperties->type olarak TarGZipReadSettings veya TarReadSettings)		 Giriş veri kümesi TarGzip/ sıkıştırmasıyla yapılandırıldığında geçerlidir. Kaynak sıkıştırılmış dosya adının kopyalama sırasında klasör yapısı olarak korunup korunmayacağını gösterir.
- True (varsayılan) olarak ayarlandığında, hizmet sıkıştırması açılmış dosyaları <path specified in dataset>/<folder named as source compressed file>/ öğesine yazar.
- False olarak ayarlandığında, hizmet sıkıştırılan dosyaları doğrudan öğesine <path specified in dataset>yazar. Farklı kaynak dosyalarda yinelenen dosya adları olmadığından emin olun, aksi takdirde çakışma veya beklenmeyen sorunlar yaşayabilirsiniz.		 Hayır 
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Havuz olarak ikili

Kopyalama etkinliği *havuz* bölümünde aşağıdaki özellikler desteklenir.

Mülk Açıklama Gerekli
Tür Kopyalama etkinliği kaynağının type özelliği BinarySink olarak ayarlanmalıdır. Yes
mağazaAyarları Veri deposuna veri yazma hakkında bir özellik grubu. Her dosya tabanlı bağlayıcının altında storeSettingskendi desteklenen yazma ayarları vardır. Bağlantı makalesinin Kopyalama etkinliği özellikleri bölümündeki ayrıntılara bakın>. Hayır

İlgili içerik

  • Last updated on