Azure Data Factory ve Azure Synapse Analytics'te Iceberg Formatı

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Verileri Iceberg biçiminde yazmak istediğinizde bu makaleyi izleyin.

Buzdağı biçimi aşağıdaki bağlayıcılar için desteklenir:

iceberg veri kümesini Kopyalama etkinliği'da kullanabilirsiniz.

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde, Iceberg biçim veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Özellik Açıklama Gerekli
Tip Veri kümesinin type özelliği Iceberg olarak ayarlanmalıdır. Yes
konum Dosya konum ayarları. Her dosya tabanlı bağlayıcının kendi konum türü ve altında location desteklenen özellikleri vardır. Yes

Aşağıda Azure Data Lake Storage 2. Nesil'de Iceberg veri kümesi örneği verilmiştir:

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Kopyalama etkinliği özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Pipelines makalesine bakın. Bu bölümde, Iceberg havuzu tarafından desteklenen özelliklerin listesi sağlanır.

Havuz olarak buzdağı

Kopyalama etkinliği *havuz* bölümünde aşağıdaki özellikler desteklenir.

Özellik Açıklama Gerekli
Tip Kopyalama etkinliği kaynağının type özelliği IcebergSink olarak ayarlanmalıdır. Yes
biçimlendirme ayarları Bir özellikler grubu. Aşağıdaki Iceberg yazma ayarları tablosuna bakın. Hayır
ayarlarıKaydet Veri deposuna veri yazma hakkında bir özellik grubu. Her dosya tabanlı bağlayıcının, storeSettings altında desteklenen kendi yazma ayarları vardır. Hayır

altında desteklenen formatSettings:

Özellik Açıklama Gerekli
Tip formatSettings türü IcebergWriteSettings olarak ayarlanmalıdır. Yes

Sınırlandırılmış metin biçimiyle ilgili bazı yaygın bağlayıcılar ve biçimler şunlardır:

İlgili içerik

  • Last updated on