Azure Data Factory veya Synapse işlem hatlarını kullanarak Azure Synapse Analytics'te verileri kopyalama ve dönüştürme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede Azure Synapse Analytics'ten ve Azure Synapse Analytics'e veri kopyalamak için Azure Data Factory veya Synapse işlem hatlarında Kopyalama Etkinliği'nin nasıl kullanılacağı ve Azure Data Lake Storage 2. Nesil'daki verileri dönüştürmek için Veri Akışı nasıl kullanılacağı özetlenmiştir. Azure Data Factory hakkında bilgi edinmek için giriş makalesini okuyun.

Desteklenen özellikler

Bu Azure Synapse Analytics bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler IR Yönetilen özel uç nokta
Kopyalama etkinliği (kaynak/havuz) (1) (2)
Eşleme veri akışı (kaynak/havuz) (1)
Arama etkinliği (1) (2)
GetMetadata etkinliği (1) (2)
Betik etkinliği (1) (2)
Saklı yordam etkinliği (1) (2)

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği için bu Azure Synapse Analytics bağlayıcısı şu işlevleri destekler:

  • Azure kaynakları için bir hizmet sorumlusu veya yönetilen kimliklerle SQL kimlik doğrulaması ve Microsoft Entra Uygulama belirteci kimlik doğrulamasını kullanarak verileri kopyalayın.
  • Kaynak olarak, SQL sorgusu veya saklı yordam kullanarak verileri alın. Azure Synapse Analytics kaynağından paralel kopyalamayı da seçebilirsiniz. Ayrıntılar için Azure Synapse Analytics'ten paralel kopya bölümüne bakın.
  • Havuz olarak COPY deyimini veya PolyBase'i veya toplu eklemeyi kullanarak verileri yükleyin. Daha iyi kopyalama performansı için COPY deyimini veya PolyBase'i öneririz. Bağlayıcı ayrıca, kaynak şemaya göre mevcut değilse DISTRIBUTION = ROUND_ROBIN ile otomatik olarak hedef tablo oluşturmayı da destekler.

Önemli

Azure Integration Runtime kullanarak veri kopyalarsanız, Azure hizmetlerinin mantıksal SQL sunucusuna erişebilmesi için sunucu düzeyinde bir güvenlik duvarı kuralı yapılandırın. Şirket içinde barındırılan tümleştirme çalışma zamanı kullanarak verileri kopyalarsanız, güvenlik duvarını uygun IP aralığına izin verecek şekilde yapılandırın. Bu aralık, Azure Synapse Analytics'e bağlanmak için kullanılan makinenin IP'sini içerir.

Kullanmaya başlayın

İpucu

En iyi performansı elde etmek için PolyBase veya COPY deyimini kullanarak Azure Synapse Analytics'e veri yükleyin. Azure Synapse Analytics'e veri yüklemek için PolyBase kullanma ve Verileri Azure Synapse Analytics'e yüklemek için COPY kullanma deyiminin ayrıntıları vardır. Kullanım örneği içeren bir kılavuz için bkz . Azure Data Factory ile 15 dakikanın altında Azure Synapse Analytics'e 1 TB yükleme.

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

Kullanıcı arabirimini kullanarak Azure Synapse Analytics bağlı hizmeti oluşturma

Azure portalı kullanıcı arabiriminde bir Azure Synapse Analytics bağlı hizmeti oluşturmak için aşağıdaki adımları kullanın.

  1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

  2. Synapse'i arayın ve Azure Synapse Analytics bağlayıcısını seçin.

    Azure Synapse Analytics bağlayıcısının ekran görüntüsü.

  3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

    Azure Synapse Analytics bağlı hizmetinin yapılandırmasının ekran görüntüsü.

Bağlan veya yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Bir Azure Synapse Analytics bağlayıcısına özgü Data Factory ve Synapse işlem hattı varlıklarını tanımlayan özellikler hakkında ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Bu genel özellikler Azure Synapse Analytics bağlı hizmeti için desteklenir:

Özellik Açıklama Gerekli
Tür type özelliği AzureSqlDW olarak ayarlanmalıdır. Yes
Connectionstring connectionString özelliği için Azure Synapse Analytics örneğine bağlanmak için gereken bilgileri belirtin.
Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin. Azure Key Vault'a parola/hizmet sorumlusu anahtarı da koyabilirsiniz ve SQL kimlik doğrulaması ise yapılandırmayı password bağlantı dizesi çıkarın. Diğer ayrıntılarla birlikte Azure Key Vault'ta kimlik bilgilerini depolama makalesinin altındaki JSON örneğine bakın.
Yes
azureCloudType Hizmet sorumlusu kimlik doğrulaması için Microsoft Entra uygulamanızın kaydedildiği Azure bulut ortamının türünü belirtin.
İzin verilen değerler , AzureChina, AzureUsGovernmentve AzureGermanydeğerleridirAzurePublic. Varsayılan olarak, veri fabrikası veya Synapse işlem hattının bulut ortamı kullanılır.
Hayır
connectVia Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Azure Integration Runtime'ı veya şirket içinde barındırılan tümleştirme çalışma zamanını (veri deponuz özel bir ağda bulunuyorsa) kullanabilirsiniz. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır. Hayır

Farklı kimlik doğrulama türleri için sırasıyla belirli özellikler, önkoşullar ve JSON örnekleriyle ilgili aşağıdaki bölümlere bakın:

İpucu

Azure portaldan Azure Synapse'te sunucusuz bir SQL havuzu için bağlı hizmet oluştururken:

  1. Hesap Seçim Yöntemi için El ile gir'i seçin.
  2. Sunucusuz uç noktanın tam etki alanı adını yapıştırın. Bunu Synapse çalışma alanınızın Azure portalı Genel Bakış sayfasında Sunucusuz SQL uç noktası altındaki özellikler bölümünde bulabilirsiniz. Örneğin, myserver-ondemand.sql-azuresynapse.net.
  3. Veritabanı adı için sunucusuz SQL havuzunda veritabanı adını belirtin.

İpucu

"UserErrorFailedTo Bağlan ToSqlServer" hata kodu ve "Veritabanının oturum sınırı XXX ve ulaşıldı" gibi bir iletiyle hatayla karşılaşırsanız, bağlantı dizesi ekleyin Pooling=false ve yeniden deneyin.

SQL kimlik doğrulaması

SQL kimlik doğrulaması kimlik doğrulama türünü kullanmak için, önceki bölümde açıklanan genel özellikleri belirtin.

SQL kimlik doğrulaması kullanan bağlı hizmet örneği

{
    "name": "AzureSqlDWLinkedService",
    "properties": {
        "type": "AzureSqlDW",
        "typeProperties": {
            "connectionString": "Server=tcp:<servername>.database.windows.net,1433;Database=<databasename>;User ID=<username>@<servername>;Password=<password>;Trusted_Connection=False;Encrypt=True;Connection Timeout=30"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Azure Key Vault'ta parola:

{
    "name": "AzureSqlDWLinkedService",
    "properties": {
        "type": "AzureSqlDW",
        "typeProperties": {
            "connectionString": "Server=tcp:<servername>.database.windows.net,1433;Database=<databasename>;User ID=<username>@<servername>;Trusted_Connection=False;Encrypt=True;Connection Timeout=30",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Hizmet sorumlusu kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Özellik Açıklama Gerekli
servicePrincipalId Uygulamanın istemci kimliğini belirtin. Yes
servicePrincipalKey Uygulamanın anahtarını belirtin. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun. Yes
tenant Uygulamanızın bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı kimliği) belirtin. Fareyi Azure portalının sağ üst köşesine getirerek alabilirsiniz. Yes

Aşağıdaki adımları da izlemeniz gerekir:

  1. Azure portalından bir Microsoft Entra uygulaması oluşturun. Uygulama adını ve bağlı hizmeti tanımlayan aşağıdaki değerleri not edin:

    • Uygulama Kimliği
    • Uygulama anahtarı
    • Kiracı kimliği
  2. Henüz yapmadıysanız Azure portalında sunucunuz için bir Microsoft Entra yöneticisi sağlayın. Microsoft Entra yöneticisi bir Microsoft Entra kullanıcısı veya Microsoft Entra grubu olabilir. Yönetilen kimliğe sahip gruba yönetici rolü verirseniz 3. ve 4. adımları atlayın. Yönetici veritabanına tam erişime sahip olur.

  3. Hizmet sorumlusu için bağımsız veritabanı kullanıcıları oluşturun. SSMS gibi araçları kullanarak veya veri kopyalamak istediğiniz veri ambarı ile en azından ALTER ANY USER iznine sahip bir Microsoft Entra kimliğine Bağlan. Aşağıdaki T-SQL'i çalıştırın:

    CREATE USER [your_application_name] FROM EXTERNAL PROVIDER;
    
  4. SQL kullanıcıları veya diğer kullanıcılar için normalde yaptığınız gibi hizmet sorumlusuna gereken izinleri verin. Aşağıdaki kodu çalıştırın veya buradaki diğer seçeneklere bakın. Verileri yüklemek için PolyBase kullanmak istiyorsanız gerekli veritabanı iznini öğrenin.

    EXEC sp_addrolemember db_owner, [your application name];
    
  5. Azure Data Factory veya Synapse çalışma alanında Azure Synapse Analytics bağlı hizmetini yapılandırın.

Hizmet sorumlusu kimlik doğrulaması kullanan bağlı hizmet örneği

{
    "name": "AzureSqlDWLinkedService",
    "properties": {
        "type": "AzureSqlDW",
        "typeProperties": {
            "connectionString": "Server=tcp:<servername>.database.windows.net,1433;Database=<databasename>;Connection Timeout=30",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Azure kaynakları kimlik doğrulaması için sistem tarafından atanan yönetilen kimlikler

Veri fabrikası veya Synapse çalışma alanı, kaynağı temsil eden Azure kaynakları için sistem tarafından atanan yönetilen kimlikle ilişkilendirilebilir. Bu yönetilen kimliği Azure Synapse Analytics kimlik doğrulaması için kullanabilirsiniz. Belirlenen kaynak, bu kimliği kullanarak veri ambarınızdaki veya veri ambarınızdaki verilere erişebilir ve bunları kopyalayabilir.

Sistem tarafından atanan yönetilen kimlik kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özellikleri belirtin ve aşağıdaki adımları izleyin.

  1. Henüz yapmadıysanız Azure portalında sunucunuz için bir Microsoft Entra yöneticisi sağlayın. Microsoft Entra yöneticisi bir Microsoft Entra kullanıcısı veya Microsoft Entra grubu olabilir. Gruba sistem tarafından atanan yönetilen kimliğe yönetici rolü verirseniz 3. ve 4. adımları atlayın. Yönetici veritabanına tam erişime sahip olur.

  2. Sistem tarafından atanan yönetilen kimlik için bağımsız veritabanı kullanıcıları oluşturun. SSMS gibi araçları kullanarak veya veri kopyalamak istediğiniz veri ambarı ile en azından ALTER ANY USER iznine sahip bir Microsoft Entra kimliğine Bağlan. Aşağıdaki T-SQL'i çalıştırın.

    CREATE USER [your_resource_name] FROM EXTERNAL PROVIDER;
    
  3. Sql kullanıcıları ve diğer kullanıcılar için normalde yaptığınız gibi sistem tarafından atanan yönetilen kimliğe gereken izinleri verin. Aşağıdaki kodu çalıştırın veya buradaki diğer seçeneklere bakın. Verileri yüklemek için PolyBase kullanmak istiyorsanız gerekli veritabanı iznini öğrenin.

    EXEC sp_addrolemember db_owner, [your_resource_name];
    
  4. Azure Synapse Analytics bağlı hizmetini yapılandırın.

Örnek:

{
    "name": "AzureSqlDWLinkedService",
    "properties": {
        "type": "AzureSqlDW",
        "typeProperties": {
            "connectionString": "Server=tcp:<servername>.database.windows.net,1433;Database=<databasename>;Connection Timeout=30"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulaması

Veri fabrikası veya Synapse çalışma alanı, kaynağı temsil eden kullanıcı tarafından atanan yönetilen kimliklerle ilişkilendirilebilir. Bu yönetilen kimliği Azure Synapse Analytics kimlik doğrulaması için kullanabilirsiniz. Belirlenen kaynak, bu kimliği kullanarak veri ambarınızdaki veya veri ambarınızdaki verilere erişebilir ve bunları kopyalayabilir.

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Özellik Açıklama Gerekli
kimlik bilgileri Kimlik bilgisi nesnesi olarak kullanıcı tarafından atanan yönetilen kimliği belirtin. Yes

Aşağıdaki adımları da izlemeniz gerekir:

  1. Henüz yapmadıysanız Azure portalında sunucunuz için bir Microsoft Entra yöneticisi sağlayın. Microsoft Entra yöneticisi bir Microsoft Entra kullanıcısı veya Microsoft Entra grubu olabilir. Gruba kullanıcı tarafından atanan yönetilen kimliğe yönetici rolü verirseniz 3. adımları atlayın. Yönetici veritabanına tam erişime sahip olur.

  2. Kullanıcı tarafından atanan yönetilen kimlik için bağımsız veritabanı kullanıcıları oluşturun. SSMS gibi araçları kullanarak veya veri kopyalamak istediğiniz veri ambarı ile en azından ALTER ANY USER iznine sahip bir Microsoft Entra kimliğine Bağlan. Aşağıdaki T-SQL'i çalıştırın.

    CREATE USER [your_resource_name] FROM EXTERNAL PROVIDER;
    
  3. Kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik oluşturun ve sql kullanıcıları ve diğer kullanıcılar için normalde yaptığınız gibi kullanıcı tarafından atanan yönetilen kimliğe gerekli izinleri verin. Aşağıdaki kodu çalıştırın veya buradaki diğer seçeneklere bakın. Verileri yüklemek için PolyBase kullanmak istiyorsanız gerekli veritabanı iznini öğrenin.

    EXEC sp_addrolemember db_owner, [your_resource_name];
    
  4. Veri fabrikanıza kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik atayın ve kullanıcı tarafından atanan her yönetilen kimlik için kimlik bilgileri oluşturun.

  5. Azure Synapse Analytics bağlı hizmetini yapılandırın.

Örnek:

{
    "name": "AzureSqlDWLinkedService",
    "properties": {
        "type": "AzureSqlDW",
        "typeProperties": {
            "connectionString": "Server=tcp:<servername>.database.windows.net,1433;Database=<databasename>;Connection Timeout=30",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın.

Azure Synapse Analytics veri kümesi için aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
Tür Veri kümesinin tür özelliği AzureSqlDWTable olarak ayarlanmalıdır. Yes
schema Şemanın adı. Kaynak için Hayır, havuz için Evet
table Tablo/görünümün adı. Kaynak için Hayır, havuz için Evet
tableName Şema içeren tablonun/görünümün adı. Bu özellik geriye dönük uyumluluk için desteklenir. Yeni iş yükü için ve tablekullanınschema. Kaynak için Hayır, havuz için Evet

Veri kümesi özellikleri örneği

{
    "name": "AzureSQLDWDataset",
    "properties":
    {
        "type": "AzureSqlDWTable",
        "linkedServiceName": {
            "referenceName": "<Azure Synapse Analytics linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Kopyalama Etkinliği özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde, Azure Synapse Analytics kaynağı ve havuzu tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak Azure Synapse Analytics

İpucu

Veri bölümlemeyi kullanarak Azure Synapse Analytics'ten verileri verimli bir şekilde yüklemek için Azure Synapse Analytics'ten paralel kopyalama bölümünden daha fazla bilgi edinin.

Azure Synapse Analytics'ten veri kopyalamak için Kopyalama Etkinliği kaynağındaki tür özelliğini SqlDWSource olarak ayarlayın. Kopyalama Etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
Tür Kopyalama Etkinliği kaynağının type özelliği SqlDWSource olarak ayarlanmalıdır. Yes
sqlReaderQuery Verileri okumak için özel SQL sorgusunu kullanın. Örnek: select * from MyTable. Hayır
sqlReaderStoredProcedureName Kaynak tablodaki verileri okuyan saklı yordamın adı. Son SQL deyimi, saklı yordamda bir SELECT deyimi olmalıdır. Hayır
storedProcedureParameters Saklı yordam için parametreler.
İzin verilen değerler ad veya değer çiftleridir. Parametrelerin adları ve büyük/küçük harf değerleri saklı yordam parametrelerinin adlarıyla ve büyük/küçük harfleriyle eşleşmelidir.
Hayır
ısolationlevel SQL kaynağı için işlem kilitleme davranışını belirtir. İzin verilen değerler şunlardır: ReadCommitted, ReadUncommitted, RepeatableRead, Serializable, Snapshot. Belirtilmezse, veritabanının varsayılan yalıtım düzeyi kullanılır. Daha fazla bilgi için bkz . system.data.isolationlevel. Hayır
partitionOptions Azure Synapse Analytics'ten veri yüklemek için kullanılan veri bölümleme seçeneklerini belirtir.
İzin verilen değerler şunlardır: Hiçbiri (varsayılan), PhysicalPartitionsOfTable ve DynamicRange.
Bir bölüm seçeneği etkinleştirildiğinde (yani değil None), Azure Synapse Analytics'ten verileri eşzamanlı olarak yüklemek için paralellik derecesi kopyalama etkinliğindeki parallelCopies ayar tarafından denetlenmektedir.
Hayır
bölüm Ayarlar Veri bölümleme ayarlarının grubunu belirtin.
Bölüm seçeneği olmadığında Noneuygulayın.
Hayır
altında partitionSettings:
partitionColumnName Paralel kopyalama için aralık bölümleme tarafından kullanılacak kaynak sütunun adını tamsayı veya tarih/tarih saat türünde (int, smallint, bigint, date, smalldatetime, , datetime, veya datetime2datetimeoffset) belirtin. Belirtilmezse, tablonun dizini veya birincil anahtarı otomatik olarak algılanır ve bölüm sütunu olarak kullanılır.
Bölüm seçeneği olduğunda DynamicRangeuygulayın. Kaynak verileri almak için bir sorgu kullanırsanız WHERE yan tümcesine bağlanın ?DfDynamicRangePartitionCondition . Bir örnek için SQL veritabanından paralel kopyalama bölümüne bakın.
Hayır
partitionUpperBound Bölüm aralığı bölme için bölüm sütununun en büyük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablodaki veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar.
Bölüm seçeneği olduğunda DynamicRangeuygulayın. Bir örnek için SQL veritabanından paralel kopyalama bölümüne bakın.
Hayır
partitionLowerBound Bölüm aralığı bölme için bölüm sütununun en düşük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablodaki veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar.
Bölüm seçeneği olduğunda DynamicRangeuygulayın. Bir örnek için SQL veritabanından paralel kopyalama bölümüne bakın.
Hayır

Aşağıdaki noktaya dikkat edin:

  • Verileri almak için kaynakta saklı yordamı kullanırken, saklı yordamınızın farklı parametre değeri geçirildiğinde farklı şema döndürme olarak tasarlanıp tasarlanmadiğini, kullanıcı arabiriminden şema içeri aktarılırken veya otomatik tablo oluşturma özelliğiyle SQL veritabanına veri kopyalarken hatayla karşılaşabileceğinizi veya beklenmeyen bir sonuçla karşılaşabileceğinizi unutmayın.

Örnek: SQL sorgusu kullanma

"activities":[
    {
        "name": "CopyFromAzureSQLDW",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Synapse Analytics input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlDWSource",
                "sqlReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Örnek: saklı yordamı kullanma

"activities":[
    {
        "name": "CopyFromAzureSQLDW",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Synapse Analytics input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlDWSource",
                "sqlReaderStoredProcedureName": "CopyTestSrcStoredProcedureWithParameters",
                "storedProcedureParameters": {
                    "stringData": { "value": "str3" },
                    "identifier": { "value": "$$Text.Format('{0:yyyy}', <datetime parameter>)", "type": "Int"}
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Örnek saklı yordam:

CREATE PROCEDURE CopyTestSrcStoredProcedureWithParameters
(
    @stringData varchar(20),
    @identifier int
)
AS
SET NOCOUNT ON;
BEGIN
    select *
    from dbo.UnitTestSrcTable
    where dbo.UnitTestSrcTable.stringData != stringData
    and dbo.UnitTestSrcTable.identifier != identifier
END
GO

Havuz olarak Azure Synapse Analytics

Azure Data Factory ve Synapse işlem hatları, Azure Synapse Analytics'e veri yüklemenin üç yolunu destekler.

Verileri yüklemenin en hızlı ve en ölçeklenebilir yolu COPY deyimi veya PolyBase'dir.

Azure Synapse Analytics'e veri kopyalamak için Kopyalama Etkinliği'ndeki havuz türünü SqlDWSink olarak ayarlayın. Kopyalama Etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
Tür Kopyalama Etkinliği havuzu type özelliği SqlDWSink olarak ayarlanmalıdır. Yes
allowPolyBase Azure Synapse Analytics'e veri yüklemek için PolyBase'in kullanılıp kullanılmayacağını gösterir. allowCopyCommand ve allowPolyBase ikisi de doğru olamaz.

Kısıtlamalar ve ayrıntılar için Bkz . PolyBase'i kullanarak Azure Synapse Analytics'e veri yükleme.

İzin verilen değerler True ve False (varsayılan) değerleridir.
Hayır
PolyBase kullanırken uygulayın.
polyBase Ayarlar Özellik true olarak ayarlandığında belirtilebilen allowPolybase bir özellik grubu. Hayır
PolyBase kullanırken uygulayın.
allowCopyCommand Verileri Azure Synapse Analytics'e yüklemek için COPY deyiminin kullanılıp kullanılmayacağını gösterir. allowCopyCommand ve allowPolyBase ikisi de doğru olamaz.

Kısıtlamalar ve ayrıntılar için bkz . Azure Synapse Analytics'e veri yüklemek için COPY deyimini kullanma.

İzin verilen değerler True ve False (varsayılan) değerleridir.
Hayır
COPY kullanırken uygulayın.
copyCommand Ayarlar Özellik TRUE olarak ayarlandığında belirtilebilen allowCopyCommand bir özellik grubu. Hayır
COPY kullanırken uygulayın.
writeBatchSize Toplu iş başına SQL tablosuna eklenecek satır sayısı.

İzin verilen değer tamsayıdır (satır sayısı). Varsayılan olarak, hizmet satır boyutuna göre uygun toplu iş boyutunu dinamik olarak belirler.
Hayır
Toplu ekleme kullanırken uygulayın.
writeBatchTimeout Ekleme, upsert ve saklı yordam işleminin zaman aşımına uğramadan önce tamamlanması için bekleme süresi.
İzin verilen değerler zaman aralığı içindir. 30 dakika boyunca "00:30:00" örnektir. Değer belirtilmezse, zaman aşımı varsayılan olarak "00:30:00" olur.
Hayır
Toplu ekleme kullanırken uygulayın.
preCopyScript Her çalıştırmada Azure Synapse Analytics'e veri yazmadan önce Kopyalama Etkinliği'nin çalıştırılması için bir SQL sorgusu belirtin. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanın. Hayır
Tableoption Havuz tablosunun, yoksa kaynak şemaya göre otomatik olarak oluşturulup oluşturulmayacağını belirtir. İzin verilen değerler şunlardır: none (varsayılan), autoCreate. Hayır
disableMetricsCollection Hizmet, kopyalama performansı iyileştirmesi için Azure Synapse Analytics DWU'ları gibi ölçümleri ve ek ana veritabanı erişimi sunan önerileri toplar. Bu davranışla ilgileniyorsanız, kapatmak için belirtin true . Hayır (varsayılan değer )false
 maxConcurrent Bağlan ions Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.  No
WriteBehavior Kopyalama etkinliğinin verileri Azure SQL Veritabanı yüklemek için yazma davranışını belirtin.
İzin verilen değer Insert ve Upsert'tir. Varsayılan olarak hizmet, verileri yüklemek için insert kullanır.
Hayır
upsert Ayarlar Yazma davranışı için ayarların grubunu belirtin.
WriteBehavior seçeneği olduğunda Upsertuygulayın.
Hayır
altında upsertSettings:
keys Benzersiz satır belirleme için sütun adlarını belirtin. Tek bir anahtar veya bir dizi anahtar kullanılabilir. Belirtilmezse, birincil anahtar kullanılır. Hayır
interimSchemaName Ara tablo oluşturmak için geçici şemayı belirtin. Not: kullanıcının tablo oluşturma ve silme iznine sahip olması gerekir. Varsayılan olarak, ara tablo havuz tablosuyla aynı şemayı paylaşır. Hayır

Örnek 1: Azure Synapse Analytics havuzu

"sink": {
    "type": "SqlDWSink",
    "allowPolyBase": true,
    "polyBaseSettings":
    {
        "rejectType": "percentage",
        "rejectValue": 10.0,
        "rejectSampleValue": 100,
        "useTypeDefault": true
    }
}

Örnek 2: Upsert verileri

"sink": {
    "type": "SqlDWSink",
    "writeBehavior": "Upsert",
    "upsertSettings": {
        "keys": [
             "<column name>"
        ],
        "interimSchemaName": "<interim schema name>"
    },
}

Azure Synapse Analytics'ten paralel kopyalama

Kopyalama etkinliğindeki Azure Synapse Analytics bağlayıcısı, verileri paralel olarak kopyalamak için yerleşik veri bölümleme sağlar. Veri bölümleme seçeneklerini kopyalama etkinliğinin Kaynak sekmesinde bulabilirsiniz.

Bölüm seçeneklerinin ekran görüntüsü

Bölümlenmiş kopyalamayı etkinleştirdiğinizde kopyalama etkinliği, bölümlere göre veri yüklemek için Azure Synapse Analytics kaynağınızda paralel sorgular çalıştırır. Paralel derece, kopyalama etkinliğindeki parallelCopies ayar tarafından denetlenilir. Örneğin, dört olarak ayarlarsanız parallelCopies hizmet, belirtilen bölüm seçeneğinize ve ayarlarınıza göre aynı anda dört sorgu oluşturur ve çalıştırır ve her sorgu Azure Synapse Analytics'inizden verilerin bir bölümünü alır.

Özellikle Azure Synapse Analytics'inizden büyük miktarda veri yüklediğinizde veri bölümleme ile paralel kopyalamayı etkinleştirmeniz önerilir. Farklı senaryolar için önerilen yapılandırmalar aşağıdadır. Verileri dosya tabanlı veri deposuna kopyalarken, bir klasöre birden çok dosya olarak yazmanız önerilir (yalnızca klasör adını belirtin), bu durumda performans tek bir dosyaya yazmaktan daha iyidir.

Senaryo Önerilen ayarlar
Fiziksel bölümleri olan büyük tablodan tam yük. Bölüm seçeneği: Tablonun fiziksel bölümleri.

Yürütme sırasında, hizmet fiziksel bölümleri otomatik olarak algılar ve bölümlere göre verileri kopyalar.

Tablonuzda fiziksel bölüm olup olmadığını denetlemek için bu sorguya bakabilirsiniz.
Veri bölümleme için bir tamsayı veya tarih saat sütunuyla birlikte fiziksel bölümler olmadan büyük tablodan tam yük. Bölüm seçenekleri: Dinamik aralık bölümü.
Bölüm sütunu (isteğe bağlı): Verileri bölümleme için kullanılan sütunu belirtin. Belirtilmezse, dizin veya birincil anahtar sütunu kullanılır.
Bölüm üst sınırı ve bölüm alt sınırı (isteğe bağlı): Bölüm adımını belirlemek isteyip istemediğinizi belirtin. Bu, tablodaki satırları filtrelemek için değildir, tablodaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değerleri otomatik olarak algılar.

Örneğin, "ID" bölüm sütununuzun değerleri 1 ile 100 arasındaysa ve alt sınırı 20, üst sınırı da 80 olarak ayarladıysanız, paralel kopya 4 bölüme göre veri alır: =20, [21, 50], [51, 80] ve >=81 aralığındaki <kimlikler.
Veri bölümleme için tamsayı veya tarih/tarih saat sütunuylayken fiziksel bölümler olmadan özel bir sorgu kullanarak büyük miktarda veri yükleyin. Bölüm seçenekleri: Dinamik aralık bölümü.
Sorgu: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>.
Bölüm sütunu: Verileri bölümleme için kullanılan sütunu belirtin.
Bölüm üst sınırı ve bölüm alt sınırı (isteğe bağlı): Bölüm adımını belirlemek isteyip istemediğinizi belirtin. Bu tablodaki satırları filtrelemek için değildir, sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar.

Örneğin, bölüm sütununuz "ID" 1 ile 100 arasında değerlere sahipse ve alt sınırı 20, üst sınırı 80 olarak ayarlarsanız ve paralel kopya 4 olarak ayarlanırsa, hizmet verileri sırasıyla =20, [21, 50], [51, 80] ve >=81 aralığındaki <4 bölüme göre alır.

Farklı senaryolar için daha fazla örnek sorgu aşağıda verilmiştir:
1. Tablonun tamamını sorgula:
SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition
2. Sütun seçimi ve ek where-yan tümcesi filtreleri içeren bir tablodan sorgu yapın:
SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>
3. Alt sorgularla sorgu:
SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>
4. Alt sorguda bölüm içeren sorgu:
SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T

Bölüm seçeneğiyle veri yüklemek için en iyi yöntemler:

  1. Veri dengesizliği önlemek için bölüm sütunu (birincil anahtar veya benzersiz anahtar gibi) olarak ayırt edici sütunu seçin.
  2. Tabloda yerleşik bölüm varsa, daha iyi performans elde etmek için "Tablonun fiziksel bölümleri" bölüm seçeneğini kullanın.
  3. Verileri kopyalamak için Azure Integration Runtime kullanıyorsanız, daha fazla bilgi işlem kaynağı kullanmak için daha büyük "Veri Entegrasyonu Birimleri (DIU)" (>4) ayarlayabilirsiniz. İlgili senaryoları burada kontrol edin.
  4. "Kopyalama paralelliği derecesi" bölüm numaralarını denetler, bu sayıyı bazen çok büyük ayarlamak performansı düşürür, bu sayıyı (ŞIRKET içinde barındırılan IR düğümlerinin DIU veya sayısı) * (2 - 4) olarak ayarlamanızı öneririz.
  5. Not: Azure Synapse Analytics şu anda en fazla 32 sorgu yürütebilir ve "Kopyalama paralelliği derecesi" çok büyük olarak ayarlanması Synapse azaltma sorununa neden olabilir.

Örnek: Fiziksel bölümleri olan büyük tablodan tam yük

"source": {
    "type": "SqlDWSource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Örnek: dinamik aralık bölümü olan sorgu

"source": {
    "type": "SqlDWSource",
    "query": "SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Fiziksel bölümü denetlemek için örnek sorgu

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, c.name AS ColumnName, CASE WHEN c.name IS NULL THEN 'no' ELSE 'yes' END AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id
LEFT JOIN sys.types AS y ON c.system_type_id = y.system_type_id
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Tabloda fiziksel bölüm varsa "HasPartition" öğesini "evet" olarak görürsünüz.

Azure Synapse Analytics'e veri yüklemek için COPY deyimini kullanma

COPY deyimini kullanmak, yüksek aktarım hızıyla Azure Synapse Analytics'e veri yüklemenin basit ve esnek bir yoludur. Daha fazla bilgi edinmek için COPY deyimini kullanarak verileri toplu yükleme seçeneğini işaretleyin

  • Kaynak verileriniz Azure Blob veya Azure Data Lake Storage 2. Nesil ise ve biçim COPY deyimiyle uyumluysa, Kopyalama etkinliğini kullanarak copy deyimini doğrudan çağırarak Azure Synapse Analytics'in verileri kaynaktan çekmesini sağlayabilirsiniz. Ayrıntılar için bkz . COPY deyimini kullanarak doğrudan kopyalama.
  • Kaynak veri deponuz ve biçiminiz başlangıçta COPY deyimi tarafından desteklenmiyorsa, bunun yerine COPY deyimi özelliğini kullanarak Aşamalı kopyayı kullanın. Aşamalı kopyalama özelliği size daha iyi aktarım hızı da sağlar. Verileri otomatik olarak COPY deyimiyle uyumlu biçime dönüştürür, verileri Azure Blob depolamada depolar, ardından Verileri Azure Synapse Analytics'e yüklemek için COPY deyimini çağırır.

İpucu

Azure Integration Runtime ile COPY deyimi kullanıldığında etkin Veri Entegrasyonu Birimleri (DIU) her zaman 2 olur. Depolamadan veri yükleme işlemi Azure Synapse altyapısı tarafından desteklendiğinden DIU'nun ayarlanması performansı etkilemez.

COPY deyimini kullanarak doğrudan kopyalama

Azure Synapse Analytics COPY deyimi Azure Blob, Azure Data Lake Storage 1. Nesil ve Azure Data Lake Storage 2. Nesil doğrudan destekler. Kaynak verileriniz bu bölümde açıklanan ölçütleri karşılıyorsa, doğrudan kaynak veri deposundan Azure Synapse Analytics'e kopyalamak için COPY deyimini kullanın. Aksi takdirde, COPY deyimini kullanarak Aşamalı kopya kullanın. hizmet ayarları denetler ve ölçütler karşılanmazsa kopyalama etkinliği çalıştırmasını başarısız olur.

  1. Kaynak bağlı hizmet ve biçim aşağıdaki türlerde ve kimlik doğrulama yöntemlerindedir:

    Desteklenen kaynak veri deposu türü Desteklenen biçim Desteklenen kaynak kimlik doğrulama türü
    Azure Blob Sınırlandırılmış metin Hesap anahtarı kimlik doğrulaması, paylaşılan erişim imzası kimlik doğrulaması, hizmet sorumlusu kimlik doğrulaması, sistem tarafından atanan yönetilen kimlik doğrulaması
      Parke Hesap anahtarı kimlik doğrulaması, paylaşılan erişim imzası kimlik doğrulaması
      ORC Hesap anahtarı kimlik doğrulaması, paylaşılan erişim imzası kimlik doğrulaması
    Azure Data Lake Storage 2. Nesil Sınırlandırılmış metin
    Parke
    ORC
    Hesap anahtarı kimlik doğrulaması, hizmet sorumlusu kimlik doğrulaması, sistem tarafından atanan yönetilen kimlik doğrulaması

    Önemli

    • Depolama bağlı hizmetiniz için yönetilen kimlik doğrulaması kullandığınızda, sırasıyla Azure Blob ve Azure Data Lake Storage 2. Nesil için gerekli yapılandırmaları öğrenin.
    • Azure Depolama sanal ağ hizmet uç noktasıyla yapılandırıldıysa, depolama hesabında "güvenilen Microsoft hizmetine izin ver" özelliği etkinleştirilmiş yönetilen kimlik doğrulamasını kullanmanız gerekir. Bkz. Azure depolama ile Sanal Ağ Hizmet Uç Noktalarını kullanmanın etkisi.
  2. Biçim ayarları aşağıdakilerle birliktedir:

    1. Parquet için: compression sıkıştırma, Snappy veya GZipolamaz.
    2. ORC için: compression sıkıştırma, zlibveya Snappy olamaz.
    3. Sınırlandırılmış metin için:
      1. rowDelimiteraçıkça tek karakter veya "\r\n" olarak ayarlanır, varsayılan değer desteklenmez.
      2. nullValuevarsayılan olarak bırakılır veya boş dize ("") olarak ayarlanır.
      3. encodingNamevarsayılan olarak bırakılır veya utf-8 veya utf-16 olarak ayarlanır.
      4. escapeChar ile aynı quoteCharolmalı ve boş olmamalıdır.
      5. skipLineCount varsayılan olarak bırakılır veya 0 olarak ayarlanır.
      6. compressionsıkıştırma veya GZipolamaz.
  3. Kaynağınız bir klasörse, recursive kopyalama etkinliğinde true olarak ayarlanmalıdır ve wildcardFilename veya *.*olmalıdır*.

  4. wildcardFolderPath, wildcardFilename (veya *.*dışında*), modifiedDateTimeStart, modifiedDateTimeEnd, prefix, enablePartitionDiscovery ve additionalColumns belirtilmez.

Kopyalama etkinliği altında allowCopyCommand aşağıdaki COPY deyimi ayarları desteklenir:

Özellik Açıklama Gerekli
defaultValues Azure Synapse Analytics'teki her hedef sütun için varsayılan değerleri belirtir. özelliğindeki varsayılan değerler, veri ambarında ayarlanan DEFAULT kısıtlamasının üzerine yazılır ve kimlik sütununda varsayılan değer bulunamaz. Hayır
additionalOptions Azure Synapse Analytics COPY deyimine doğrudan COPY deyimindeki "With" yan tümcesinde geçirilecek ek seçenekler. COPY deyimi gereksinimleriyle uyumlu hale getirmek için değeri gerektiği gibi alıntılayın. Hayır
"activities":[
    {
        "name": "CopyFromAzureBlobToSQLDataWarehouseViaCOPY",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "ParquetDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "AzureSQLDWDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ParquetSource",
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                }
            },
            "sink": {
                "type": "SqlDWSink",
                "allowCopyCommand": true,
                "copyCommandSettings": {
                    "defaultValues": [
                        {
                            "columnName": "col_string",
                            "defaultValue": "DefaultStringValue"
                        }
                    ],
                    "additionalOptions": {
                        "MAXERRORS": "10000",
                        "DATEFORMAT": "'ymd'"
                    }
                }
            },
            "enableSkipIncompatibleRow": true
        }
    }
]

COPY deyimi kullanılarak hazırlanan kopyalama

Kaynak verileriniz COPY deyimiyle yerel olarak uyumlu değilse, ara hazırlama Azure Blobu veya Azure Data Lake Storage 2. Nesil (Azure Premium Depolama olamaz) aracılığıyla veri kopyalamayı etkinleştirin. Bu durumda hizmet, copy deyiminin veri biçimi gereksinimlerini karşılamak için verileri otomatik olarak dönüştürür. Ardından Verileri Azure Synapse Analytics'e yüklemek için COPY deyimini çağırır. Son olarak, geçici verilerinizi depolama alanından temizler. Hazırlama yoluyla veri kopyalama hakkında ayrıntılı bilgi için bkz . Aşamalı kopyalama.

Bu özelliği kullanmak için, azure depolama hesabına geçici depolama olarak başvuran hesap anahtarı veya sistem tarafından yönetilen kimlik kimlik doğrulaması ile Azure Blob Depolama bağlı bir hizmet veya bağlı hizmet Azure Data Lake Storage 2. Nesil oluşturun.

Önemli

  • Hazırlama bağlı hizmetiniz için yönetilen kimlik kimlik doğrulamasını kullandığınızda, sırasıyla Azure Blob ve Azure Data Lake Storage 2. Nesil için gerekli yapılandırmaları öğrenin. Ayrıca hazırlama Azure Blob Depolama veya Azure Data Lake Storage 2. Nesil hesabınızda Azure Synapse Analytics çalışma alanı yönetilen kimliğinize de izin vermeniz gerekir. Bu iznin nasıl verildiğini öğrenmek için bkz . Çalışma alanı yönetilen kimliğine izin verme.
  • Hazırlama Azure Depolama sanal ağ hizmet uç noktasıyla yapılandırılmışsa, depolama hesabında "güvenilen Microsoft hizmetine izin ver" özelliği etkin yönetilen kimlik doğrulamasını kullanmanız gerekir. Bkz. Azure depolama ile Sanal Ağ Hizmet Uç Noktalarını kullanmanın etkisi.

Önemli

Hazırlama Azure Depolama Yönetilen Özel Uç Nokta ile yapılandırılmışsa ve depolama güvenlik duvarı etkinleştirilmişse, yönetilen kimlik doğrulaması kullanmanız ve COPY deyimi yükü sırasında hazırlanmış dosyalara erişebildiğinden emin olmak için Synapse SQL Server'a Depolama Blob Veri Okuyucusu izinleri vermelisiniz.

"activities":[
    {
        "name": "CopyFromSQLServerToSQLDataWarehouseViaCOPYstatement",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "SQLServerDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "AzureSQLDWDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlSource",
            },
            "sink": {
                "type": "SqlDWSink",
                "allowCopyCommand": true
            },
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                }
            }
        }
    }
]

Azure Synapse Analytics'e veri yüklemek için PolyBase kullanma

PolyBase kullanmak, yüksek aktarım hızıyla Azure Synapse Analytics'e büyük miktarda veri yüklemenin verimli bir yoludur. Varsayılan BULKINSERT mekanizması yerine PolyBase kullanarak aktarım hızı açısından büyük bir kazanç elde edersiniz.

  • Kaynak verileriniz Azure Blob, Azure Data Lake Storage 1. Nesil veya Azure Data Lake Storage 2. Nesil'deyse ve biçim PolyBase uyumluysa, Azure Synapse Analytics'in verileri kaynaktan çekmesine izin vermek üzere PolyBase'i doğrudan çağırmak için kopyalama etkinliğini kullanabilirsiniz. Ayrıntılar için bkz . PolyBase kullanarak doğrudan kopyalama.
  • Kaynak veri deponuz ve biçiminiz başlangıçta PolyBase tarafından desteklenmiyorsa, bunun yerine PolyBase özelliğini kullanarak Aşamalı kopyayı kullanın. Aşamalı kopyalama özelliği size daha iyi aktarım hızı da sağlar. Verileri otomatik olarak PolyBase uyumlu biçime dönüştürür, verileri Azure Blob depolamada depolar, ardından Verileri Azure Synapse Analytics'e yüklemek için PolyBase'i çağırır.

İpucu

PolyBase'i kullanmaya yönelik en iyi yöntemler hakkında daha fazla bilgi edinin. PolyBase'i Azure Integration Runtime ile kullanırken doğrudan veya aşamalı depolamadan Synapse'e etkili Veri Entegrasyonu Birimleri (DIU) her zaman 2'dir. Depolamadan veri yükleme Synapse altyapısı tarafından desteklendiğinden DIU'nun ayarlanması performansı etkilemez.

Kopyalama etkinliği altında polyBaseSettings aşağıdaki PolyBase ayarları desteklenir:

Özellik Açıklama Gerekli
rejectValue Sorgu başarısız olmadan önce reddedilebilen satır sayısını veya yüzdesini belirtir.

POLYBase'in reddetme seçenekleri hakkında daha fazla bilgi için CREATE EXTERNAL TABLE (Transact-SQL) öğesinin Bağımsız Değişkenler bölümünden bilgi edinin.

İzin verilen değerler 0 (varsayılan), 1, 2 vb. değerlerdir.
Hayır
rejectType rejectValue seçeneğinin değişmez değer mi yoksa yüzde mi olduğunu belirtir.

İzin verilen değerler Değer (varsayılan) ve Yüzde değerleridir.
Hayır
rejectSampleValue PolyBase reddedilen satırların yüzdesini yeniden hesaplamadan önce alınacak satır sayısını belirler.

İzin verilen değerler 1, 2 vb.
Evet, rejectType yüzde ise.
useTypeDefault PolyBase metin dosyasından veri aldığında sınırlandırılmış metin dosyalarındaki eksik değerlerin nasıl işleneceğini belirtir.

CREATE EXTERNAL FILE FORMAT (Transact-SQL) bölümündeki Bağımsız Değişkenler bölümünden bu özellik hakkında daha fazla bilgi edinin.

İzin verilen değerler True ve False (varsayılan) değerleridir.

Hayır

PolyBase kullanarak doğrudan kopyalama

Azure Synapse Analytics PolyBase, Azure Blob, Azure Data Lake Storage 1. Nesil ve Azure Data Lake Storage 2. Nesil doğrudan destekler. Kaynak verileriniz bu bölümde açıklanan ölçütleri karşılıyorsa, doğrudan kaynak veri deposundan Azure Synapse Analytics'e kopyalamak için PolyBase kullanın. Aksi takdirde, PolyBase kullanarak Aşamalı kopya kullanın.

İpucu

Verileri Azure Synapse Analytics'e verimli bir şekilde kopyalamak için Azure Data Factory'den daha fazla bilgi edinmek, Azure Synapse Analytics ile Data Lake Store kullanırken verilerden içgörüler elde etmeyi daha da kolay ve kullanışlı hale getirir.

Gereksinimler karşılanmazsa, hizmet ayarları denetler ve veri taşıma için otomatik olarak BULKINSERT mekanizmasına geri döner.

  1. Kaynak bağlı hizmet aşağıdaki türlerde ve kimlik doğrulama yöntemlerindedir:

    Desteklenen kaynak veri deposu türü Desteklenen kaynak kimlik doğrulama türü
    Azure Blob Hesap anahtarı kimlik doğrulaması, sistem tarafından atanan yönetilen kimlik kimlik doğrulaması
    Azure Data Lake Storage Gen1 Hizmet sorumlusu kimlik doğrulaması
    Azure Data Lake Storage 2. Nesil Hesap anahtarı kimlik doğrulaması, sistem tarafından atanan yönetilen kimlik kimlik doğrulaması

    Önemli

    • Depolama bağlı hizmetiniz için yönetilen kimlik doğrulaması kullandığınızda, sırasıyla Azure Blob ve Azure Data Lake Storage 2. Nesil için gerekli yapılandırmaları öğrenin.
    • Azure Depolama sanal ağ hizmet uç noktasıyla yapılandırıldıysa, depolama hesabında "güvenilen Microsoft hizmetine izin ver" özelliği etkinleştirilmiş yönetilen kimlik doğrulamasını kullanmanız gerekir. Bkz. Azure depolama ile Sanal Ağ Hizmet Uç Noktalarını kullanmanın etkisi.
  2. Kaynak veri biçimi Parquet, ORC veya Sınırlandırılmış metin biçimindedir ve aşağıdaki yapılandırmaları içerir:

    1. Klasör yolu joker karakter filtresi içermez.
    2. Dosya adı boş veya tek bir dosyayı işaret eden bir ad. Kopyalama etkinliğinde joker karakter dosya adı belirtirseniz, yalnızca veya *.*olabilir*.
    3. rowDelimitervarsayılan, \n, \r\n veya \r şeklindedir.
    4. nullValuevarsayılan olarak bırakılır veya boş dize ("") olarak ayarlanır ve treatEmptyAsNull varsayılan olarak bırakılır veya true olarak ayarlanır.
    5. encodingNamevarsayılan olarak bırakılır veya utf-8 olarak ayarlanır.
    6. quoteChar, escapeCharve skipLineCount belirtilmemiş. PolyBase desteği, olarak firstRowAsHeaderyapılandırılabilir üst bilgi satırını atlar.
    7. compressionsıkıştırma veya GZipDeflate olamaz.
  3. Kaynağınız bir klasörse kopyalama recursive etkinliğinde true olarak ayarlanmalıdır.

  4. wildcardFolderPath , wildcardFilename, modifiedDateTimeStart, modifiedDateTimeEnd, prefix, , enablePartitionDiscoveryve additionalColumns belirtilmez.

Not

Kaynağınız bir klasörse, PolyBase klasördeki ve tüm alt klasörlerindeki dosyaları alır ve dosya adının altı çizili (_) veya nokta (.) ile başladığı dosyalardan veri almaz. Burada belgelendiği gibi - LOCATION bağımsız değişkeni.

"activities":[
    {
        "name": "CopyFromAzureBlobToSQLDataWarehouseViaPolyBase",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "ParquetDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "AzureSQLDWDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ParquetSource",
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                }
            },
            "sink": {
                "type": "SqlDWSink",
                "allowPolyBase": true
            }
        }
    }
]

PolyBase kullanarak aşamalı kopyalama

Kaynak verileriniz PolyBase ile yerel olarak uyumlu değilse, ara hazırlama Azure Blobu veya Azure Data Lake Storage 2. Nesil (Azure Premium Depolama olamaz) aracılığıyla veri kopyalamayı etkinleştirin. Bu durumda hizmet, PolyBase'in veri biçimi gereksinimlerini karşılamak için verileri otomatik olarak dönüştürür. Ardından Verileri Azure Synapse Analytics'e yüklemek için PolyBase'i çağırır. Son olarak, geçici verilerinizi depolama alanından temizler. Hazırlama yoluyla veri kopyalama hakkında ayrıntılı bilgi için bkz . Aşamalı kopyalama.

Bu özelliği kullanmak için, azure depolama hesabına geçici depolama olarak başvuran bir Azure Blob Depolama bağlı hizmet veya hesap anahtarı veya yönetilen kimlik kimlik doğrulaması ile bağlı hizmet Azure Data Lake Storage 2. Nesil oluşturun.

Önemli

  • Hazırlama bağlı hizmetiniz için yönetilen kimlik kimlik doğrulamasını kullandığınızda, sırasıyla Azure Blob ve Azure Data Lake Storage 2. Nesil için gerekli yapılandırmaları öğrenin. Ayrıca hazırlama Azure Blob Depolama veya Azure Data Lake Storage 2. Nesil hesabınızda Azure Synapse Analytics çalışma alanı yönetilen kimliğinize de izin vermeniz gerekir. Bu iznin nasıl verildiğini öğrenmek için bkz . Çalışma alanı yönetilen kimliğine izin verme.
  • Hazırlama Azure Depolama sanal ağ hizmet uç noktasıyla yapılandırılmışsa, depolama hesabında "güvenilen Microsoft hizmetine izin ver" özelliği etkin yönetilen kimlik doğrulamasını kullanmanız gerekir. Bkz. Azure depolama ile Sanal Ağ Hizmet Uç Noktalarını kullanmanın etkisi.

Önemli

Hazırlama Azure Depolama Yönetilen Özel Uç Nokta ile yapılandırılmışsa ve depolama güvenlik duvarı etkinleştirilmişse, yönetilen kimlik kimlik doğrulamasını kullanmanız ve PolyBase yükü sırasında hazırlanan dosyalara erişebildiğinden emin olmak için Synapse SQL Server'a Depolama Blob Veri Okuyucusu izinleri vermelisiniz.

"activities":[
    {
        "name": "CopyFromSQLServerToSQLDataWarehouseViaPolyBase",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "SQLServerDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "AzureSQLDWDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlSource",
            },
            "sink": {
                "type": "SqlDWSink",
                "allowPolyBase": true
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                }
            }
        }
    }
]

PolyBase'i kullanmak için en iyi yöntemler

Aşağıdaki bölümlerde Azure Synapse Analytics için en iyi yöntemler bölümünde belirtilen uygulamalara ek olarak en iyi yöntemler sağlanır.

Gerekli veritabanı izni

PolyBase'i kullanmak için Azure Synapse Analytics'e veri yükleyen kullanıcının hedef veritabanında "CONTROL" izni olmalıdır. Bunu başarma yollarından biri kullanıcıyı db_owner rolüne üye olarak eklemektir. Bunun nasıl yapılacağını Azure Synapse Analytics'e genel bakış bölümünden öğrenin.

Satır boyutu ve veri türü sınırları

PolyBase yükleri 1 MB'tan küçük satırlar ile sınırlıdır. VARCHR(MAX), NVARCHAR(MAX) veya VARBINARY(MAX) öğesine yüklemek için kullanılamaz. Daha fazla bilgi için bkz . Azure Synapse Analytics hizmet kapasitesi sınırları.

Kaynak verilerinizde 1 MB'tan büyük satırlar olduğunda, kaynak tabloları dikey olarak birkaç küçük tabloya bölmek isteyebilirsiniz. Her satırın en büyük boyutunun sınırı aşmadığından emin olun. Daha sonra daha küçük tablolar PolyBase kullanılarak yüklenebilir ve Azure Synapse Analytics'te birleştirilebilir.

Alternatif olarak, bu kadar geniş sütunlara sahip veriler için, "PolyBase'e izin ver" ayarını kapatarak PolyBase olmayan verileri yüklemek için kullanabilirsiniz.

Azure Synapse Analytics kaynak sınıfı

Mümkün olan en iyi aktarım hızını elde etmek için, PolyBase aracılığıyla Azure Synapse Analytics'e veri yükleyen kullanıcıya daha büyük bir kaynak sınıfı atayın.

PolyBase sorunlarını giderme

Ondalık sütuna yükleme

Kaynak verileriniz metin biçimindeyse veya PolyBase ile uyumlu olmayan başka depolardaysa (aşamalı kopya ve PolyBase kullanarak) ve Azure Synapse Analytics Ondalık sütununa yüklenecek boş değer içeriyorsa, aşağıdaki hatayı alabilirsiniz:

ErrorCode=FailedDbOperation, ......HadoopSqlException: Error converting data type VARCHAR to DECIMAL.....Detailed Message=Empty string can't be converted to DECIMAL.....

Çözüm, kopyalama etkinliği havuzu -> PolyBase ayarlarında "Varsayılan tür kullan" seçeneğinin (yanlış olarak) seçimini kaldırmaktır. "USE_TYPE_DEFAULT", PolyBase metin dosyasından veri aldığında sınırlandırılmış metin dosyalarındaki eksik değerlerin nasıl işleneceğini belirten bir PolyBase yerel yapılandırmasıdır.

Azure Synapse Analytics'te tableName özelliğini denetleme

Aşağıdaki tabloda, JSON veri kümesinde tableName özelliğinin nasıl belirtileceğini gösteren örnekler verilmiştir. Şema ve tablo adlarının çeşitli bileşimlerini gösterir.

DB Şeması Tablo adı tableName JSON özelliği
dbo Tablom MyTable veya dbo. MyTable veya [dbo]. [MyTable]
dbo1 Tablom dbo1. MyTable veya [dbo1]. [MyTable]
dbo My.Table [My.Table] veya [dbo]. [My.Table]
dbo1 My.Table [dbo1]. [My.Table]

Aşağıdaki hatayı görürseniz, sorun tableName özelliği için belirttiğiniz değer olabilir. tableName JSON özelliği için değerleri belirtmenin doğru yolu için yukarıdaki tabloya bakın.

Type=System.Data.SqlClient.SqlException,Message=Invalid object name 'stg.Account_test'.,Source=.Net SqlClient Data Provider

Varsayılan değerlere sahip sütunlar

Şu anda PolyBase özelliği, hedef tablodakiyle aynı sayıda sütunu kabul eder. Örneğin, biri varsayılan değerle tanımlanan dört sütunlu bir tablodur. Giriş verilerinin yine de dört sütunu olması gerekir. Üç sütunlu bir giriş veri kümesi aşağıdaki iletiye benzer bir hata verir:

All columns of the table must be specified in the INSERT BULK statement.

NULL değeri, varsayılan değerin özel bir biçimidir. Sütun null atanabilirse, söz konusu sütunun blobundaki giriş verileri boş olabilir. Ancak giriş veri kümesinde eksik olamaz. PolyBase, Azure Synapse Analytics'te eksik değerler için NULL ekler.

Dış dosya erişimi başarısız oldu

Aşağıdaki hatayı alırsanız, yönetilen kimlik kimlik doğrulaması kullandığınızdan ve Azure Synapse çalışma alanının yönetilen kimliğine Depolama Blob Veri Okuyucusu izinleri verdiğinden emin olun.

Job failed due to reason: at Sink '[SinkName]': shaded.msdataflow.com.microsoft.sqlserver.jdbc.SQLServerException: External file access failed due to internal error: 'Error occurred while accessing HDFS: Java exception raised on call to HdfsBridge_IsDirExist. Java exception message:\r\nHdfsBridge::isDirExist 

Daha fazla bilgi için bkz . Çalışma alanı oluşturulduktan sonra yönetilen kimliğe izin verme.

Eşleme veri akışı özellikleri

Eşleme veri akışındaki verileri dönüştürürken, Azure Synapse Analytics'ten tabloları okuyabilir ve tablolara yazabilirsiniz. Daha fazla bilgi için bkz . Eşleme veri akışlarında kaynak dönüştürme ve havuz dönüşümü .

Kaynak dönüştürme

Azure Synapse Analytics'e özgü AyarlarKaynak dönüştürmenin Kaynak Seçenekleri sekmesi.

Giriş Kaynağınızı bir tabloya (eşdeğeri Select * from <table-name>) işaret edip etmediğinizi seçin veya özel bir SQL sorgusu girin.

Hazırlamayı Etkinleştir Azure Synapse Analytics kaynaklarıyla üretim iş yüklerinde bu seçeneği kullanmanız kesinlikle önerilir. Bir işlem hattından Azure Synapse Analytics kaynaklarıyla bir veri akışı etkinliği yürütürken sizden hazırlama konumu depolama hesabı istenir ve bunu aşamalı veri yükleme için kullanırsınız. Azure Synapse Analytics'ten veri yüklemek için en hızlı mekanizmadır.

  • Depolama bağlı hizmetiniz için yönetilen kimlik doğrulaması kullandığınızda, sırasıyla Azure Blob ve Azure Data Lake Storage 2. Nesil için gerekli yapılandırmaları öğrenin.
  • Azure Depolama sanal ağ hizmet uç noktasıyla yapılandırıldıysa, depolama hesabında "güvenilen Microsoft hizmetine izin ver" özelliği etkinleştirilmiş yönetilen kimlik doğrulamasını kullanmanız gerekir. Bkz. Azure depolama ile Sanal Ağ Hizmet Uç Noktalarını kullanmanın etkisi.
  • Kaynak olarak Azure Synapse sunucusuz SQL havuzu kullandığınızda hazırlamayı etkinleştirme desteklenmez.

Sorgu: Giriş alanında Sorgu'yu seçerseniz kaynağınız için bir SQL sorgusu girin. Bu ayar, veri kümesinde seçtiğiniz tüm tabloları geçersiz kılar. Order By yan tümceleri burada desteklenmez, ancak tam SELECT FROM deyimi ayarlayabilirsiniz. Kullanıcı tanımlı tablo işlevlerini de kullanabilirsiniz. select * from udfGetData() , SQL'de tablo döndüren bir UDF'dir. Bu sorgu, veri akışınızda kullanabileceğiniz bir kaynak tablo oluşturur. Sorguları kullanmak, test veya arama için satırları azaltmanın da harika bir yoludur.

SQL Örneği: Select * from MyTable where customerId > 1000 and customerId < 2000

Toplu iş boyutu: Büyük verileri okumalara ayırmak için bir toplu iş boyutu girin. Veri akışlarında bu ayar Spark sütunlu önbelleğe alma özelliğini ayarlamak için kullanılır. Bu, boş bırakılırsa Spark varsayılanlarını kullanan bir seçenek alanıdır.

Yalıtım Düzeyi: Eşleme veri akışındaki SQL kaynakları için varsayılan değer okunmamış olarak ayarlanır. Burada yalıtım düzeyini şu değerlerden biriyle değiştirebilirsiniz:

  • Okundu
  • Okunmamış
  • Yinelenebilir Okuma
  • Serileştirilebilir
  • Yok (yalıtım düzeyini yoksay)

Yalıtım Düzeyi

Havuz dönüşümü

Azure Synapse Analytics'e özgü Ayarlar havuz dönüştürmesinin Ayarlar sekmesinde kullanılabilir.

Güncelleştirme yöntemi: Veritabanı hedefinizde hangi işlemlere izin verileceğini belirler. Varsayılan değer yalnızca eklemelere izin vermektir. Satırları güncelleştirmek, eklemek veya silmek için, bu eylemlerin satırlarını etiketlemek için bir değişiklik satırı dönüştürmesi gerekir. Güncelleştirmeler, upsert'ler ve silmeler için, hangi satırın değiştirileceğini belirlemek için bir anahtar sütun veya sütun ayarlanmalıdır.

Tablo eylemi: Yazmadan önce hedef tablodan tüm satırların yeniden oluşturulmasını veya kaldırılmasını belirler.

  • Yok: Tabloda hiçbir eylem yapılmaz.
  • Yeniden oluştur: Tablo bırakılır ve yeniden oluşturulur. Dinamik olarak yeni bir tablo oluşturuyorsanız gereklidir.
  • Kesme: Hedef tablodaki tüm satırlar kaldırılır.

Hazırlamayı etkinleştirme: Bu, kopyalama komutunu kullanarak Azure Synapse Analytics SQL Havuzlarına yüklemeyi etkinleştirir ve çoğu Synapse havuzu için önerilir. Hazırlama depolama alanı Yürütme Veri Akışı etkinliğinde yapılandırılır.

  • Depolama bağlı hizmetiniz için yönetilen kimlik doğrulaması kullandığınızda, sırasıyla Azure Blob ve Azure Data Lake Storage 2. Nesil için gerekli yapılandırmaları öğrenin.
  • Azure Depolama sanal ağ hizmet uç noktasıyla yapılandırıldıysa, depolama hesabında "güvenilen Microsoft hizmetine izin ver" özelliği etkinleştirilmiş yönetilen kimlik doğrulamasını kullanmanız gerekir. Bkz. Azure depolama ile Sanal Ağ Hizmet Uç Noktalarını kullanmanın etkisi.

Toplu iş boyutu: Her demette kaç satır yazıldığını denetler. Daha büyük toplu iş boyutları sıkıştırmayı ve bellek iyileştirmeyi geliştirir, ancak verileri önbelleğe alırken bellek özel durumlarının dışına çıkma riskiyle karşı karşıyadır.

Havuz şemasını kullan: Varsayılan olarak, havuz şeması altında hazırlama olarak geçici bir tablo oluşturulur. Alternatif olarak Havuz şeması kullan seçeneğinin işaretini kaldırabilirsiniz ve bunun yerine Kullanıcı VERITABANı şemasını seçin bölümünde Data Factory'nin yukarı akış verilerini yüklemek için bir hazırlama tablosu oluşturacağı ve tamamlandıktan sonra bunları otomatik olarak temizleyecek bir şema adı belirtebilirsiniz. Veritabanında tablo oluşturma iznine sahip olduğunuzdan ve şemada değişiklik iznine sahip olduğunuzdan emin olun.

'Havuz şemasını kullan' veri akışını gösteren ekran görüntüsü.

SQL Öncesi ve Sonrası betikleri: Havuz veritabanınıza veri yazıldıktan önce (ön işleme) ve sonra (işleme sonrası) yürütülecek çok satırlı SQL betiklerini girin

Azure Synapse Analytics veri akışında SQL işleme öncesi ve sonrası betiklerini gösteren ekran görüntüsü.

İpucu

  1. Birden çok komut içeren tek toplu iş betiklerini birden çok toplu iş olarak bölmeniz önerilir.
  2. Yalnızca basit bir güncelleştirme sayısı döndüren Veri Tanımlama Dili (DDL) ve Veri İşleme Dili (DML) deyimleri toplu iş kapsamında çalıştırılabilir. Toplu işlem gerçekleştirme'den daha fazla bilgi edinin

Hata satırı işleme

Azure Synapse Analytics'e yazarken, hedef tarafından ayarlanan kısıtlamalar nedeniyle belirli veri satırları başarısız olabilir. Bazı sık karşılaşılan hatalar şunlardır:

  • Dize veya ikili veriler tabloda kesilebilir
  • NULL değeri sütuna eklenemiyor
  • Değer veri türüne dönüştürülürken dönüştürme başarısız oldu

Varsayılan olarak, veri akışı çalıştırması aldığı ilk hatada başarısız olur. Tek tek satırlarda hata olsa bile veri akışınızın tamamlanmasını sağlayan hatada devam etmeyi seçebilirsiniz. Hizmet, bu hata satırlarını işlemeniz için farklı seçenekler sağlar.

İşlem İşleme: Verilerinizin tek bir işlemde mi yoksa toplu olarak mı yazileceğini seçin. Tek işlem daha iyi performans sağlar ve işlem tamamlanana kadar yazılan hiçbir veri başkaları tarafından görülmeyecektir. Toplu işlemler daha kötü performansa sahiptir ancak büyük veri kümelerinde çalışabilir.

Reddedilen verilerin çıktısını alma: Etkinleştirilirse, hata satırlarını Azure Blob Depolama bir csv dosyasına veya seçtiğiniz bir Azure Data Lake Storage 2. Nesil hesabına aktarabilirsiniz. Bu, hata satırlarını üç ek sütunla yazar: INSERT veya UPDATE gibi SQL işlemi, veri akışı hata kodu ve satırdaki hata iletisi.

Hatanın başarılı olduğunu bildirin: Etkinleştirilirse, hata satırları bulunsa bile veri akışı başarılı olarak işaretlenir.

Eşleme veri akışı havuz dönüşümünde hata satırı işlemeyi gösteren diyagram.

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

GetMetadata etkinlik özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için GetMetadata etkinliğini denetleyin

Azure Synapse Analytics için veri türü eşlemesi

Azure Synapse Analytics'ten veya Azure Synapse Analytics'e veri kopyaladığınızda, Azure Synapse Analytics veri türlerinden Azure Data Factory ara veri türlerine aşağıdaki eşlemeler kullanılır. Bu eşlemeler Synapse işlem hatlarını kullanarak Azure Synapse Analytics'ten veya Azure Synapse Analytics'e veri kopyalarken de kullanılır çünkü işlem hatları Azure Synapse içinde Azure Data Factory'yi de uygular. Kopyalama Etkinliği'nin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . şema ve veri türü eşlemeleri .

İpucu

Azure Synapse Analytics'te tablo veri türleri makalesine bakın. Azure Synapse Analytics tarafından desteklenen veri türleri ve desteklenmeyenler için geçici çözümler.

Azure Synapse Analytics veri türü Data Factory geçici veri türü
bigint Int64
ikili Bayt[]
bit Boolean
char Dize, Karakter[]
tarih DateTime
Datetime DateTime
datetime2 DateTime
Datetimeoffset DateTimeOffset
Ondalık Ondalık
FILESTREAM özniteliği (varbinary(max)) Bayt[]
Satışa Arz Çift
görüntü Bayt[]
int Int32
Para Ondalık
Nchar Dize, Karakter[]
sayısal Ondalık
Nvarchar Dize, Karakter[]
real Tekli
Rowversion Bayt[]
Smalldatetime DateTime
smallint Int16
Smallmoney Ondalık
time TimeSpan
tinyint Bayt
uniqueidentifier GUID
Varbinary Bayt[]
varchar Dize, Karakter[]

Kopyalama Etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için desteklenen veri depoları ve biçimlerine bakın.