Azure Data Factory veya Azure Synapse Analytics kullanarak verileri SQL Server kopyalama ve dönüştürme

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Microsoft Fabric içindeki Data Factory'ye yükseltin

Bu makalede, Azure Data Factory ve Azure Synapse işlem hatlarında kopyalama etkinliğini kullanarak ve veritabanından SQL Server veritabanına veri kopyalama ve SQL Server veritabanındaki verileri dönüştürmek için Data Flow kullanma işlemleri özetlenmiştir. Daha fazla bilgi edinmek için Azure Data Factory veya Azure Synapse Analytics giriş makalesini okuyun.

Desteklenen özellikler

Bu SQL Server bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	Kızılötesi
Copy activity (kaynak/havuz)	(1) (2)
Veri akışının haritalanması (kaynak/hedef)	(1)
Arama etkinliği	(1) (2)
GetMetadata etkinliği	(1) (2)
Betik etkinliği	(1) (2)
Saklı yordam etkinliği	(1) (2)

(1) Azure tümleştirme çalışma zamanı (2) Yerel barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak veya havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Bu SQL Server bağlayıcısı özellikle şunları destekler:

• SQL Server sürüm 2005 ve üzeri.
• SQL veya Windows authentication kullanarak verileri kopyalama.
• Kaynak olarak, SQL sorgusu veya saklı yordam kullanarak veri alma. Ayrıca SQL Server kaynaktan paralel kopyalamayı da seçebilirsiniz. Ayrıntılar için SQL veritabanından Parallel kopyası bölümüne bakın.
• Havuz olarak, kaynak şemayı temel alarak hedef tablo yoksa otomatik olarak oluşturulur; verileri tabloya ekleme veya saklı yordamı kopyalama sırasında özel mantıkla çağırma.

SQL Server Express LocalDB desteklenmez.

Önemli

Veriler üzerinde evrensel olmayan bir kodlama uygulandığında veri kodlamayı etkilediği için veri kaynağı NVARCHAR veri türünü desteklemelidir.

Önkoşullar

Veri deponuz bir yerel ağ, Azure sanal ağ veya Amazon Sanal Özel Bulut içinde bulunuyorsa, ona bağlanmak için kendinden barındırılan bir tümleştirme çalışma zamanı yapılandırmanız gerekir.

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa, izin verme listesine Azure Integration Runtime IP ekleyebilirsiniz.

Şirket içi ağa erişmek için, şirket içinde barındırılan tümleştirme çalışma zamanı yüklemeden ve yapılandırmadan Azure Data Factory yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini de kullanabilirsiniz.

Data Factory tarafından desteklenen ağ güvenlik mekanizmaları ve seçenekleri hakkında daha fazla bilgi için bkz . Veri erişim stratejileri.

Kullanmaya başlayın

Kopyalama etkinliğini bir işlem hattıyla gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portalı
• .NET SDK
• Python SDK'sı
• Azure PowerShell
• REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak SQL Server bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde SQL Server bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızdaki Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

   Azure Data Factory

   Azure Data Factory UI ile yeni bir bağlı hizmet oluşturma ekranının ekran görüntüsü.

   Azure Synapse

   

2. SQL'i arayın ve SQL Server bağlayıcısını seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, SQL Server veritabanı bağlayıcısına özgü Data Factory ve Synapse işlem hattı varlıklarını tanımlamak için kullanılan özellikler hakkında ayrıntılar sağlanır.

Bağlı hizmet özellikleri

SQL Server Recommended sürümü TLS 1.3'i destekler. Legacy sürümünü kullanıyorsanız SQL Server bağlı hizmetinizi yükseltmek için bu section konusuna bakın. Özellik ayrıntıları için ilgili bölümlere bakın.

• Önerilen sürüm
• Eski sürüm

İpucu

tr-TR: "UserErrorFailedToConnectToSqlServer" hata koduyla ve "Veritabanındaki oturum sınırı XXX olup bu sınıra ulaşılmıştır" gibi bir mesajla karşılaşırsanız, bağlantı dizesine Pooling=false ekleyin ve tekrar deneyin.

Önerilen sürüm

Önerilen sürüm uygulandığında bu genel özellikler SQL server bağlı hizmeti için desteklenir:

Özellik	Açıklama	Gerekli
Tip	tür özelliği SqlServer olarak ayarlanmalıdır.	Yes
sunucu	Bağlanmak istediğiniz SQL server örneğinin adı veya ağ adresi.	Yes
veritabanı	Veritabanının adı.	Yes
kimlik doğrulama türü	Kimlik doğrulaması için kullanılan tür. İzin verilen değerler SQL (varsayılan), Windows ve UserAssignedManagedIdentity (Azure VM'lerde yalnızca SQL Server için). Belirli özellikler ve önkoşullar hakkında ilgili kimlik doğrulaması bölümüne gidin.	Yes
daimaŞifrelenmişAyarlar	Yönetilen kimlik veya hizmet ilkesi kullanarak SQL server'da depolanan hassas verileri korumak amacıyla Always Encrypted'i etkinleştirmek için gereken alwaysencryptedsettings bilgilerini belirtin. Daha fazla bilgi için, tabloyu izleyen JSON örneğine ve Always Encrypted kullanma bölümüne bakın. Belirtilmezse, varsayılan always encrypted ayarı devre dışı bırakılır.	Hayır
şifreleme	İstemci ile sunucu arasında gönderilen tüm veriler için TLS şifrelemesinin gerekli olup olmadığını belirtin. Seçenekler: zorunlu (doğru için, varsayılan)/isteğe bağlı (yanlış için)/katı.	Hayır
trustServerCertificate	Güveni doğrulamak için sertifika zinciri atlanırken kanalın şifrelenip şifrelenmediğini belirtin.	Hayır
SertifikadakiAnaMakineAdı	Bağlantı için sunucu sertifikası doğrulanırken kullanılacak ana bilgisayar adı. Belirtilmediğinde, sunucu adı sertifika doğrulaması için kullanılır.	Hayır
connectVia	Bu tümleştirme çalışma zamanı , veri deposuna bağlanmak için kullanılır. Önkoşullar bölümünden daha fazla bilgi edinin. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanı kullanılır.	Hayır

Ek bağlantı özellikleri için aşağıdaki tabloya bakın:

Özellik	Açıklama	Gerekli
applicationIntent	Sunucuya bağlanırken uygulama iş yükü türü. İzin verilen değerler ReadOnly ve ReadWrite.	Hayır
connectTimeout	Denemeyi sonlandırmadan ve hata oluşturmadan önce sunucu bağlantısını bekleme süresi (saniye cinsinden).	Hayır
bağlantıTekrarDenemeSayısı	Tanımlanan bir boşta bağlantı hatasından sonra denenen yeniden bağlantı girişimlerinin sayısı. Değer 0 ile 255 arasında bir tamsayı olmalıdır.	Hayır
connectRetryInterval	Boşta bağlantı hatası belirlendikten sonra her bir yeniden bağlanma girişimi arasındaki süre (saniye cinsinden). Değer 1 ile 60 arasında bir tamsayı olmalıdır.	Hayır
loadBalanceTimeout	Bağlantı yok edilmeden önce bağlantının bağlantı havuzunda yaşaması için en kısa süre (saniye cinsinden).	Hayır
commandTimeout	Komut yürütme girişimini sonlandırmadan ve hata oluşturmadan önce varsayılan bekleme süresi (saniye cinsinden).	Hayır
integratedSecurity	İzin verilen değerler true veya false. tr-TR: false belirttiğinizde, bağlantıda kullanıcı adı ve şifre belirtilip belirtilmediğini belirtin. true belirtilirken, geçerli Windows hesabı kimlik bilgilerinin kimlik doğrulaması için kullanılıp kullanılmadığını gösterir.	Hayır
failoverPartner	Birincil sunucu çalışmıyorsa bağlanacak iş ortağı sunucusunun adı veya adresi.	Hayır
maxPoolSize	Belirli bir bağlantı için bağlantı havuzunda izin verilen en fazla bağlantı sayısı.	Hayır
minPoolSize	Belirli bir bağlantı için bağlantı havuzunda izin verilen en az bağlantı sayısı.	Hayır
multipleActiveResultSets (birden fazla aktif sonuç kümesi)	İzin verilen değerler true veya false. belirttiğinizde true, bir uygulama birden çok etkin sonuç kümesini (MARS) koruyabilir. belirttiğinizde false, bir uygulamanın bu bağlantıdaki diğer toplu işlemleri yürütebilmesi için önce bir toplu işlemden tüm sonuç kümelerini işlemesi veya iptal etmesi gerekir.	Hayır
multiSubnetFailover	İzin verilen değerler true veya false. Uygulamanız farklı alt ağlardaki bir AlwaysOn kullanılabilirlik grubuna (AG) bağlanıyorsa, bu özelliği o anda etkin olan sunucuya true daha hızlı algılama ve bağlantı sağlayacak şekilde ayarlayın.	Hayır
packetSize	Sunucu örneğiyle iletişim kurmak için kullanılan ağ paketlerinin bayt cinsinden boyutu.	Hayır
Toplama	İzin verilen değerler true veya false. "true" belirttiğinizde, bağlantı havuza alınacaktır. Bağlantıyı false olarak belirttiğinizde, bağlantı her istendiğinde açıkça açılır.	Hayır

SQL kimlik doğrulaması

SQL kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Özellik	Açıklama	Gerekli
userName	Sunucuya bağlanırken kullanılacak kullanıcı adı.	Yes
şifre	Kullanıcı adının parolası. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin. İsterseniz Azure Key Vault içinde depolanan bir gizli anahtarı kullanabilirsiniz.	Hayır

Örnek: SQL kimlik doğrulaması kullanma

{
    "name": "SqlServerLinkedService",
    "properties": {
        "type": "SqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SQL",
            "userName": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Azure Key Vault'ta parola ile SQL kimlik doğrulamasını kullanın

{
    "name": "SqlServerLinkedService",
    "properties": {
        "type": "SqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SQL",
            "userName": "<user name>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Always Encrypted kullanma

{
    "name": "SqlServerLinkedService",
    "properties": {
        "type": "SqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SQL",
            "userName": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "alwaysEncryptedSettings": {
            "alwaysEncryptedAkvAuthType": "ServicePrincipal",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Windows kimlik doğrulama

Windows authentication kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Bir örnek domainname\username.

Özellik	Açıklama	Gerekli
userName	Bir kullanıcı adı belirtin.
Yes
şifre	Belirttiğiniz kullanıcı adı için kullanıcı hesabına bir parola tanımlayın. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin. İsterseniz Azure Key Vault içinde depolanan bir gizli anahtarı kullanabilirsiniz.	Yes

Not

Windows authentication veri akışında desteklenmez.

Örnek: Windows kimlik doğrulamasını kullanın

{
    "name": "SqlServerLinkedService",
    "properties": {
        "type": "SqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "Windows",
            "userName": "<domain\\username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Azure Key Vault içinde parola kullanarak Windows kimlik doğrulaması yapın

{
    "name": "SqlServerLinkedService",
    "properties": {
        "annotations": [],
        "type": "SqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "Windows",
            "userName": "<domain\\username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Kullanıcı atanmış yönetilen kimlik doğrulaması

Not

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulaması yalnızca Azure VM üzerindeki SQL Server için geçerlidir.

Veri fabrikası veya Synapse çalışma alanı, Azure'daki diğer kaynaklarda kimlik doğrulaması yaparken hizmeti temsil eden kullanıcı tarafından atanan yönetilen kimliklerle ilişkilendirilebilir. Bu yönetilen kimliği Azure VM kimlik doğrulamasında SQL Server için kullanabilirsiniz. Belirlenen fabrika veya Synapse çalışma alanı, bu kimliği kullanarak veritabanınıza erişebilir ve verileri kopyalayabilir.

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Özellik	Açıklama	Gerekli
kimlik bilgileri	Kimlik bilgisi nesnesi olarak kullanıcı tarafından atanan yönetilen kimliği belirtin.	Yes

Aşağıdaki adımları da izlemeniz gerekir:

1. Kullanıcı tarafından atanan yönetilen kimliğinize izinler verin.

2. SQL Server'da Azure VM'ler için Microsoft Entra kimlik doğrulamasını etkinleştirin.

3. Kullanıcı tarafından atanan yönetilen kimlik için bağımsız veritabanı kullanıcıları oluşturun. SQL Server Management Studio gibi araçları kullanarak, veri kopyalamak istediğiniz veya veri kopyalanacak olan veritabanına, en az ALTER ANY USER iznine sahip bir Microsoft Entra kimliğiyle bağlanın. Aşağıdaki T-SQL'i çalıştırın:

   CREATE USER [your_resource_name] FROM EXTERNAL PROVIDER;
   

4. Kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik oluşturun ve sql kullanıcıları ve diğer kullanıcılar için normalde yaptığınız gibi kullanıcı tarafından atanan yönetilen kimliğe gerekli izinleri verin. Aşağıdaki kodu çalıştırın. Diğer seçenekler için bu belgeye bakın.

   ALTER ROLE [role name] ADD MEMBER [your_resource_name];
   

5. Veri fabrikanıza kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik atayın ve kullanıcı tarafından atanan her yönetilen kimlik için kimlik bilgileri oluşturun.

6. SQL Server bağlı hizmeti yapılandırın.

Örnek

{
    "name": "SqlServerLinkedService",
    "properties": {
        "type": "SqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "UserAssignedManagedIdentity",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eski sürüm

SQL server bağlantılı hizmet için, Eski sürümü uyguladığınızda bu genel özellikler desteklenir.

Özellik	Açıklama	Gerekli
Tip	tür özelliği SqlServer olarak ayarlanmalıdır.	Yes
daimaŞifrelenmişAyarlar	Yönetilen kimlik veya hizmet ilkesi kullanarak SQL server'da depolanan hassas verileri korumak amacıyla Always Encrypted'i etkinleştirmek için gereken alwaysencryptedsettings bilgilerini belirtin. Daha fazla bilgi için Always Encrypted'i Kullanma Bölümü'ne bakın. Belirtilmezse, varsayılan always encrypted ayarı devre dışı bırakılır.	Hayır
connectVia	Bu tümleştirme çalışma zamanı , veri deposuna bağlanmak için kullanılır. Önkoşullar bölümünden daha fazla bilgi edinin. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanı kullanılır.	Hayır

Bu SQL Server bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın.

• Eski sürüm için SQL kimlik doğrulaması
• Eski sürüm için Windows kimlik doğrulama

Eski sürüm için SQL kimlik doğrulaması

SQL kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Özellik	Açıklama	Gerekli
connectionString	SQL Server veritabanına bağlanmak için gereken connectionString bilgilerini belirtin. Kullanıcı adınız olarak bir oturum açma adı belirtin ve bağlanmak istediğiniz veritabanının bu oturum açma bilgileriyle eşlendiğinden emin olun.	Yes
şifre	Azure Key Vault'a parola yerleştirmek istiyorsanız, bağlantı dizesinden password yapılandırmasını çıkartın. Daha fazla bilgi için bkz. Azure Key Vault'da kimlik bilgilerini depolama.	Hayır

Eski sürüm için Windows kimlik doğrulama

Windows authentication kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Bir örnek domainname\username.

Özellik	Açıklama	Gerekli
connectionString	SQL Server veritabanına bağlanmak için gereken connectionString bilgilerini belirtin.	Yes
userName	Bir kullanıcı adı belirtin.
Yes
şifre	Belirttiğiniz kullanıcı adı için kullanıcı hesabına bir parola tanımlayın. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin. İsterseniz Azure Key Vault içinde depolanan bir gizli anahtarı kullanabilirsiniz.	Yes

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için veri kümeleri makalesine bakın. Bu bölümde, SQL Server veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

SQL Server veritabanından ve veritabanından veri kopyalamak için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tip	Veri kümesinin tür özelliği SqlServerTable olarak ayarlanmalıdır.	Yes
şema	Şemanın adı.	Kaynak için Hayır, havuz için Evet
tablo	Tablo/görünümün adı.	Kaynak için Hayır, havuz için Evet
tabloAdı	Şema içeren tablonun/görünümün adı. Bu özellik geriye dönük uyumluluk için desteklenir. Yeni iş yükü için schema ve table kullanın.	Kaynak için Hayır, havuz için Evet

Örnek

{
    "name": "SQLServerDataset",
    "properties":
    {
        "type": "SqlServerTable",
        "linkedServiceName": {
            "referenceName": "<SQL Server linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Copy activity özellikleri

Etkinlikleri tanımlamak için kullanılabilecek bölümlerin ve özelliklerin tam listesi için İşlem Hatları makalesine bakın. Bu bölümde, SQL Server kaynağı ve havuzu tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak SQL Server

İpucu

Veri bölümleme özelliğini kullanarak verileri SQL Server'a verimli bir şekilde yüklemek için, SQL veritabanından paralel kopyalama konusunda daha fazla bilgi edinin.

verileri SQL Server kopyalamak için kopyalama etkinliğindeki kaynak türünü SqlSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tip	Kopyalama etkinliği kaynağının type özelliği SqlSource olarak ayarlanmalıdır.	Yes
sqlReaderQuery	Verileri okumak için özel SQL sorgusunu kullanın. select * from MyTable bunun bir örneğidir.	Hayır
sqlReaderStoredProcedureName	Bu özellik, kaynak tablodan verileri okuyan saklı yordamın adıdır. Saklı yordamda son SQL ifadesi bir SELECT deyimi olmalıdır.	Hayır
saklıProsedürParametreleri	Bu parametreler saklı yordam içindir. İzin verilen değerler ad veya değer çiftleridir. Parametrelerin adları ve büyük/küçük harf değerleri, saklı yordam parametrelerinin adlarıyla ve büyük/küçük harfleriyle eşleşmelidir.	Hayır
yalıtım seviyesi (isolationLevel)	SQL kaynağı için işlem kilitleme davranışını belirtir. İzin verilen değerler şunlardır: ReadCommitted, ReadUncommitted, RepeatableRead, Serializable, Snapshot. Belirtilmezse, veritabanının varsayılan yalıtım düzeyi kullanılır. Daha fazla ayrıntı için bu belgeyi inceleyin .	Hayır
bölüm seçenekleri	SQL Server'dan veri yüklemek için kullanılan veri bölümleme seçeneklerini belirtir. İzin verilen değerler şunlardır: Hiçbiri (varsayılan), PhysicalPartitionsOfTable ve DynamicRange. Bir bölüm seçeneği etkinleştirildiğinde (None değil), SQL Server verileri eşzamanlı olarak yüklemek için paralellik derecesi, kopyalama etkinliğindeki parallelCopies ayarı tarafından denetlenilir.	Hayır
bölüm ayarları	Veri bölümleme ayarlarının grubunu belirtin. Bölüm seçeneği `None` olmadığında uygulayın.	Hayır
altında partitionSettings:
partitionColumnName	Paralel kopyalama için aralık bölümleme tarafından kullanılacak kaynak sütunun adını tamsayı veya tarih/tarih saat türünde (int, smallint, bigint, date, smalldatetime, , datetime, veya datetime2datetimeoffset) belirtin. Belirtilmezse, tablonun dizini veya birincil anahtarı otomatik olarak algılanır ve bölüm sütunu olarak kullanılır. Bölüm seçeneği DynamicRange olduğunda uygulayın. Kaynak verileri almak için bir sorgu kullanıyorsanız, ?DfDynamicRangePartitionCondition WHERE yan tümcesine bağlayın. Bir örnek için SQL veritabanından paralel kopyalama bölümüne bakın.	Hayır
bölümÜstSınır	Bölüm aralığı ayırma için bölüm sütununun maksimum değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablodaki veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar. Bölüm seçeneği DynamicRange olduğunda uygulayın. Bir örnek için SQL veritabanından paralel kopyalama bölümüne bakın.	Hayır
partitionLowerBound	Bölüntü aralığı bölme için bölüntü sütununun en küçük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablodaki veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar. Bölüm seçeneği DynamicRange olduğunda uygulayın. Bir örnek için SQL veritabanından paralel kopyalama bölümüne bakın.	Hayır

Aşağıdaki noktalara dikkat edin:

• SqlSource için sqlReaderQuery belirtilirse, kopyalama etkinliği verileri almak için bu sorguyu SQL Server kaynağına karşı çalıştırır. Saklı yordamın parametre alması durumunda, sqlReaderStoredProcedureName ve storedProcedureParameters belirterek saklı yordamı belirleyebilirsiniz.
• Verileri almak için kaynakta saklı yordamı kullanırken, saklı yordamınızın farklı parametre değeri geçirildiğinde farklı şema döndürme olarak tasarlanıp tasarlanmadiğini, kullanıcı arabiriminden şema içeri aktarılırken veya otomatik tablo oluşturma özelliğiyle SQL veritabanına veri kopyalarken hatayla karşılaşabileceğinizi veya beklenmeyen bir sonuçla karşılaşabileceğinizi unutmayın.

Örnek: SQL sorgusu kullanma

"activities":[
    {
        "name": "CopyFromSQLServer",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SQL Server input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlSource",
                "sqlReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Örnek: Saklı prosedür kullanma

"activities":[
    {
        "name": "CopyFromSQLServer",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SQL Server input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlSource",
                "sqlReaderStoredProcedureName": "CopyTestSrcStoredProcedureWithParameters",
                "storedProcedureParameters": {
                    "stringData": { "value": "str3" },
                    "identifier": { "value": "$$Text.Format('{0:yyyy}', <datetime parameter>)", "type": "Int"}
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Saklı yordam tanımı

CREATE PROCEDURE CopyTestSrcStoredProcedureWithParameters
(
    @stringData varchar(20),
    @identifier int
)
AS
SET NOCOUNT ON;
BEGIN
    select *
    from dbo.UnitTestSrcTable
    where dbo.UnitTestSrcTable.stringData != stringData
    and dbo.UnitTestSrcTable.identifier != identifier
END
GO

Havuz olarak SQL Server

İpucu

SQL Server'a veri yüklemek için Best uygulamasında desteklenen yazma davranışları, yapılandırmalar ve en iyi yöntemler hakkında daha fazla bilgi edinin.

Verileri SQL Server kopyalamak için kopyalama etkinliğindeki havuz türünü SqlSink olarak ayarlayın. Kopyalama etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tip	Kopyalama etkinliği havuzu type özelliği SqlSink olarak ayarlanmalıdır.	Yes
preCopyScript	Bu özellik, SQL Server veri yazmadan önce kopyalama etkinliğinin çalıştırılabilmesi için bir SQL sorgusu belirtir. Kopyalama çalıştırması başına yalnızca bir kez çağrılır. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanabilirsiniz.	Hayır
tabloSeçeneği	Kaynak şemayı temel alarak havuz tablosunun yoksa otomatik olarak oluşturulup oluşturulmayacağını belirtir. Havuz saklı yordamı belirttiğinde otomatik tablo oluşturma desteklenmez. İzin verilen değerler şunlardır: none (varsayılan), autoCreate.	Hayır
sqlWriterStoredProcedureName	Kaynak verilerin hedef tabloya nasıl uygulanacağını tanımlayan saklı yordamın adı. Bu saklı yordam her toplu işlem için çağrılır. Yalnızca bir kez çalışan ve kaynak verilerle hiçbir ilgisi olmayan işlemler (örneğin, silme veya kesme) için özelliğini kullanın preCopyScript . Örneğe bakın: SQL havuzundaki saklı yordamı çağırma.	Hayır
storedProcedureTabloTipParametreAdı	Saklı yordamda belirtilen tablo türünün parametre adı.	Hayır
sqlWriterTableType	Saklı yordamda kullanılacak tablo türü adı. Kopyalama etkinliği, taşınan verilerin bu tablo türüne sahip bir geçici tabloda kullanılabilir olmasını sağlar. Saklı yordam kodu daha sonra kopyalanan verileri mevcut verilerle birleştirebilir.	Hayır
saklıProsedürParametreleri	Saklı yordam için parametreler. İzin verilen değerler ad ve değer çiftleridir. Parametre adları ve büyük/küçük harf uyumu, saklı yordam parametrelerinin adları ve büyük/küçük harf uyumuyla eşleşmelidir.	Hayır
writeBatchSize	SQL tablosuna toplu işlem başına eklenecek satır sayısı. İzin verilen değerler, satır sayısı için tamsayılardır. Varsayılan olarak, hizmet satır boyutuna göre uygun toplu iş boyutunu dinamik olarak belirler.	Hayır
writeBatchTimeout	Ekleme, upsert ve saklı yordam işleminin zaman aşımına uğramadan önce tamamlanması için bekleme süresi. İzin verilen değerler zaman aralığı içindir. Bir örnek, 30 dakikanın "00:30:00" olarak gösterilmesidir. Değer belirtilmezse, zaman aşımı varsayılan olarak "00:30:00" olur.	Hayır
Maksimum Eşzamanlı Bağlantılar	Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.	Hayır
Yazma Davranışı	Kopyalama etkinliğinin verileri SQL Server Veritabanına yükleyebilmek için yazma davranışını belirtin. İzin verilen değer Insert ve Upsert'tir. Varsayılan olarak hizmet, verileri yüklemek için insert kullanır.	Hayır
upsertSettings	Yazma davranışı için ayarların grubunu belirtin. WriteBehavior seçeneği Upsert olduğunda uygulayın.	Hayır
altında upsertSettings:
useTempDB	Upsert için geçici tablo olarak genel geçici tablonun mı yoksa fiziksel tablonun mı kullanılacağını belirtin. Varsayılan olarak, hizmet ara tablo olarak global geçici tabloyu kullanır. değeridir true.	Hayır
interimSchemaName	Fiziksel tablo kullanılıyorsa, ara tablo oluşturmak için ara şemayı belirtin. Not: kullanıcının tablo oluşturma ve silme iznine sahip olması gerekir. Varsayılan olarak, ara tablo havuz tablosuyla aynı şemayı paylaşır. useTempDB seçeneği olduğunda Falseuygulayın.	Hayır
anahtarlar	Benzersiz satır belirleme için sütun adlarını belirtin. Tek bir anahtar veya bir dizi anahtar kullanılabilir. Belirtilmezse, birincil anahtar kullanılır.	Hayır

Örnek 1: Verileri ekleme

"activities":[
    {
        "name": "CopyToSQLServer",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<SQL Server output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SqlSink",
                "tableOption": "autoCreate",
                "writeBatchSize": 100000
            }
        }
    }
]

Örnek 2: Kopyalama sırasında saklı yordam çağırma

SQL havuzundaki saklı yordamı çağırma bölümünden daha fazla bilgi edinin.

"activities":[
    {
        "name": "CopyToSQLServer",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<SQL Server output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SqlSink",
                "sqlWriterStoredProcedureName": "CopyTestStoredProcedureWithParameters",
                "storedProcedureTableTypeParameterName": "MyTable",
                "sqlWriterTableType": "MyTableType",
                "storedProcedureParameters": {
                    "identifier": { "value": "1", "type": "Int" },
                    "stringData": { "value": "str1" }
                }
            }
        }
    }
]

Örnek 3: Upsert verileri

"activities":[
    {
        "name": "CopyToSQLServer",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<SQL Server output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SqlSink",
                "tableOption": "autoCreate",
                "writeBehavior": "upsert",
                "upsertSettings": {
                    "useTempDB": true,
                    "keys": [
                        "<column name>"
                    ]
                },
            }
        }
    }
]

SQL veritabanından paralel kopyalama

Kopyalama etkinliğindeki SQL Server bağlayıcısı, verileri paralel olarak kopyalamak için yerleşik veri bölümleme sağlar. Veri bölümleme seçeneklerini kopyalama etkinliğinin Kaynak sekmesinde bulabilirsiniz.

Bölümlenmiş kopyalamayı etkinleştirdiğinizde kopyalama etkinliği, bölümlere göre veri yüklemek için SQL Server kaynağınızda paralel sorgular çalıştırır. Paralel derece, kopyalama etkinliğindeki parallelCopies ayar tarafından denetlenilir. Örneğin, parallelCopies'ı dört olarak ayarlarsanız, hizmet aynı anda belirtilen bölüm seçeneğinize ve ayarlarınıza göre dört sorgu oluşturur ve çalıştırır ve her sorgu SQL Server verinin bir bölümünü alır.

Özellikle SQL Server büyük miktarda veri yüklediğinizde veri bölümleme ile paralel kopyalamayı etkinleştirmeniz önerilir. Farklı senaryolar için önerilen yapılandırmalar aşağıdadır. Verileri dosya tabanlı veri deposuna kopyalarken, bir klasöre birden çok dosya olarak yazmanız önerilir (yalnızca klasör adını belirtin), bu durumda performans tek bir dosyaya yazmaktan daha iyidir.

Senaryo	Önerilen ayarlar
Tam yük, fiziksel bölümleri olan büyük tablodan.	Bölüm seçeneği: Tablonun fiziksel bölümleri. Yürütme sırasında, hizmet fiziksel bölümleri otomatik olarak algılar ve bölümlere göre verileri kopyalar. Tablonuzda fiziksel bölüm olup olmadığını denetlemek için bu sorguya bakabilirsiniz.
Büyük tablo üzerinden, veri bölümleme için tamsayı veya tarih saat sütunu kullanarak, fiziksel bölümlendirme olmadan tam yükleme.	Bölüm seçenekleri: Dinamik aralık bölümü. Bölüm sütunu (isteğe bağlı): Verileri bölümleme için kullanılan sütunu belirtin. Belirtilmezse birincil anahtar sütunu kullanılır. Bölüm üst sınırı ve bölüm alt sınırı (isteğe bağlı): Bölüm adımını belirlemek isteyip istemediğinizi belirtin. Bu, tablodaki satırları filtrelemek için değildir, tablodaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği otomatik olarak değerleri algılar ve MIN ve MAX değerlerine bağlı olarak uzun sürebilir. Üst ve alt sınır sağlanması önerilir. Örneğin, "ID" bölüm sütununuzun değerleri 1 ile 100 arasındaysa ve alt sınırı 20, üst sınırı da 80 olarak ayarladıysanız, paralel kopya 4 bölüme göre veri alır: =20, [21, 50], [51, 80] ve <=81 aralığındaki >kimlikler.
Özel bir sorgu kullanarak, veri bölümlemesi için tamsayı veya tarih/tarih saat sütunu kullanırken, fiziksel bölümler olmadan büyük miktarda veri yükleyin.	Bölüm seçenekleri: Dinamik aralık bölümü. Sorgu: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>. Bölüm sütunu: Verileri bölümleme için kullanılan sütunu belirtin. Bölüm üst sınırı ve bölüm alt sınırı (isteğe bağlı): Bölüm adımını belirlemek isteyip istemediğinizi belirtin. Bu tablodaki satırları filtrelemek için değildir, sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar. Örneğin, bölüm sütununuz "ID" 1 ile 100 arasında değerlere sahipse ve alt sınırı 20, üst sınırı 80 olarak ayarlarsanız ve paralel kopya 4 olarak ayarlanırsa, hizmet verileri 4 parçaya bölünmüş olarak <=20, [21, 50], [51, 80] ve >=81 aralığındaki kimliklerden alır. Farklı senaryolar için daha fazla örnek sorgu aşağıda verilmiştir: 1. Tablonun tamamını sorgula: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition 2. Sütun seçimi ve ek koşul cümlesi filtreleri ile bir tablodan sorgulama yapın: SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> 3. Alt sorgularla sorgu: SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> 4. Alt sorguda bölüm içeren sorgu: SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T

Bölüm seçeneğiyle veri yüklemek için en iyi yöntemler:

1. Veri dengesizliği önlemek için bölüm sütunu (birincil anahtar veya benzersiz anahtar gibi) olarak ayırt edici sütunu seçin.
2. Tabloda yerleşik bölüm varsa, daha iyi performans elde etmek için "Tablonun fiziksel bölümleri" bölüm seçeneğini kullanın.
3. Verileri kopyalamak için Azure Integration Runtime kullanırsanız, daha fazla bilgi işlem kaynağı kullanmak için daha büyük "Data Integration Units (DIU)" (>4) ayarlayabilirsiniz. İlgili senaryoları burada kontrol edin.
4. "Kopyalama paralellik derecesi" bölümlerin sayısını kontrol eder; bu sayının çok büyük ayarlanması bazen performansı düşürebilir, bu sayıyı DIU'nun veya Şirket içinde barındırılan IR düğümü sayısının * (2 ila 4) arasında ayarlamanızı öneririz.

Örnek: Fiziksel bölümlendirmeler içeren büyük bir tablodan tam veri yüklemesi

"source": {
    "type": "SqlSource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Örnek: dinamik aralık bölümü olan sorgu

"source": {
    "type": "SqlSource",
    "query": "SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Fiziksel bölümü denetlemek için örnek sorgu

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Tabloda fiziksel bölüm varsa, "HasPartition" öğesini aşağıdaki gibi "evet" olarak görürsünüz.

Verileri SQL Server'a yüklemek için en iyi yöntem

verileri SQL Server kopyalarken farklı yazma davranışı gerekebilir:

• Ekleme: Kaynak verilerimde yalnızca yeni kayıtlar var.
• Upsert: Kaynak verilerimde hem eklemeler hem de güncelleştirmeler var.
• Üzerine yaz: Boyut tablosunun tamamını her seferinde yeniden yüklemek istiyorum.
• Özel mantıkla yazma: Hedef tabloya son eklemeden önce ek işlemeye ihtiyacım var.

Yapılandırma ve en iyi yöntemler için ilgili bölümlere bakın.

Verileri ekleme

Verilerin eklenmesi, bu SQL Server havuz bağlayıcısının varsayılan davranışıdır. Hizmet, tablonuza verimli bir şekilde yazmak için toplu ekleme yapar. Kaynak ve havuzu kopyalama etkinliğinde uygun şekilde yapılandırabilirsiniz.

Verileri güncelle ve ekle

Copy activity artık verileri bir veritabanı geçici tablosuna yerel olarak yüklemeyi ve anahtar varsa havuz tablosundaki verileri güncelleştirmeyi ve başka şekilde yeni veri eklemeyi destekliyor. Kopyalama etkinliklerindeki upsert ayarları hakkında daha fazla bilgi edinmek için SQL Server hedef olarak kullanılması üzerine olan bölüme bakınız.

Tablonun tamamını üzerine yaz

PreCopyScript özelliğini bir kopyalama etkinliği havuzu içinde yapılandırabilirsiniz. Bu durumda, her gerçekleştirilen kopyalama etkinliği için hizmet, önce otomatik olarak betiği çalıştırır. Ardından, verileri eklemek için kopyayı çalıştırır. Örneğin, en son verilerle tablonun tamamını güncellemek için, yeni verileri kaynaktan toplu olarak yüklemeden önce tüm kayıtları silmek üzere bir komut dosyası belirtin.

Özel mantık ile veri yazma

Özel mantıkla veri yazma adımları, Upsert verileri bölümünde açıklananlara benzer. Kaynak verilerin hedef tabloya son kez eklenmesinden önce ek işlem uygulamanız gerektiğinde, bir hazırlama tablosuna yükleyebilir, ardından saklı yordam etkinliğini çağırabilir veya verileri uygulamak için kopyalama etkinliği havuzundaki saklı yordamı çağırabilirsiniz.

SQL havuzundaki saklı yordamı çağırma

SQL Server veritabanına veri kopyaladığınızda, kaynak tablonun her toplu işleminde ek parametrelerle kullanıcı tarafından belirtilmiş bir saklı yordamı hem yapılandırabilir hem de çağırabilirsiniz. Saklı yordam özelliği tablo değerli parametrelerden yararlanır. Hizmetin saklı yordamı otomatik olarak kendi işlemine sardığını, bu nedenle saklı yordamın içinde oluşturulan tüm işlemlerin iç içe bir işlem haline geleceğini ve özel durum işleme için etkileri olabileceğini unutmayın.

Yerleşik kopyalama mekanizmaları amaca hizmet etmediğinde saklı bir yordam kullanabilirsiniz. Kaynak verilerin hedef tabloya son eklenmesinden önce ek işlem uygulamak istemenize örnek olarak verilmiştir. Bazı ek işleme örnekleri sütunları birleştirmek, ek değerler aramak ve birden fazla tabloya eklemek istediğinizde verilebilir.

Aşağıdaki örnekte, SQL Server veritabanındaki bir tabloya upsert uygulamak için saklı yordamın nasıl kullanılacağı gösterilmektedir. Giriş verilerinin ve havuz Pazarlama tablosunun her birinin üç sütunu olduğunu varsayalım: ProfileID, State ve Category. ProfileID sütununu temel alarak upsert'i yapın ve yalnızca "ProductA" adlı belirli bir kategori için uygulayın.

1. Veritabanınızda, sqlWriterTableType ile aynı ada sahip tablo türünü tanımlayın. Tablo türünün şeması, giriş verileriniz tarafından döndürülen şemayla aynıdır.

   CREATE TYPE [dbo].[MarketingType] AS TABLE(
       [ProfileID] [varchar](256) NOT NULL,
       [State] [varchar](256) NOT NULL,
       [Category] [varchar](256) NOT NULL
   )
   

2. Veritabanınızda, sqlWriterStoredProcedureName ile aynı ada sahip saklı yordamı tanımlayın. Belirtilen kaynağınızdaki giriş verilerini işler ve çıkış tablosuyla birleştirilir. Saklı yordamdaki tablo türünün parametre adı, veri kümesinde tanımlanan tableName ile aynıdır.

   CREATE PROCEDURE spOverwriteMarketing @Marketing [dbo].[MarketingType] READONLY, @category varchar(256)
   AS
   BEGIN
   MERGE [dbo].[Marketing] AS target
   USING @Marketing AS source
   ON (target.ProfileID = source.ProfileID and target.Category = @category)
   WHEN MATCHED THEN
       UPDATE SET State = source.State
   WHEN NOT MATCHED THEN
       INSERT (ProfileID, State, Category)
       VALUES (source.ProfileID, source.State, source.Category);
   END
   

3. Kopyalama etkinliğinde SQL havuzu bölümünü aşağıdaki gibi tanımlayın:

   "sink": {
       "type": "SqlSink",
       "sqlWriterStoredProcedureName": "spOverwriteMarketing",
       "storedProcedureTableTypeParameterName": "Marketing",
       "sqlWriterTableType": "MarketingType",
       "storedProcedureParameters": {
           "category": {
               "value": "ProductA"
           }
       }
   }
   

Veri akışı haritalama özellikleri

Eşleme veri akışındaki verileri dönüştürürken, SQL Server Veritabanından tabloları okuyabilir ve tablolara yazabilirsiniz. Daha fazla bilgi için kaynak dönüşümü ve depolama dönüşümü kısmına bkz.

Not

Şirket içi SQL Server erişmek için özel uç nokta kullanarak Azure Data Factory veya Synapse çalışma alanı Managed Virtual Network kullanmanız gerekir. Ayrıntılı adımlar için bu öğreticiye bakın.

Kaynak dönüştürme

Aşağıdaki tabloda, SQL Server kaynağı tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Kaynak seçenekleri sekmesinde düzenleyebilirsiniz.

Veri Akışı Adı	Açıklama	Gerekli	İzin verilen değerler	Veri akışı betiği özelliği
Tablo	Giriş olarak Tablo'yı seçerseniz, veri akışı veri kümesinde belirtilen tablodan tüm verileri getirir.	Hayır	-	-
Sorgu	Giriş olarak Sorgu'yu seçerseniz, kaynaktan veri getirmek için bir SQL sorgusu belirtin. Bu sorgu, veri kümesinde belirttiğiniz tüm tabloları geçersiz kılar. Sorguları kullanmak, test veya arama için satırları azaltmanın harika bir yoludur. Order By yan tümcesi desteklenmez, ancak tam bir SELECT FROM deyimi ayarlayabilirsiniz. Kullanıcı tanımlı tablo işlevlerini de kullanabilirsiniz. select * from udfGetData() , SQL'de veri akışında kullanabileceğiniz bir tablo döndüren bir UDF'dir. Sorgu örneği: Select * from MyTable where customerId > 1000 and customerId < 2000	Hayır	String	query
Parti boyutu	Büyük verileri okumalara ayırmak için bir toplu iş boyutu belirtin.	Hayır	Tamsayı	yığınBoyutu
Yalıtım Düzeyi	Aşağıdaki yalıtım düzeylerinden birini seçin: - Okundu Taahhütlü - Okunmamış Veriyi Okuma (varsayılan) - Yinelenebilir Okuma -Serileştirilebilir - Yok (yalıtım düzeyini göz ardı et)	Hayır	OKUNMUŞ_ONAYLANDI Okunmamış_İşlem TEKRARLANABİLİR_OKUMA SERİLEŞTİRİLEBİLİR HİÇBİRİ	yalıtım seviyesi (isolationLevel)
Artımlı ayıklamayı etkinleştirme	ADF'ye yalnızca işlem hattının son yürütülmesinden bu yana değişen satırları işlemesini bildirmek için bu seçeneği kullanın.	Hayır	-	-
Artımlı tarih sütunu	Artımlı ayıklama özelliğini kullanırken, kaynak tablonuzda filigran olarak kullanmak istediğiniz tarih/saat sütununu seçmeniz gerekir.	Hayır	-	-
Yerel değişiklik veri yakalamayı etkinleştirme(Önizleme)	ADF'ye işlem hattının son yürütülmesinden bu yana yalnızca SQL değişiklik verileri yakalama teknolojisi tarafından yakalanan delta verilerini işlemesini söylemek için bu seçeneği kullanın. Bu seçenekle, satır ekleme, güncelleştirme ve silme dahil olmak üzere delta verileri, artımlı tarih sütunu gerekmeden otomatik olarak yüklenir. ADF'de bu seçeneği kullanmadan önce SQL Server'da değişiklik verilerini yakalamayı etkinleştirmeniz gerekir. ADF'de bu seçenek hakkında daha fazla bilgi için bkz . yerel değişiklik verileri yakalama.	Hayır	-	-
Okumaya baştan başlama	Artımlı ayıklama ile bu seçeneğin ayarlanması, ADF'ye artımlı ayıklamanın açık olduğu bir işlem hattının ilk yürütülmesinde tüm satırları okumasını bildirecektir.	Hayır	-	-

İpucu

SQL'deki ortak tablo ifadesi (CTE), eşleme veri akışı Sorgu modunda desteklenmez, çünkü bu modu kullanmanın önkoşulu sorguların SQL sorgusu FROM yan tümcesinde kullanılabilmesidir, ancak CTE'ler bunu yapamaz. CTE'leri kullanmak için aşağıdaki sorguyu kullanarak bir saklı yordam oluşturmanız gerekir:

CREATE PROC CTESP @query nvarchar(max)
AS
BEGIN
EXECUTE sp_executesql @query;
END

Ardından, eşleme veri akışının kaynak dönüşümünde Saklı yordam modunu kullanın ve @query örnekte olduğu gibi with CTE as (select 'test' as a) select * from CTE ayarlayın. Ardından CTES'yi beklendiği gibi kullanabilirsiniz.

SQL Server kaynak betik örneği

Kaynak türü olarak SQL Server kullandığınızda, ilişkili veri akışı betiği şöyledir:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from MYTABLE',
    format: 'query') ~> SQLSource

Havuz dönüşümü

Aşağıdaki tabloda, SQL Server havuzu tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Havuz seçenekleri sekmesinde düzenleyebilirsiniz.

Veri Akışı Adı	Açıklama	Gerekli	İzin verilen değerler	Veri akışı betiği özelliği
Güncelleştirme yöntemi	Veritabanı hedefinizde hangi işlemlere izin verileceğini belirtin. Varsayılan değer yalnızca eklemelere izin vermektir. Satırları güncelleştirmek, ekle-güncelle veya silmek için, bu eylemler için satırları etiketlemek amacıyla bir Satır değiştirme dönüşümü gerekir.	Yes	true veya false	silinebilir eklenebilir güncelleştirilebilir güncellenebilir/eklenebilir
Anahtar sütunlar	Güncellemeler, upsert işlemleri ve silmeler için, hangi satırın değiştirilmesi gerektiğini belirlemek üzere anahtar sütunları ayarlanmalıdır. Anahtar olarak seçtiğiniz sütun adı, sonraki güncelleme, ekleme/yenileme, silme işlemlerinin bir parçası olarak kullanılır. Bu nedenle, Havuz eşlemesinde var olan bir sütun seçmelisiniz.	Hayır	Dizi	anahtarlar
Anahtar sütunları yazmayı atlama	Değeri anahtar sütununa yazmak istemiyorsanız "Anahtar sütunlarını yazmayı atla" seçeneğini belirleyin.	Hayır	true veya false	anahtar yazmalarını atla
Tablo eylemi	Yazmadan önce hedef tablodan tüm satırların yeniden oluşturulmasını veya kaldırılıp kaldırılmayacağını belirler. - Yok: Tabloda hiçbir işlem yapılmayacak. - Yeniden oluştur: Tablo silinir ve yeniden oluşturulur. Dinamik olarak yeni bir tablo oluşturuyorsanız gereklidir. - Tümünü Sil: Hedef tablodaki tüm satırlar kaldırılacak.	Hayır	true veya false	Yeniden oluşturun kesmek
Parti boyutu	Her toplu işlemde kaç satır yazıldığını belirtin. Daha büyük toplu iş boyutları sıkıştırmayı ve bellek iyileştirmeyi geliştirir, fakat verileri önbelleğe alırken bellek yetersizliği istisnaları riski taşır.	Hayır	Tamsayı	yığınBoyutu
SQL Betikleri Öncesi ve Sonrası	Havuz veritabanınıza veri yazıldıktan önce (ön işleme) ve sonra (işleme sonrası) yürütülecek çok satırlı SQL betiklerini belirtin.	Hayır	String	preSQL'ler postSQL'ler

İpucu

1. Birden çok komut içeren tek toplu iş betiklerini birden çok partiye bölmeniz önerilir.
2. Yalnızca basit bir güncelleştirme sayısı döndüren Veri Tanımlama Dili (DDL) ve Veri İşleme Dili (DML) deyimleri toplu iş kapsamında çalıştırılabilir. Toplu işlem gerçekleştirme'den daha fazla bilgi edinin

SQL Server sink betiği örneği

havuz türü olarak SQL Server kullandığınızda, ilişkili veri akışı betiği şöyledir:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> SQLSink

SQL Server için veri türü eşlemesi

SQL Server'dan ve SQL Server'a veri kopyaladığınızda, SQL Server veri türlerinden Azure Data Factory ara veri türlerine aşağıdaki eşlemeler kullanılır. Data Factory'yi uygulayan Synapse işlem hatları aynı eşlemeleri kullanır. Kopyalama etkinliğinin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . Şema ve veri türü eşlemeleri.

SQL Server veri türü	Data Factory geçici veri türü
bigint	Int64
ikili	Bayt[]
bit	Boolean (İkili Mantık)
char	Dize, Karakter[]
tarih	TarihSaat
Tarih ve Zaman	TarihSaat
datetime2	TarihSaat
Datetimeoffset	DateTimeOffset
Ondalık Sayı	Ondalık Sayı
FILESTREAM özniteliği (varbinary(max))	Bayt[]
Kayan	Çift
görüntü	Bayt[]
int	Int32
para	Ondalık Sayı
nchar	Dize, Karakter[]
ntext	Dize, Karakter[]
sayısal	Ondalık Sayı
nvarchar	Dize, Karakter[]
gerçek	Tek
satır sürümü	Bayt[]
smalldatetime	TarihSaat
smallint	Int16
smallmoney	Ondalık Sayı
sql_variant	Nesne
text	Dize, Karakter[]
zaman	TimeSpan
timestamp	Bayt[]
tinyint	Int16
benzersiz tanımlayıcı	GUID
varbinary	Bayt[]
varchar	Dize, Karakter[]
xml	String

Not

Ondalık ara türüne eşlenen veri türleri için şu anda Copy Activity, 28'e kadar hassasiyeti destekler. 28'den büyük duyarlık gerektiren verileriniz varsa, SQL sorgusundaki bir dizeye dönüştürmeyi göz önünde bulundurun.

Azure Data Factory kullanarak SQL Server verileri kopyalarken, bit veri türü Boole geçici veri türüne eşlenir. Bit veri türü olarak tutulması gereken verileriniz varsa, T-SQL CAST veya CONVERT ile sorguları kullanın.

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

GetMetadata etkinlik özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için GetMetadata etkinliğini denetleyin

Always Encrypted'i kullanma

Always Encrypted ile verileri SQL Server kopyaladığınızda aşağıdaki adımları izleyin:

1. Column Ana Anahtarı (CMK)Azure Key Vault içinde depolayın. Always Encrypted'ı Azure Key Vault kullanarak yapılandırma hakkında daha fazla bilgi edinin

2. Sütun Ana Anahtarı'nın (CMK) depolandığı anahtar kasasına erişim izni verildiğinden emin olun. Gerekli izinler için bu makaleye bakın.

3. SQL veritabanınıza bağlanmak için bağlı hizmet oluşturun ve yönetilen kimlik veya hizmet sorumlusu kullanarak 'Always Encrypted' işlevini etkinleştirin.

Not

SQL Server Always Encrypted aşağıdaki senaryoları destekler:

1. Kaynak veya alıcı veri depoları, anahtar sağlayıcısı kimlik doğrulama türü olarak yönetilen kimlik veya hizmet sorumlusu kullanıyor.
2. Hem kaynak hem de havuz veri depoları, anahtar sağlayıcısı kimlik doğrulama türü olarak yönetilen kimliği kullanır.
3. Hem kaynak hem de alıcı veri depoları, anahtar sağlayıcısı kimlik doğrulama türü olarak aynı hizmet ilkesini kullanıyor.

Not

Şu anda SQL Server Always Encrypted yalnızca eşleme veri akışlarında kaynak dönüşümü için desteklenmektedir.

Yerleşik değişiklik verisi yakalama

Azure Data Factory SQL Server, Azure SQL DB ve Azure SQL MI için yerel değişiklik veri yakalama özelliklerini destekleyebilir. SQL depolarında satır ekleme, güncelleştirme ve silme dahil olmak üzere değiştirilen veriler otomatik olarak algılanabilir ve ADF eşleme veri akışı tarafından ayıklanabilir. Eşleme veri akışında kod deneyimi olmadan, kullanıcılar bir veritabanını hedef depo olarak ekleyerek SQL depolarından kolayca veri çoğaltma senaryosu elde edebilir. Dahası, kullanıcılar, SQL depolarındaki verilere yönelik artımlı bir ETL senaryosu elde etmek için araya çeşitli veri dönüştürme mantıkları da ekleyebilir.

ADF'nin denetim noktasını kaydedebilmesi için işlem hattı ve etkinlik adını değiştirmediğinizden emin olun, böylece son çalıştırmadan otomatik olarak güncellenmiş verileri alabilirsiniz. İşlem hattı adınızı veya etkinlik adınızı değiştirirseniz, denetim noktası sıfırlanır ve bu durumda ya en baştan başlamanız ya da bir sonraki çalıştırmada değişiklikleri almanız gerekir. İşlem hattı adını veya etkinlik adını değiştirmek istiyorsanız ancak son çalıştırmadan otomatik olarak değişen verileri almak için denetim noktasını yine de tutmak istiyorsanız, bunu elde etmek için veri akışı etkinliğinde kendi belirlediğiniz bir Denetim Noktası anahtarınızı kullanın.

İşlem hattında hata ayıkladığınızda, bu özellik aynı şekilde çalışır. Hata ayıklama çalıştırması sırasında tarayıcınızı yenilediğinizde denetim noktasının sıfırlanacağını unutmayın. Hata ayıklama çalıştırmasından elde edilen işlem hattı sonucundan memnun olduktan sonra işlem hattını yayımlamaya ve tetikleme işlemine geçebilirsiniz. Yayımlanan işlem hattınızı ilk tetiklediğiniz anda, başlangıçtan otomatik olarak yeniden başlatılır veya o andan itibaren değişiklikleri uygular.

İzleme bölümünde her zaman bir işlem hattını yeniden çalıştırma şansınız olur. Bunu yaparken, değiştirilen veriler her zaman seçili işlem hattı çalıştırmanızın önceki denetim noktasından yakalanır.

Örnek 1:

Sql CDC özellikli veri kümesine başvuruda bulunan bir kaynak dönüşümünü eşleme veri akışındaki bir veritabanına başvuruda bulunan havuz dönüşümüyle doğrudan zincirlediğinizde, SQL kaynağında gerçekleşen değişiklikler otomatik olarak hedef veritabanına uygulanır, böylece veritabanları arasında veri çoğaltma senaryolarını kolayca alabilirsiniz. Hedef veritabanında eklemeye izin vermek, güncelleştirmeye izin vermek veya silmeye izin vermek isteyip istemediğinizi seçmek için havuz dönüşümünde güncelleştirme yöntemini kullanabilirsiniz. Eşleme veri akışındaki örnek betik aşağıdaki gibidir.

source(output(
		id as integer,
		name as string
	),
	allowSchemaDrift: true,
	validateSchema: false,
	enableNativeCdc: true,
	netChanges: true,
	skipInitialLoad: false,
	isolationLevel: 'READ_UNCOMMITTED',
	format: 'table') ~> source1
source1 sink(allowSchemaDrift: true,
	validateSchema: false,
	deletable:true,
	insertable:true,
	updateable:true,
	upsertable:true,
	keys:['id'],
	format: 'table',
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true,
	errorHandlingOption: 'stopOnFirstError') ~> sink1

Örnek 2:

SQL CDC aracılığıyla veritabanı arasında veri çoğaltması yerine ETL senaryolarını etkinleştirmek istiyorsanız, satırları farklı işlem türleriyle ayırt etmek için isInsert(1), isUpdate(1) ve isDelete(1) gibi veri akışını eşlemede ifadeleri kullanabilirsiniz. Aşağıdaki örnek betikler, veri akışını değerle bir sütun türetmeye yönelik örnek betiklerden biridir: Eklenen satırları belirtmek için 1, güncelleştirilmiş satırları belirtmek için 2 ve delta verilerini işlemek üzere aşağı akış dönüşümleri için silinen satırları belirtmek için 3.

source(output(
		id as integer,
		name as string
	),
	allowSchemaDrift: true,
	validateSchema: false,
	enableNativeCdc: true,
	netChanges: true,
	skipInitialLoad: false,
	isolationLevel: 'READ_UNCOMMITTED',
	format: 'table') ~> source1
source1 derive(operationType = iif(isInsert(1), 1, iif(isUpdate(1), 2, 3))) ~> derivedColumn1
derivedColumn1 sink(allowSchemaDrift: true,
	validateSchema: false,
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> sink1

Bilinen sınırlama:

• ADF tarafından yalnızca SQL CDC'den yapılan net değişiklikler cdc.fn_cdc_get_net_changes_ aracılığıyla yüklenir.

Bağlantı sorunlarını giderme

1. uzak bağlantıları kabul etmek için SQL Server örneğinizi yapılandırın. SQL Server Management Studio başlatın, server sağ tıklayın ve Properties öğesini seçin. Listeden Bağlantılar'ı seçin ve Bu sunucuya uzak bağlantılara izin ver onay kutusunu seçin.

   

   Ayrıntılı adımlar için bkz . Uzaktan erişim sunucusu yapılandırma seçeneğini yapılandırma.

2. SQL Server Configuration Manager başlatın. İstediğiniz örnek için SQL Server Ağ Yapılandırması genişletin ve MSSQLSERVER için Protocols'ı seçin. Protokoller sağ bölmede görünür. TCP/IP'ye sağ tıklayıp Etkinleştir'i seçerek TCP/IP'yi etkinleştirin.

   

   TCP/IP protokolünün etkinleştirilmesinin alternatif yolları ve daha fazla bilgi için bkz . Sunucu ağ protokollerini etkinleştirme veya devre dışı bırakma.

3. Aynı pencerede TCP/IP Özellikleri penceresini başlatmak için TCP/IP'ye çift tıklayın.

4. IP Adresleri sekmesine geçin. IPAll bölümünü görmek için aşağı kaydırın. TCP Bağlantı Noktasını not edin. Varsayılan değer 1433'dür.

5. Bu bağlantı noktası üzerinden gelen trafiğe izin vermek için makinede Windows Güvenlik Duvarı için bir rule oluşturun.

6. Verify connection: SQL Server'a tam ad kullanarak bağlanmak için farklı bir makineden SQL Server Management Studio'yu kullanın. "<machine>.<domain>.corp.<company>.com,1433" bunun bir örneğidir.

SQL Server sürümünü yükseltme

SQL Server sürümünü yükseltmek için Bağlı hizmeti düzenle sayfasında, Version altında Recommended öğesini seçin ve önerilen sürüm için Linked hizmet özelliklerine başvurarak bağlı hizmeti yapılandırın.

Önerilen ve eski sürüm arasındaki farklar

Aşağıdaki tabloda, önerilen ve eski sürümü kullanan SQL Server arasındaki farklar gösterilmektedir.

Önerilen sürüm	Eski sürüm
TLS 1.3'ü encrypt üzerinden strict olarak destekleyin.	TLS 1.3 desteklenmez.

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.