Kendi kendine barındırılan bir IR'yi Azure-SSIS IR için ara sunucu olarak yapılandırma

GEÇERLİDİR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Eğer veri tümleştirmeye yeni başladıysanız, Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Data Factory'ye Microsoft Fabric'te Upgrade yapın.

Bu makalede, vekil olarak yapılandırılmış kendi kendine barındırılan entegrasyon çalışma zamanı (kendi kendine barındırılan IR) ile Azure-SSIS Integration Runtime (Azure-SSIS IR) üzerinde SQL Server Integration Services (SSIS) paketlerinin nasıl çalıştırılacağı açıklanmaktadır.

Bu özellik sayesinde Azure-SSIS IR'nizi sanal ağa eklemek zorunda kalmadan verilere erişebilir ve görevleri şirket içinde çalıştırabilirsiniz. Bu özellik, şirket ağınızda yapılandırma çok karmaşık olduğunda veya Azure-SSIS IR'nizi ekleyemeyecek kadar kısıtlayıcı bir ilke olduğunda kullanışlıdır.

Bu özellik şimdilik yalnızca SSIS Veri Akışı Görevinde etkinleştirilebilir ve SQL/İşlem Görevlerini Yürütebilir.

Veri Akışı Görevde etkinleştirilen bu özellik, uygun olduğunda iki hazırlama görevine böler:

• Şirket içi hazırlama görevi: Bu görev, şirket içinde barındırılan IR'nizdeki bir şirket içi veri deposuna bağlanan veri akışı bileşeninizi çalıştırır. Verileri şirket içi veri deposundan Azure Blob Depolama'daki bir hazırlama alanına veya tersi yönde taşır.
• Bulut hazırlama görevi: Bu görev, şirket içi veri deposuna bağlanmayan veri akışı bileşeninizi Azure-SSIS IR'nizde çalıştırır. Verileri Azure Blob Depolama hazırlama alanından bir bulut veri deposuna (veya tersi) taşır.

Veri Akışı Göreviniz verileri şirket içinden buluta taşırsa, birinci ve ikinci hazırlama görevleri sırasıyla şirket içi ve bulut hazırlama görevleri olur. Veri Akışı Göreviniz verileri buluttan şirkete taşırsa, birinci ve ikinci hazırlama görevleri sırasıyla bulut ve şirket içi hazırlama görevleri olur. Veri Akışı Göreviniz verileri şirket içinden şirket içine taşıyorsa, hem birinci hem de ikinci hazırlama görevleri şirket içi hazırlama görevleri olur. Veri Akışı Göreviniz verileri buluttan buluta taşırsa bu özellik geçerli değildir.

SQL/İşlem Görevlerini Çalıştır'da etkinleştirilen bu özellik, bunları kendi barındırdığınız IR'nizde çalıştırır.

Bu özelliğin diğer avantajları ve özellikleri, örneğin azure-SSIS IR tarafından henüz desteklenmeyen bölgelerde şirket içinde barındırılan IR'nizi ayarlamanıza ve veri kaynaklarınızın güvenlik duvarında şirket içinde barındırılan IR'nizin genel statik IP adresine izin vermenizi sağlar.

Kendi kendine barındırılan IR'yi hazırlama

Bu özelliği kullanmak için önce bir veri fabrikası oluşturur ve içinde bir Azure-SSIS IR ayarlarsınız. Henüz yapmadıysanız Azure-SSIS IR ayarlama başlığındaki yönergeleri izleyin.

Ardından, kendi barındırdığınız IR'yi Azure-SSIS IR'nizin ayarlandığı aynı veri fabrikasında ayarlarsınız. Bunu yapmak için bkz Kendi kendine barındırılan IR oluşturma.

Son olarak şirket içi makinenize veya Azure sanal makinenize (VM) şirket içinde barındırılan IR'nin en son sürümünü ve ek sürücüleri ve çalışma zamanını aşağıdaki gibi indirip yüklersiniz:

• Kendi sunucusunda barındırılan IR'nin en son sürümünü indirin ve yükleyin.

• Kendi barındırdığınız tümleştirme çalışma zamanı düğümünde SSIS paketi yürütmeyi etkinleştirin, eğer kendi barındırdığınız IR sürümü 5.28.0 veya üzeriyse.

  ExecuteSsisPackage özelliği kendi kendine barındırılan IR sürüm 5.28.0 itibarıyla yeni olarak tanıtılmıştır. SSIS paketi yürütmesini etkinleştirmek veya devre dışı bırakmak için aşağıdaki kendi kendine barındırılan IR komut satırı işlemini kullanın.

  • -EnableExecuteSsisPackage Şirket içinde barındırılan IR düğümünde SSIS paket yürütmesini etkinleştirin.

  • -DisableExecuteSsisPackage Kendi sunucusunda barındırılan IR düğümünde SSIS paketi yürütmesini devre dışı bırakın.

  • -GetExecuteSsisPackage

  Kendi kendine barındırılan IR komut satırı ayrıntıları için, Mevcut bir kendi kendine barındırılan IR'yi Yerel PowerShell aracılığıyla ayarlama bölümüne bakın.

  5.28.0 veya daha sonraki bir sürümü olan yeni yüklenen yerinde barındırılan IR düğümü için, ExecuteSsisPackage özelliği varsayılan olarak devre dışıdır.

  Kendinden barındırılan mevcut IR düğümü 5.28.0 veya daha yeni bir sürüme güncellendikten sonra, ExecuteSsisPackage özelliği varsayılan olarak etkindir

• Nesne Bağlama ve Ekleme Veritabanı (OLEDB), Açık Veritabanı Bağlantısı (ODBC) veya paketlerinizde ADO.NET bağlayıcıları kullanıyorsanız, henüz yapmadıysanız, ilgili sürücüleri şirket içinde barındırılan IR'nizin yüklü olduğu makineye indirip yükleyin.

  SQL Server (SQL Server Native Client [SQLNCLI]) için OLEDB sürücüsünün önceki sürümünü kullanıyorsanız 64 bit sürümünü indirin.

  SQL Server (MSOLEDBSQL) için OLEDB sürücüsünün en son sürümünü kullanıyorsanız 64 bit sürümünü indirin.

  PostgreSQL, MySQL, Oracle gibi diğer veritabanı sistemleri için OLEDB/ODBC/ADO.NET sürücüleri kullanıyorsanız, 64 bit sürümleri web sitelerinden indirebilirsiniz.

• Paketlerinizde Azure Özellik Paketi'ndeki veri akışı bileşenlerini kullanıyorsanız, henüz yapmadıysanız SQL Server 2017 için Azure Özellik Paketi'ni şirket içinde barındırılan IR'nizin yüklü olduğu makineye indirip yükleyin.

• Henüz yapmadıysanız, kendi barındırdığınız IR'nin yüklü olduğu makineye Visual C++ (VC) çalışma zamanının 64 bit sürümünü indirip yükleyin.

Şirket içi görevler için Windows kimlik doğrulamasını etkinleştirme

Şirket içi hazırlama görevleri ve şirket içinde barındırılan IR'nizde SQL/İşlem Görevlerini Yürütme için Windows kimlik doğrulaması gerekiyorsa, Azure-SSIS IR'nizde Windows kimlik doğrulama özelliğini de yapılandırmanız gerekir.

Şirket içi hazırlama görevleriniz ve SQL/İşlem Görevlerini Yürüt işlemleri, şirket içinde barındırılan IR hizmet hesabıyla (varsayılan olarak NT SERVICE\DIAHostService) çağrılır ve veri depolarınıza Windows kimlik doğrulama hesabıyla erişilir. Her iki hesaba da belirli güvenlik ilkelerinin atanmasını gerektirir. Şirket içinde barındırılan IR makinesinde Yerel Güvenlik İlkesi>Yerel İlkeler>Kullanıcı Hakları Ataması kısmına gidin ve sonra aşağıdakileri yapın:

1. İşlem için bellek kotalarını ayarlama ve Bir işlem düzeyi belirteci değiştirme ilkelerini şirket içinde barındırılan IR hizmet hesabına atayın. Bu, şirket içinde barındırılan IR'nizi varsayılan hizmet hesabıyla yüklediğinizde otomatik olarak gerçekleşmelidir. Eğer çalışmazsa, o politikaları el ile atayın. Farklı bir hizmet hesabı kullanıyorsanız, buna aynı ilkeleri atayın.

2. Hizmet olarak oturum aç ilkesini Windows Kimlik Doğrulaması hesabına atayın.

Azure Blob Depolama bağlı hizmetini hazırlama

Henüz yapmadıysanız, Azure-SSIS IR'nizin ayarlandığı aynı veri fabrikasında Azure Blob Depolama bağlı bir hizmet oluşturun. Bunu yapmak için Azure Data Factory Bağlı Hizmeti Oluşturma bölümüne bakın. Şunları gerçekleştirdiğinizden emin olun:

• Veri Deposu için Azure Blob Depolama'ı seçin.
• Entegrasyon çalışma zamanı aracılığıyla bağlanmak için AutoResolveIntegrationRuntime (kendi barındırdığınız IR değil) seçeneğini seçin, böylece bunu görmezden gelip Azure Blob Depolama erişim kimlik bilgilerini almak için Azure-SSIS IR'nizi kullanabiliriz.
• Kimlik doğrulama yöntemi için Hesap anahtarı, SAS URI,Hizmet Sorumlusu, Yönetilen Kimlik veya Kullanıcı Tarafından Atanan Yönetilen Kimlik'i seçin.

İpucu

Veri fabrikası örneğiniz Git özellikliyse, anahtar kimlik doğrulaması olmayan bağlı bir hizmet hemen yayımlanmaz; bu da özellik dalınızdaki bağlı hizmete bağlı olan tümleştirme çalışma zamanını kaydedemeyeceğiniz anlamına gelir. Hesap anahtarı veya SAS URI'si ile kimlik doğrulaması, bağlı hizmeti hemen yayımlar.

İpucu

Hizmet Sorumlusu yöntemini seçerseniz, hizmet sorumlunuza en az bir Depolama Blobu Veri Katkıda Bulunanı rolü verin. Daha fazla bilgi için bkz. Azure Blob Depolama bağlayıcısı. Eğer Yönetilen Kimlik/Kullanıcı Tarafından Atanan Yönetilen Kimlik yöntemini seçerseniz, ADF'niz için belirtilen sistem/kullanıcı tarafından atanan yönetilen kimliğe Azure Blob Depolama erişimi için uygun bir rol verin. Daha fazla bilgi için ADF'niz için belirtilen sistem/kullanıcı tarafından atanan yönetilen kimlikle Microsoft Entra kimlik doğrulamasını kullanarak Azure Blob Depolama'ya erişmeye bkz.

Yerel IR'niz ile Azure-SSIS IR'yi vekil sunucu olarak yapılandırma

Şirket içinde barındırılan IR'nizi ve Azure Blob Depolama bağlı hizmetinizi sahneleme için hazırladıktan sonra, artık yeni veya mevcut Azure-SSIS IR'nizi veri fabrikası portalınızda veya uygulamanızda şirket içinde barındırılan IR'yi vekil sunucu olarak yapılandırabilirsiniz. Ancak bunu gerçekleştirmeden önce, mevcut Azure-SSIS IR'niz zaten çalışıyorsa bunu durdurabilir, düzenleyebilir ve sonra yeniden başlatabilirsiniz.

1. Tümleştirme çalışma zamanı kurulumu bölmesinde, Devam düğmesini seçerek Genel ayarlar ve Dağıtım ayarları sayfalarını atlayın.

2. Gelişmiş ayarlar sayfasında aşağıdakileri yapın:

   1. Azure-SSIS Integration Runtime'ınız için Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanını proxy olarak ayarlayın seçeneğini işaretleyin.

   2. Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı açılan listesinde Azure-SSIS IR için ara sunucu olarak mevcut şirket içinde barındırılan IR'nizi seçin.

   3. Hazırlama depolama bağlı hizmeti açılan listesinde mevcut Azure Blob Depolama bağlı hizmetinizi seçin veya hazırlama için yeni bir hizmet oluşturun.

   4. Hazırlama yolu kutusunda, seçili Azure Depolama hesabınızda bir blob kapsayıcısı belirtin veya hazırlama için varsayılan kapsayıcıyı kullanmak üzere bu kapsayıcıyı boş bırakın.

   5. Devam düğmesini seçin.

   

PowerShell kullanarak yeni veya mevcut Azure-SSIS IR'nizi kendi kendine barındırılan IR ile vekil sunucu olarak da yapılandırabilirsiniz.

$ResourceGroupName = "[your Azure resource group name]"
$DataFactoryName = "[your data factory name]"
$AzureSSISName = "[your Azure-SSIS IR name]"
# Self-hosted integration runtime info - This can be configured as a proxy for on-premises data access 
$DataProxyIntegrationRuntimeName = "" # OPTIONAL to configure a proxy for on-premises data access 
$DataProxyStagingLinkedServiceName = "" # OPTIONAL to configure a proxy for on-premises data access 
$DataProxyStagingPath = "" # OPTIONAL to configure a proxy for on-premises data access 

# Add self-hosted integration runtime parameters if you configure a proxy for on-premises data access
if(![string]::IsNullOrEmpty($DataProxyIntegrationRuntimeName) -and ![string]::IsNullOrEmpty($DataProxyStagingLinkedServiceName))
{
    Set-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName `
        -DataFactoryName $DataFactoryName `
        -Name $AzureSSISName `
        -DataProxyIntegrationRuntimeName $DataProxyIntegrationRuntimeName `
        -DataProxyStagingLinkedServiceName $DataProxyStagingLinkedServiceName

    if(![string]::IsNullOrEmpty($DataProxyStagingPath))
    {
        Set-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName `
            -DataFactoryName $DataFactoryName `
            -Name $AzureSSISName `
            -DataProxyStagingPath $DataProxyStagingPath
    }
}
Start-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $DataFactoryName `
    -Name $AzureSSISName `
    -Force

Ara sunucu kullanmak için SSIS paketlerini etkinleştirme

Visual Studio için SSIS Projeleri uzantısı veya tek başına yükleyici olarak en son SSDT'yi kullanarak, desteklenen veri akışı bileşenleri için bağlantı yöneticilerinde yeni ConnectByProxy bir özellik ve ExecuteOnProxy SQL/İşlem Görevlerini Yürütme bölümünde yeni bir özellik bulabilirsiniz.

• Visual Studio için SSIS Projeleri uzantısını indirme
• Tek başına yükleyiciyi indirme

Şirket içi verilere erişen bileşenlerle Veri Akışı Görevleri içeren yeni paketler tasarlarken, ilgili bağlantı yöneticilerinin ConnectByProxy Özellikler bölmesinde özelliği True olarak ayarlayarak özelliği etkinleştirebilirsiniz.

Şirket içinde çalışan Execute SQL/Process Tasks içeren yeni paketler tasarlarken, ilgili görevlerin ExecuteOnProxy Özellikler bölmesinde özelliği True olarak ayarlayarak özelliği etkinleştirebilirsiniz.

Ayrıca, mevcut paketleri tek tek el ile değiştirmek zorunda kalmadan, mevcut paketleri çalıştırdığınızda özellikleri etkinleştirebilirsiniz ConnectByProxy/ExecuteOnProxy . İki seçenek vardır:

• Seçenek A: Azure-SSIS IR'nizde çalıştırılacak en son SSDT ile bu paketleri içeren projeyi açın, yeniden derleyin ve yeniden dağıtın. Ardından SSMS'den paketleri çalıştırırken Paketi Yürüt açılır penceresinin Bağlantı Yöneticisi sekmesindeConnectByProxygörüntülenen ilgili bağlantı yöneticileri için özelliği True olarak ayarlayarak etkinleştirebilirsiniz.

  

  Data Factory işlem hatlarında paketleri çalıştırırken SSIS Paketi Yürütme etkinliğininConnectByProxygörüntülenen ilgili bağlantı yöneticileri için özelliğini True olarak ayarlayarak da etkinleştirebilirsiniz.

  

• Seçenek B: Bu paketleri içeren projeyi SSIS IR'nizde çalışacak şekilde yeniden dağıtın. Daha sonra, SSMS'den paketleri çalıştırırken, ConnectByProxy/ExecuteOnProxy\Package.Connections[YourConnectionManagerName].Properties[ConnectByProxy]/ özellik yollarını sağlayarak bu özellikleri "Gelişmiş" sekmesinde, "Paketi Çalıştır" açılır penceresinden "True" değerini atayarak geçersiz kılma olarak etkinleştirebilirsiniz.

  

  Data Factory işlem hatlarındaConnectByProxy/ExecuteOnProxy\Package.Connections[YourConnectionManagerName].Properties[ConnectByProxy]/ paketleri çalıştırırken SSIS Paketini Yürüt etkinliğinin \Package\YourExecuteSQLTaskName.Properties[ExecuteOnProxy]/\Package\YourExecuteProcessTaskName.Properties[ExecuteOnProxy]Özellik Geçersiz Kılmaları sekmesinde özellik yollarını sağlayarak ve bunları True olarak ayarlayarak da özellikleri etkinleştirebilirsiniz.

  

Şirket içi görevlerde ve bulut hazırlama görevlerinde hata ayıklama

Şirket içinde barındırılan IR'nizde, çalışma zamanı günlüklerini C:\ProgramData\SSISTelemetry klasöründe ve şirket içi hazırlama görevleri ile Execute SQL/Görev İşleme görevlerinin yürütme günlüklerini C:\ProgramData\SSISTelemetry\ExecutionLog klasöründe bulabilirsiniz. Bulut hazırlama görevlerinin yürütme günlüklerini SSISDB'nizde, belirtilen günlük dosyası yollarında veya Azure İzleyici'de, paketlerinizi SSISDB'de depolayıp depolamadığınıza, Azure İzleyici tümleştirmesini etkinleştirip etkinleştirmediğinize bağlı olarak bulabilirsiniz. Şirket içi hazırlama görevlerinin benzersiz kimliklerini bulut hazırlama görevlerinin yürütme günlüklerinde de bulabilirsiniz.

Müşteri destek bileti oluşturduysanız, araştırmamız için kendi barındırılan IR'nize yüklenen Microsoft Integration Runtime Yapılandırma Yöneticisi'ın Tanılama sekmesinde Günlükleri Gönder düğmesini seçerek, son işlem veya yürütme günlüklerini gönderebilirsiniz.

Şirket içi görevler ve bulut hazırlama görevleri için faturalama

Kendi barındırılan IR'nizde çalışan şirket içi hazırlama görevleri ve SQL/İşlem Görevlerinin Yürütülmesi, kendi barındırılan IR üzerinde çalışan veri taşıma etkinliklerinden ayrı olarak faturalandırılır. Bu, Azure Data Factory veri işlem hattı fiyatlandırma makalesinde belirtilir.

Azure-SSIS IR'nizde çalışan bulut hazırlama görevleri ayrı olarak faturalandırılmaz, ancak çalışan Azure-SSIS IR'niz Azure-SSIS IR fiyatlandırma makalesinde belirtildiği şekilde faturalandırılır.

TLS 1.2'yi uygula

Hazırlama için Azure Blob Depolama dahil olmak üzere yalnızca en güçlü şifreleme/en güvenli ağ protokollerini (TLS 1.2) kullanacak şekilde yapılandırılmış veri depolarına erişmeniz gerekiyorsa, şirket içinde barındırılan IR'nizde aynı anda yalnızca TLS 1.2'yi etkinleştirmeniz ve eski SSL/TLS sürümlerini devre dışı bırakmanız gerekir. Bunu yapmak için, adresinden main.cmd betiğini https://github.com/Azure/Azure-DataFactory/tree/main/SamplesV2/SQLServerIntegrationServices/publicpreview/CustomSetupScript/UserScenarios/TLS%201.2indirip çalıştırabilirsiniz.

Geçerli sınırlamalar

• Şu anda yalnızca Azure-SSIS IR Standard Sürümü yerleşik/önceden yüklenmiş veri akışı bileşenleri (Hadoop/HDFS/DQS bileşenleri hariç) desteklenmektedir. Azure-SSIS IR'deki tüm yerleşik/önceden yüklenmiş bileşenlere bakın.
• Şu anda yalnızca yönetilen kodda (.NET Framework) yazılmış özel/3. taraf veri akışı bileşenleri desteklenmektedir. Yerel kodda (C++) yazılanlar şu anda desteklenmiyor.
• Hem şirket içi hem de bulut hazırlama görevlerinde değişken değerlerinin değiştirilmesi şu anda desteklenmiyor.
• Şirket içi hazırlama görevlerinde nesne türündeki değişken değerlerinin değiştirilmesi diğer görevlere yansıtılmayacaktır.
• OLEDB Kaynağında ParameterMapping şu anda desteklenmiyor. Geçici bir çözüm olarak, AccessMode olarak Değişkenden SQL Komutu'nu kullanın ve İfade'yi kullanarak değişkenlerinizi/parametrelerinizi bir SQL komutuna ekleyin. Çizim olarak, genel önizleme blob kapsayıcımızın SelfHostedIRProxy/Limitations klasöründe bulunabilen ParameterMappingSample.dtsx paketine bakın. Azure Depolama Gezgini kullanarak yukarıdaki SAS URI'sini girerek genel önizleme blob kapsayıcımıza bağlanabilirsiniz.

İlgili içerik

Şirket içinde barındırılan IR'nizi Azure-SSIS IR'niz için ara sunucu olarak yapılandırdıktan sonra, verilere erişmek için paketlerinizi dağıtabilir ve çalıştırabilir veya şirket içinde Data Factory işlem hatlarında SSIS Paketi etkinlikleri yürüt olarak sql deyimlerini/işlemlerini çalıştırabilirsiniz. Nasıl yapılacağını öğrenmek için bkz SSIS paketlerini, Data Factory işlem hatlarında SSIS Paketi etkinlikleri olarak çalıştırma. Ayrıca bloglarımıza bakın: Azure Data Factory'de SSIS ile 3 Kolay Adımda Herhangi Bir SQL'i Her Yerde Çalıştırma ve Azure Data Factory'de SSIS ile 3 Kolay Adımda Herhangi Bir İşlemi Her Yerde Çalıştırma.