Azure Data Factory'deki tümleştirme çalışma zamanı

ŞUNLAR IÇIN GEÇERLIDIR: Azure Synapse Analytics Azure Data Factory

Integration Runtime (IR), farklı ağ ortamlarında aşağıdaki veri tümleştirme özelliklerini sağlamak için Azure Data Factory ve Azure Synapse işlem hatları tarafından kullanılan işlem altyapısıdır:

  • Veri Akışı: Yönetilen bir Azure işlem ortamında Veri Akışı yürütür.
  • Veri taşıma: Verileri genel veya özel ağlardaki (hem şirket içi hem de sanal özel ağlar için) veri depoları arasında kopyalayın. Hizmet yerleşik bağlayıcılar, biçim dönüştürme, sütun eşlemesi ve yüksek performanslı ve ölçeklenebilir veri aktarımı için destek sağlar.
  • Etkinlik dağıtımı: Azure Databricks, Azure HDInsight, ML Studio (klasik), Azure SQL Veritabanı, SQL Server ve daha fazlası gibi çeşitli işlem hizmetlerinde çalışan dönüştürme etkinliklerini dağıtma ve izleme.
  • SSIS paketi yürütme: SQL Server Integration Services (SSIS) paketlerini yönetilen bir Azure işlem ortamında yerel olarak yürütün.

Data Factory ve Synapse işlem hatlarında bir etkinlik gerçekleştirilecek eylemi tanımlar. Bağlı hizmet, bir hedef veri deposunu veya işlem hizmetini tanımlar. Tümleştirme çalışma zamanı, etkinlikler ve bağlı hizmetler arasında köprü sağlar. Bağlı hizmet veya etkinlik tarafından başvurulur ve etkinliğin doğrudan çalıştırıldığı veya gönderildiği işlem ortamını sağlar. Bu, performansı en üst düzeye çıkarmak için etkinliğin hedef veri deposuna veya işlem hizmetine mümkün olan en yakın bölgede gerçekleştirilmesini sağlarken güvenlik ve uyumluluk gereksinimlerini karşılama esnekliği de sağlar.

Tümleştirme çalışma zamanları doğrudan yönetim hub'ı aracılığıyla Azure Data Factory ve Azure Synapse kullanıcı arabiriminde ve bunlara başvuran tüm etkinliklerden, veri kümelerinden veya veri akışlarından oluşturulabilir.

Tümleştirme çalışma zamanı türleri

Data Factory üç tür Integration Runtime (IR) sunar ve veri tümleştirme özelliklerinize ve ağ ortamı gereksinimlerinize en uygun türü seçmeniz gerekir. Üç IR türü şunlardır:

  • Azure
  • Kendinden konak
  • Azure-SSIS

Not

Synapse işlem hatları şu anda yalnızca Azure veya şirket içi barındırılan tümleştirme çalışma zamanlarını destekler.

Aşağıdaki tabloda tümleştirme çalışma zamanı türlerinin her birinin sunduğu özellikler ve ağ desteği açıklanmaktadır:

IR türü Genel Ağ Desteği Özel Bağlantı Desteği
Azure Veri Akışı
Veri taşıma
Etkinlik dağıtma
Veri Akışı
Veri taşıma
Etkinlik dağıtma
Kendinden konak Veri taşıma
Etkinlik dağıtma
Veri taşıma
Etkinlik dağıtma
Azure-SSIS SSIS paketi yürütme SSIS paketi yürütme

Not

Giden denetimler Azure IR hizmetine göre farklılık gösterir. Synapse'te çalışma alanları, Azure IR'yi kullanırken yönetilen sanal ağdan giden trafiği sınırlama seçeneklerine sahiptir. Data Factory'de, Azure IR kullanılırken tüm bağlantı noktaları giden iletişimler için açılır. Azure-SSIS IR giden iletişim denetimleri sağlamak için sanal ağınızla tümleştirilebilir.

Azure tümleştirme çalışma zamanı

Azure tümleştirme çalışma zamanı şunları yapabilir:

  • Azure'da Veri Akışlarını Çalıştırma
  • Bulut veri depoları arasında kopyalama etkinlikleri çalıştırma
  • Genel ağda şu dönüştürme etkinliklerini dağıtın: Databricks Not Defteri/ Jar/ Python etkinliği, HDInsight Hive etkinliği, HDInsight Pig etkinliği, HDInsight MapReduce etkinliği, HDInsight Spark etkinliği, HDInsight Akış etkinliği, ML Studio (klasik) Batch Yürütme etkinliği, ML Studio (klasik) Kaynak Etkinliklerini Güncelleştirme, Saklı Yordam etkinliği, Data Lake Analytics U-SQL etkinliği, .NET özel etkinliği, Web etkinliği, Arama etkinliği ve Meta Verileri Al etkinliği.

Azure IR ağ ortamı

Azure Integration Runtime, genel erişilebilir uç noktalarla veri depolarına ve işlem hizmetlerine bağlanmayı destekler. Yönetilen Sanal Ağı etkinleştiren Azure Integration Runtime, özel ağ ortamında özel bağlantı hizmeti kullanarak veri depolarına bağlanmayı destekler. Synapse'te, çalışma alanlarının IR tarafından yönetilen sanal ağdan giden trafiği sınırlama seçenekleri vardır. Data Factory'de tüm bağlantı noktaları giden iletişimler için açılır. Azure-SSIS IR giden iletişim denetimleri sağlamak için sanal ağınızla tümleştirilebilir.

Azure IR işlem kaynağı ve ölçeklendirme

Azure tümleştirme çalışma zamanı Azure'da tamamen yönetilebilen ve sunucusuz bir işlem sunar. Altyapı sağlama, yazılım yükleme, düzeltme eki uygulama veya kapasite ölçeklendirme konusunda endişelenmeniz gerekmez. Ayrıca yalnızca gerçekten kullandığınız süre boyunca ödeme yaparsınız.

Azure tümleştirme çalışma zamanı verileri bulut veri depoları arasında güvenli, güvenilir ve yüksek performanslı bir şekilde taşınması için gerekli yerel işlemi sunar. Kopyalama etkinliğinde kullanılacak veri tümleştirme birimi sayısını ayarlayabilirsiniz ve Azure IR'nin işlem boyutu, Azure Integration Runtime boyutunu açıkça ayarlamanıza gerek kalmadan esnek bir şekilde ölçeklendirilir.

Etkinlik dağıtma, etkinliği hedef işlem hizmetine yönlendirmeye yönelik basit bir işlemdir, bu nedenle bu senaryo için işlem boyutunu artırmaya gerek yoktur.

Azure IR oluşturma ve yapılandırma hakkında bilgi için bkz. Azure Integration Runtime oluşturma ve yapılandırma.

Not

Azure Tümleştirme çalışma zamanı, veri akışlarını çalıştırmak için kullanılacak temel işlem altyapısını tanımlayan Veri Akışı çalışma zamanıyla ilgili özelliklere sahiptir.

Kendinden konak tümleştirme çalışma zamanı

Kendinden konak IR şu özelliklere sahiptir:

  • Bulut veri depoları ve özel ağdaki veri deposu arasında kopyalama etkinliği çalıştırma.
  • Şirket içi veya Azure Sanal Ağındaki işlem kaynaklarına karşı aşağıdaki dönüştürme etkinliklerini dağıtma: HDInsight Hive etkinliği (BYOC-Kendi Kümenizi Getirin), HDInsight Pig etkinliği (BYOC), HDInsight MapReduce etkinliği (BYOC), HDInsight Spark etkinliği (BYOC), HDInsight Akış etkinliği (BYOC), ML Studio (klasik) Toplu Yürütme etkinliği, ML Studio (klasik) Kaynak etkinliklerini, Saklı Yordam etkinliğini, Data Lake Analytics U-SQL etkinliğini, Özel etkinliği (Azure Batch üzerinde çalışır), Arama etkinliğini ve Meta Verileri Al etkinliğini güncelleştirin.

Not

SAP Hana, MySQL gibi kendi sürücüsünü getir gerektiren veri depolarını desteklemek için şirket içi barındırılan tümleştirme çalışma zamanını kullanın. Daha fazla bilgi için bkz . desteklenen veri depoları.

Not

Java Çalışma Zamanı Ortamı (JRE), Şirket İçinde Barındırılan IR'nin bağımlılığıdır. Lütfen JRE'nin aynı ana bilgisayarda yüklü olduğundan emin olun.

Kendinden konak IR ağ ortamı

Veri tümleştirmesini, genel bulut ortamından doğrudan görüş hattı olmayan özel bir ağ ortamında güvenli bir şekilde gerçekleştirmek istiyorsanız, şirket içi ortamınıza bir güvenlik duvarının arkasında veya sanal özel ağın içine şirket içinde barındırılan bir IR yükleyebilirsiniz. Şirket içi barındırılan tümleştirme çalışma zamanı yalnızca İnternet'e giden HTTP tabanlı bağlantılar yapar.

Kendinden konak IR işlem kaynağı ve ölçeklendirme

Şirket içi makineye veya özel ağ içindeki bir sanal makineye Şirket içinde barındırılan bir IR yükleyin. Şu anda şirket içinde barındırılan IR yalnızca Windows bir işletim sisteminde desteklenmektedir.
Yüksek kullanılabilirlik ve ölçeklenebilirlik için kendinden konak IR ölçeğini mantıksal örneği birden fazla şirket içi makineyle etkin-etkin modda ilişkilendirerek genişletebilirsiniz. Daha fazla bilgi için şirket içinde barındırılan IR oluşturma ve yapılandırma makalesine bakın.

Azure SSIS tümleştirmesi çalışma zamanı

Var olan SSIS iş yükünü artırmak ve değiştirmek için Azure-SSIS IR oluşturarak SSIS paketlerini yerel ortamda yürütebilirsiniz.

Azure-SSIS IR ağ ortamı

Azure-SSIS IR genel ağda veya özel ağda sağlanabilir. Şirket içi veri erişimi, Azure-SSIS IR şirket içi ağınıza bağlı bir sanal ağa birleştirilerek desteklenir.

Azure-SSIS IR işlem kaynağı ve ölçeklendirme

Azure-SSIS IR, SSIS paketlerinizi çalıştırmak için ayrılmış tam olarak yönetilen bir Azure VM kümesidir. SSIS projeleri/paketleri kataloğu (SSISDB) için kendi Azure SQL Veritabanı veya SQL Yönetilen Örneği getirebilirsiniz. Düğüm boyutunu belirttikten sonra kümedeki düğüm sayısını belirtik ölçeğini genişleterek işlem gücünü artırabilirsiniz. Azure-SSIS Integration Runtime çalıştırma maliyetini, gereksinimleriniz doğrultusunda durdurup başlatarak yönetebilirsiniz.

Daha fazla bilgi için bkz. Azure-SSIS IR oluşturma ve yapılandırma. Oluşturulduktan sonra, şirket içi SSIS'yi kullanmak gibi SQL Server Veri Araçları (SSDT) ve SQL Server Management Studio (SSMS) gibi tanıdık araçları kullanarak mevcut SSIS paketlerinizi çok az değişiklikle veya hiç değişiklik olmadan dağıtabilir ve yönetebilirsiniz.

Azure-SSIS çalışma zamanı hakkında daha fazla bilgi için aşağıdaki makalelere bakın:

  • Öğretici: SSIS paketlerini Azure’a dağıtma. Bu makalede, Azure-SSIS IR oluşturmak için adım adım yönergeler sağlanır ve SSIS kataloğunu barındırmak için bir Azure SQL Veritabanı kullanılır.
  • Nasıl yapılır: Azure-SSIS tümleştirme çalışma zamanı oluşturma. Bu makale öğreticiyi genişletir ve SQL Yönetilen Örneği kullanma ve IR'yi bir sanal ağa ekleme hakkında yönergeler sağlar.
  • Azure-SSIS IR’yi izleme. Bu makalede, bir Azure-SSIS IR hakkındaki bilgileri nasıl alabileceğiniz gösterilir ve döndürülen bilgilerde durumların açıklamaları sağlanır.
  • Azure-SSIS IR’yi yönetme. Bu makale bir Azure-SSIS IR’yi durdurma, başlatma veya kaldırma işlemini gösterir. Ayrıca, IR’ye daha fazla düğüm ekleyerek Azure-SSIS IR’nizi ölçeklendirmeyi gösterir.
  • Azure-SSIS IR’yi bir sanal ağa ekleyin. Bu makale Azure-SSIS IR’yi bir Azure sanal ağına ekleme hakkında kavramsal bilgiler sağlar. Ayrıca bir sanal ağı yapılandırmak ve bir Azure-SSIS IR birleştirmek için Azure portal kullanma adımlarını da sağlar.

Tümleştirme çalışma zamanının konumu

Fabrika konumu ile IR konumu arasındaki ilişki

Data Factory veya Synapse Çalışma Alanı örneği oluşturduğunuzda, konumunu belirtmeniz gerekir. Örneğin meta verileri burada depolanır ve işlem hattının tetiklenmesi buradan başlatılır. Meta veriler yalnızca seçilen bölgede depolanır ve diğer bölgelerde depolanmaz.

Bu arada işlem hattı, veri depoları arasında veri taşımak veya işlem hizmetlerini kullanarak verileri işlemek için diğer Azure bölgelerindeki veri depolarına ve işlem hizmetlerine erişebilir. Bu davranış veri uyumluluğu, verimlilik ve düşük ağ kullanım maliyetleri için global ölçekte kullanılabilen IR aracılığıyla gerçekleştirilir.

IR Konumu, arka uç işleminin konumunu ve veri taşıma, etkinlik gönderme ve SSIS paketi yürütme işlemlerinin gerçekleştirildiği konumu tanımlar. IR konumu, ait olduğu Data Factory konumundan farklı olabilir.

Azure IR konumu

Azure IR'nin konum bölgesini ayarlayabilirsiniz; bu durumda etkinlik yürütme veya dağıtma işlemi seçili bölgede gerçekleşir.

Varsayılan ayar, genel ağda Azure IR'yi otomatik olarak çözümlemektir. Bu seçenekle:

  • Kopyalama etkinliği için havuz veri deponuzun konumunu otomatik olarak algılamak, ardından IR'yi varsa aynı bölgede veya aynı coğrafyadaki en yakın bölgede (aksi takdirde) kullanmak için en iyi çaba gösterilir; Havuz veri deposunun bölgesi algılanamazsa, bunun yerine örneğin bölgesindeki IR kullanılır.

    Örneğin, Doğu ABD'de bir Data Factory veya Synapse Çalışma Alanı oluşturulmuştur.

    • Verileri Batı ABD'deki bir Azure Blob'a kopyalarken blob'un Batı ABD bölgesinde olduğu algılanırsa kopyalama etkinliği Batı ABD'deki IR üzerinde yürütülür; Bölge algılama başarısız olursa kopyalama etkinliği Doğu ABD'deki IR'de yürütülür.
    • Bölge algılanamayan Salesforce veri kopyalarken kopyalama etkinliği Doğu ABD'deki IR üzerinde yürütülür.

    İpucu

    Katı veri uyumluluğu gereksinimleriniz varsa ve verilerin belirli bir coğrafyadan ayrılmadığından emin olmanız gerekiyorsa, ConnectVia özelliğini kullanarak belirli bir bölgede açıkça bir Azure IR oluşturabilir ve Bağlı Hizmeti bu IR'ye işaret edebilirsiniz. Örneğin, Güney Birleşik Krallık'taki bir blobdan Güney Birleşik Krallık'taki bir Azure Synapse çalışma alanına veri kopyalamak ve verilerin Birleşik Krallık'tan ayrılmamasını sağlamak istiyorsanız, Güney Birleşik Krallık'ta bir Azure IR oluşturun ve her iki Bağlı Hizmeti de bu IR'ye bağlayın.

  • Arama/GetMetadata/Silme etkinliği yürütmesi (İşlem hattı etkinlikleri), dönüştürme etkinliği gönderme (Dış etkinlikler) ve yazma işlemleri (test bağlantısı, klasör listesine ve tablo listesine göz atma ve önizleme verileri) için Data Factory veya Synapse Çalışma Alanı ile aynı bölgedeki IR kullanılır.

  • Veri Akışı için Data Factory veya Synapse Çalışma Alanı bölgesindeki IR kullanılır.

    İpucu

    En iyi yöntem, mümkün olduğunda veri akışlarının ilgili veri depolarınızla aynı bölgede çalıştığından emin olmaktır. Bunu Azure IR için otomatik çözümle (veri deposu konumu Data Factory veya Synapse Çalışma Alanı konumuyla aynıysa) veya veri depolarınızla aynı bölgede yeni bir Azure IR örneği oluşturup veri akışlarını yürüterek elde edebilirsiniz.

Azure IR için otomatik çözümle Yönetilen Sanal Ağ'ı etkinleştirirseniz Data Factory veya Synapse Çalışma Alanı bölgesindeki IR kullanılır.

Data Factory Studio veya Synapse Studio veya etkinlik izleme yükünde işlem hattı etkinliği izleme görünümünde etkinlik yürütme sırasında hangi IR konumunun etkili olduğunu izleyebilirsiniz.

Kendinden konak IR konumu

Şirket içi barındırılan IR mantıksal olarak Data Factory'ye veya Synapse Çalışma Alanına kaydedilir ve işlevlerini desteklemek için kullanılan işlem sizin tarafınızdan sağlanır. Bu nedenle kendinden konak IR için açık bir konum özelliği yoktur.

Kendinden konak IR veri taşıma işlemini gerçekleştirmek için kullanıldığında kaynaktan veri ayıklar ve hedefe yazar.

Azure SSIS IR konumu

Not

Azure-SSIS tümleştirme çalışma zamanları şu anda Synapse işlem hatlarında desteklenmemektedir.

Ayıklama, dönüştürme, yükleme (ETL) iş akışlarınızda yüksek performansa ulaşmak için doğru Azure-SSIS IR konumunu seçmek önemlidir.

  • Azure-SSIS IR konumunun Data Factory'nizin konumuyla aynı olması gerekmez, ancak kendi Azure SQL Veritabanı veya SSISDB'nin bulunduğu SQL Yönetilen Örneği konumuyla aynı olmalıdır. Bu şekilde, Azure-SSIS Integration Runtime farklı konumlar arasında aşırı trafik oluşmadan SSISDB'ye kolayca erişebilir.
  • Mevcut bir SQL Veritabanı veya SQL Yönetilen Örneği yoksa, ancak şirket içi veri kaynaklarınız/hedefleriniz varsa, şirket içi ağınıza bağlı bir sanal ağın aynı konumunda yeni bir Azure SQL Veritabanı veya SQL Yönetilen Örneği oluşturmanız gerekir. Bu şekilde, yeni Azure SQL Veritabanı veya SQL Yönetilen Örneği kullanarak Azure-SSIS IR oluşturabilir ve bu sanal ağa katılabilirsiniz. Her şey aynı konumda olacak, veri taşımayı ve ilişkili maliyetleri en aza indirirken performansı en üst düzeye çıkarır.
  • Mevcut Azure SQL Veritabanı veya SQL Yönetilen Örneği konumu şirket içi ağınıza bağlı bir sanal ağın konumuyla aynı değilse, önce mevcut bir Azure SQL Veritabanı kullanarak Azure-SSIS IR oluşturun veya SQL Yönetilen Örneği ve aynı konumdaki başka bir sanal ağa katılın. Ardından, farklı konumlar arasındaki sanal ağ bağlantısına bir sanal ağ yapılandırın.

Aşağıdaki diyagramda Data Factory ve tümleştirme çalışma zamanları için konum ayarları gösterilmektedir:

Shows Data Factory integration runtime locations.

Kullanılacak IR'yi belirleme

Bir etkinlik birden fazla tümleştirme çalışma zamanı türüyle ilişkilendirildiyse, bunlardan birine çözümlenir. Şirket içinde barındırılan tümleştirme çalışma zamanı, yönetilen bir sanal ağ kullanan Azure Data Factory veya Synapse Çalışma Alanı örneklerindeki Azure tümleştirme çalışma zamanına göre önceliklidir. İkincisi ise genel Azure tümleştirme çalışma zamanına göre önceliklidir.

Örneğin, kaynaktan havuza veri kopyalamak için bir kopyalama etkinliği kullanılır. Genel Azure tümleştirme çalışma zamanı, kaynakla bağlantılı hizmetle ve Azure Data Factory yönetilen bir sanal ağdaki Azure tümleştirme çalışma zamanıyla ilişkilendirilir ve havuz için bağlı hizmetle ilişkilendirilir. Bunun sonucunda hem kaynak hem de havuz bağlantılı hizmetler, yönetilen Azure Data Factory sanal ağdaki Azure tümleştirme çalışma zamanını kullanır. Ancak şirket içinde barındırılan tümleştirme çalışma zamanı kaynak için bağlı hizmeti ilişkilendirirse, hem kaynak hem de havuz bağlantılı hizmeti şirket içinde barındırılan tümleştirme çalışma zamanını kullanır.

Kopyalama etkinliği

Kopyalama etkinliği, veri akışının yönünü tanımlamak için hem kaynak hem de havuz bağlantılı hizmetleri gerektirir. Kopyalama işlemini gerçekleştirmek için kullanılacak olan tümleştirme çalışma zamanı örneğini belirlemek için aşağıdaki mantık kullanılır:

  • İki bulut veri kaynağı arasında kopyalama: Hem kaynak hem de havuza bağlı hizmetler Azure IR kullanıyorsa, bölgesel Azure IR belirtilirse kullanılır veya Azure IR'nin konumu, Tümleştirme çalışma zamanı konumu bölümünde açıklandığı gibi IR'yi otomatik çözümle (varsayılan) seçeneğinin belirlenip belirlenmediğini otomatik olarak belirler.
  • Bulut veri kaynağı ile özel ağdaki bir veri kaynağı arasında kopyalama: Kaynak veya havuz bağlantılı hizmet şirket içinde barındırılan bir IR'ye işaret ederse, kopyalama etkinliği şirket içinde barındırılan IR üzerinde yürütülür.
  • Özel ağdaki iki veri kaynağı arasında kopyalama: hem kaynak hem de havuz bağlantılı hizmeti tümleştirme çalışma zamanının aynı örneğine işaret etmelidir ve kopyalama etkinliğini yürütmek için IR kullanılır.

Lookup ve GetMetadata etkinliği

Lookup ve GetMetadata etkinliği, veri deposu bağlı hizmetiyle ilişkili tümleştirme çalışma zamanı üzerinde yürütülür.

Dış dönüştürme etkinliği

Dış işlem altyapısı kullanan her dış dönüştürme etkinliğinin bir tümleştirme çalışma zamanına işaret eden bir hedef işlem bağlı hizmeti vardır. Bu IR örneği, bu dış elle kodlanmış dönüştürme etkinliğinin gönderildiği konumu belirler.

Veri Akışı etkinliği

Veri Akışı etkinlikleri ilişkili Azure tümleştirme çalışma zamanında yürütülür. Veri Akışları tarafından kullanılan Spark işlem, Azure IR'nizdeki veri akışı özellikleri tarafından belirlenir ve tam olarak hizmet tarafından yönetilir.

CI/CD'de Integration Runtime

Tümleştirme çalışma zamanları sık değişmez ve CI/CD'nizdeki tüm aşamalarda benzerdir. Data Factory, CI/CD'nin tüm aşamalarında aynı tümleştirme çalışma zamanı adına ve türüne sahip olmanız gerekir. Tümleştirme çalışma zamanlarını tüm aşamalarda paylaşmak istiyorsanız, yalnızca paylaşılan tümleştirme çalışma zamanlarını içermek için ayrılmış bir fabrika kullanmayı göz önünde bulundurun. Daha sonra bu paylaşılan fabrikayı tüm ortamlarınızda bağlı tümleştirme çalışma zamanı türü olarak kullanabilirsiniz.

Sonraki adımlar

Aşağıdaki makalelere bakın: