Azure Data Factory'deki tümleştirme çalışma zamanı

GEÇERLİ OLDUĞU YERLER: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Eğer veri tümleştirmeye yeni başladıysanız, Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Integration Runtime (IR), Farklı ağ ortamlarında aşağıdaki veri tümleştirme özelliklerini sağlamak için Azure Data Factory ve Azure Synapse işlem hatları tarafından kullanılan işlem altyapısıdır:

  • Veri Akışı: Yönetilen bir Azure işlem ortamında bir Veri Akışı yürütün.
  • Veri taşıma: Verileri ortak veya özel bir ağdaki veri depoları arasında kopyalayın (hem şirket içi hem de sanal özel ağlar için). Hizmet yerleşik bağlayıcılar, biçim dönüştürme, sütun eşleme ve yüksek performanslı ve ölçeklenebilir veri aktarımı için destek sağlar.
  • Etkinlik dağıtımı: Azure Databricks, Azure HDInsight, ML Studio (klasik), Azure SQL Veritabanı, SQL Server ve daha fazlası gibi çeşitli işlem hizmetlerinde çalışan dönüştürme etkinliklerini dağıtma ve izleme.
  • SSIS paketi yürütme: SQL Server Integration Services (SSIS) paketlerini yönetilen bir Azure işlem ortamında yerel olarak yürütün.

Data Factory ve Synapse işlem hatlarında bir etkinlik gerçekleştirilecek eylemi tanımlar. Bağlı hizmet, bir hedef veri deposunu veya işlem hizmetini tanımlar. Tümleştirme çalışma zamanı, etkinlikler ve bağlı hizmetler arasında köprü sağlar. Bağlı hizmet veya aktivite, aktivitenin doğrudan çalıştırıldığı veya başka bir yere yönlendirildiği işlem ortamına atıfta bulunur ve bu ortamı sağlar. Bu ilişkilendirme, performansı en üst düzeye çıkarmak için etkinliğin hedef veri deposuna veya işlem hizmetine mümkün olan en yakın bölgede gerçekleştirilmesini sağlarken, güvenlik ve uyumluluk gereksinimlerini karşılama esnekliği de sağlar.

Tümleştirme çalışma zamanları, yönetim hub'ı üzerinden doğrudan ve/veya bunlara başvuran herhangi bir etkinlikten, veri kümesinden veya veri akışından Azure Data Factory ve Azure Synapse kullanıcı arabiriminde oluşturulabilir.

Tümleştirme çalışma zamanı türleri

Data Factory üç tür Integration Runtime (IR) sunar ve veri tümleştirme özelliklerinize ve ağ ortamı gereksinimlerinize en uygun türü seçmeniz gerekir. Üç IR türü şunlardır:

  • Azure
  • Kendi sunucusunda barındırılan
  • Azure-SSIS

Not

Synapse işlem hatları şu anda yalnızca Azure veya kendi barındırdığı tümleştirme çalışma zamanlarını desteklemektedir.

Aşağıdaki tabloda tümleştirme çalışma zamanı türlerinin her birinin sunduğu özellikler ve ağ desteği açıklanmaktadır:

IR türü Genel Ağ Desteği Özel Bağlantı Desteği
Azure Veri Akışı
Veri taşıma
Etkinlik gönderimi		 Veri Akışı
Veri taşıma
Etkinlik gönderimi
Kendi sunucusunda barındırılan Veri taşıma
Etkinlik gönderimi		 Veri taşıma
Etkinlik gönderimi
Azure-SSIS SSIS paketi yürütme SSIS paketi yürütme

Not

Giden denetimler Azure IR hizmetine göre farklılık gösterir. Synapse'te çalışma alanları, Azure IR'yi kullanırken yönetilen sanal ağdan giden trafiği sınırlama seçeneklerine sahiptir. Data Factory'de, Azure IR kullanılırken tüm bağlantı noktaları giden iletişimler için açılır. Azure-SSIS IR, sanal ağınıza giden iletişim denetimlerini entegre etmek için kullanılabilir.

Azure tümleştirme çalışma zamanı

Azure tümleştirme çalışma zamanı şunları yapabilir:

  • Azure'da Veri Akışı çalıştırma
  • Bulut veri depoları arasında kopyalama etkinliklerini çalıştırma
  • Genel ağda aşağıdaki dönüştürme etkinliklerini dağıtın:
    • .NET özel etkinliği
    • Azure İşlevi etkinliği
    • Databricks Notebook/ Jar/ Python aktivitesi
    • Data Lake Analytics U-SQL etkinliği
    • Meta Veri Alma Etkinliği
    • HDInsight Hive etkinliği
    • HDInsight Pig etkinliği
    • HDInsight MapReduce etkinliği
    • HDInsight Spark etkinliği
    • HDInsight Akış etkinliği
    • Arama etkinliği
    • Machine Learning Studio (klasik) Toplu Yürütme etkinliği
    • Machine Learning Studio (klasik) Kaynak Güncelleştirme etkinliği
    • Depolanan Yordam etkinliği
    • Doğrulama etkinliği
    • Web etkinliği

Azure IR ağ ortamı

Azure Integration Runtime, genel erişilebilir uç noktalarla veri depolarına ve işlem hizmetlerine bağlanmayı destekler. Yönetilen Sanal Ağ etkinleştirdiğinizde, Azure Integration Runtime özel ağ ortamında özel bağlantı hizmeti kullanarak veri depolarına bağlanmayı destekler. Synapse'te, çalışma alanlarının IR tarafından yönetilen sanal ağdan giden trafiği sınırlama seçenekleri vardır. Data Factory'de tüm giden iletişimler için bağlantı noktaları açılır. Azure-SSIS IR, sanal ağınızla tümleştirilerek giden iletişim denetimlerini sağlayabilir.

Azure IR işlem kaynağı ve ölçeklendirme

Azure tümleştirme çalışma zamanı Azure'da tamamen yönetilebilen ve sunucusuz bir işlem sunar. Altyapı sağlama, yazılım yükleme, düzeltme eki uygulama veya kapasite ölçeklendirme konusunda endişelenmeniz gerekmez. Buna ek olarak, yalnızca gerçek kullanım sırasında ödeme alırsınız.

Azure tümleştirme çalışma zamanı, bulut veri depoları arasında verileri güvenli, güvenilir ve yüksek performanslı bir şekilde taşımak için gerekli doğal işlemeyi sağlar. Kopyalama etkinliğinde kullanılacak veri tümleştirme birimi sayısını ayarlayabilirsiniz ve Azure IR'nin işlem boyutu, Azure Integration Runtime'ın boyutunu açıkça ayarlamanıza gerek kalmadan esnek bir şekilde ölçeklendirilir.

Etkinlik gönderimi, etkinliği hedef işlem hizmetine yönlendirmeye yönelik basit bir işlemdir, bu nedenle bu senaryo için işlem boyutunu artırmaya gerek yoktur.

Azure IR oluşturma ve yapılandırma hakkında bilgi için Azure Integration Runtime'ı nasıl oluşturulur ve yapılandırılır bölümüne bakın.

Not

Azure Tümleştirme çalışma zamanı, veri akışlarını çalıştırmak için kullanılacak temel işlem altyapısını tanımlayan Veri Akışı çalışma zamanıyla ilgili özelliklere sahiptir.

Kendinden barındırmalı integration runtime

Kendi kendine barındırılan IR şu özelliklere sahiptir:

  • Bulut veri depoları ve özel ağdaki veri deposu arasında kopyalama etkinliği çalıştırma.
  • Şirket içi veya Azure Sanal Ağ işlem kaynaklarına karşı aşağıdaki dönüştürme etkinliklerini dağıtma:
    • Azure İşlevi etkinliği
    • Özel etkinlik (Azure Batch üzerinde çalışır)
    • Data Lake Analytics U-SQL etkinliği
    • Meta Veri Alma Etkinliği
    • HDInsight Hive etkinliği (BYOC-Kendi Kümenizi Getirin)
    • HDInsight Pig etkinliği (BYOC)
    • HDInsight MapReduce etkinliği (BYOC)
    • HDInsight Spark etkinliği (BYOC)
    • HDInsight Streaming etkinliği (BYOC)
    • Arama etkinliği
    • Machine Learning Studio (klasik) Toplu Yürütme etkinliği
    • Machine Learning Studio (klasik) Kaynak Güncelleştirme etkinliği
    • Machine Learning İşlem Hattı Çalıştırma etkinliği
    • Depolanan Yordam etkinliği
    • Doğrulama etkinliği
    • Web etkinliği

Not

SAP Hana, MySQL gibi kendi sürücünüzü getirmenizi gerektiren veri depolarını desteklemek için kendi kendine barındırılan tümleştirme çalışma zamanını kullanın ve daha fazla bilgi için bkz Desteklenen veri depoları.

Not

Java Çalışma Zamanı Ortamı (JRE), Kendi Sunucu İçi Barındırılan IR'nin bir bağımlılığıdır. JRE'nin aynı makinede yüklü olduğundan emin olun.

Öz barındırmalı IR ağ ortamı

Özel bir ağ ortamında, genel bulut ortamından doğrudan bağlantı olmadan veri tümleştirmesini güvenli bir şekilde gerçekleştirmek istiyorsanız, şirket içi ortamınıza bir güvenlik duvarının arkasında veya sanal özel ağ içinde yerleştirilmiş bir kendi kendini barındıran IR yükleyebilirsiniz. Kendi kendine barındırılan tümleştirme çalışma zamanı yalnızca internete HTTP tabanlı giden bağlantılar oluşturur.

Kendinden konak IR işlem kaynağı ve ölçeklendirme

Yerinde bir makineye veya özel ağ içindeki sanal bir makineye yerel olarak barındırılan bir IR yükleyin. Şu anda yerel olarak barındırılan IR, yalnızca Windows işletim sistemi üzerinde desteklenmektedir. Yüksek kullanılabilirlik ve ölçeklenebilirlik için self-hosted IR'yi mantıksal örneği etkin-etkin modda birden fazla yerel makineyle ilişkilendirerek genişletebilirsiniz. Daha fazla bilgi için, kendin barındırdığın bir IR oluşturma ve yapılandırma makalesine bakın.

Azure-SSIS Entegrasyon Çalışma Zamanı

Var olan SSIS iş yükünü artırmak ve değiştirmek için Azure-SSIS IR oluşturarak SSIS paketlerini yerel ortamda yürütebilirsiniz.

Azure-SSIS IR ağ ortamı

Azure-SSIS IR genel ağda veya özel ağda sağlanabilir. Şirket içi veri erişimi, Azure-SSIS IR'yi şirket içi ağınıza bağlı bir sanal ağa birleştirerek desteklenir.

Azure-SSIS IR işlem kaynağı ve ölçeklendirme

Azure-SSIS IR, SSIS paketlerinizi çalıştırmaya ayrılmış, tam olarak yönetilen bir Azure VM kümesidir. SSIS projeleri/paketleri kataloğu (SSISDB) için kendi Azure SQL Veritabanı veya SQL Yönetilen Örneği getirebilirsiniz. Kümedeki düğüm boyutunu ve düğüm sayısını belirterek işlem gücünü artırabilir ve ölçeğini genişletebilirsiniz. Azure-SSIS Integration Runtime çalıştırma maliyetini, gereksinimleriniz doğrultusunda durdurup başlatarak yönetebilirsiniz.

Daha fazla bilgi için bkz . Azure-SSIS IR'yi oluşturma ve yapılandırma. Oluşturulduktan sonra, aynı şirket içi SSIS kullanımı gibi SQL Server Veri Araçları (SSDT) ve SQL Server Management Studio (SSMS) gibi tanıdık araçları kullanarak mevcut SSIS paketlerinizi çok az veya hiç değişiklik olmadan dağıtabilir ve yönetebilirsiniz.

Azure-SSIS çalışma zamanı hakkında daha fazla bilgi için aşağıdaki makalelere bakın:

  • Öğretici: SSIS paketlerini Azure’a dağıtma. Bu makale, Azure-SSIS IR oluşturmaya yönelik adım adım yönergeler sağlar ve SSIS kataloğunu barındırmak için bir Azure SQL Veritabanı kullanır.
  • Nasıl yapılır: Azure-SSIS tümleştirme çalışma zamanı oluşturma. Bu makale kılavuzu genişletir ve SQL Yönetilen Örneği kullanma ve IR'yi bir sanal ağa bağlama talimatlarını sağlar.
  • Azure-SSIS IR’yi izleme. Bu makalede, Azure-SSIS IR hakkındaki bilgileri nasıl alabileceğiniz gösterilir ve döndürülen bilgilerde durumların açıklamaları sağlanır.
  • Azure-SSIS IR’yi yönetme. Bu makale bir Azure-SSIS IR’yi durdurma, başlatma veya kaldırma işlemini gösterir. Ayrıca, IR’ye daha fazla düğüm ekleyerek Azure-SSIS IR’nizi ölçeklendirmeyi gösterir.
  • Azure-SSIS IR’yi bir sanal ağa ekleyin. Bu makale Azure-SSIS IR’yi bir Azure sanal ağına ekleme hakkında kavramsal bilgiler sağlar. Ayrıca bir sanal ağ yapılandırmak ve bir Azure-SSIS IR'yi buna eklemek için Azure portalını kullanma adımları sağlar.

Tümleştirme çalışma zamanının konumu

Fabrika konumu ile IR konumu arasındaki ilişki

Data Factory veya Synapse Çalışma Alanı örneği oluşturduğunuzda, konumunu belirtmeniz gerekir. Örneğin meta verileri burada depolanır ve işlem hattının tetiklenmesi buradan başlatılır. Meta veriler yalnızca seçilen bölgede depolanır ve diğer bölgelerde depolanmaz.

Bu arada işlem hattı, veri depoları arasında veri taşımak veya işlem hizmetlerini kullanarak verileri işlemek için diğer Azure bölgelerindeki veri depolarına ve işlem hizmetlerine erişebilir. Bu davranış veri uyumluluğu, verimlilik ve düşük ağ kullanım maliyetleri için global ölçekte kullanılabilen IR aracılığıyla gerçekleştirilir.

IR Konumu, arka uç işleminin konumunu ve veri taşıma, etkinlik gönderme ve SSIS paketi yürütme işlemlerinin gerçekleştirildiği konumu tanımlar. IR konumu, ait olduğu Data Factory konumundan farklı olabilir.

Azure IR konumu

Azure IR'nin konum bölgesini ayarlayabilirsiniz; bu durumda etkinlik yürütme veya dağıtma işlemi seçili bölgede gerçekleşir.

Varsayılan ayar, azure IR'yi genel ağda otomatik olarak çözümlemektir. Bu seçenekle:

  • Kopyalama etkinliği için havuz veri deponuzun konumunu otomatik olarak algılamak, ardından varsa aynı bölgede veya aynı coğrafyadaki en yakın bölgede IR kullanmak için en iyi çaba gösterilir; aksi takdirde; havuz veri deposunun bölgesi algılanamıyorsa, örneğin bölgesindeki IR kullanılır.

    Örneğin, Doğu ABD'de bir Data Factory veya Synapse Çalışma Alanı oluşturulmuştur.

    • Verileri Batı ABD'deki bir Azure Blob'a kopyaladığınızda, blob Batı ABD bölgesinde olduğu algılanırsa, kopyalama etkinliği Batı ABD'deki IR üzerinde yürütülür; bölge algılama başarısız olursa kopyalama etkinliği Doğu ABD'deki IR'de yürütülür.
    • Salesforce'a veri kopyaladığınızda, bölge algılanamıyorsa kopyalama etkinliği Doğu ABD'deki IR'de yürütülür.

    İpucu

    Katı veri uyumluluğu gereksinimleriniz varsa ve verilerin belirli bir coğrafyadan ayrılmadığından emin olmanız gerekiyorsa, ConnectVia özelliğini kullanarak belirli bir bölgede açıkça bir Azure IR oluşturabilir ve Bağlı Hizmeti bu IR'ye işaret edebilirsiniz. Örneğin, Güney Birleşik Krallık'taki bir blobdan Güney Birleşik Krallık'taki bir Azure Synapse çalışma alanına veri kopyalamak ve verilerin Birleşik Krallık'tan ayrılmadığından emin olmak istiyorsanız, Güney Birleşik Krallık'ta bir Azure IR oluşturun ve her iki Bağlı Hizmeti de bu IR'ye bağlayın.

  • Arama etkinliği/GetMetadata/Delete etkinliği yürütmesi (İşlem hattı etkinlikleri), dönüştürme etkinliği gönderme (Dış etkinlikler) ve yazma işlemleri (test bağlantısı, klasör listesine göz atma, tablo listesine göz atma, verileri önizleme) için Data Factory veya Synapse Çalışma Alanı ile aynı bölgedeki IR kullanılır.

  • Veri Akışı için Data Factory veya Synapse Çalışma Alanı bölgesindeki IR kullanılır.

    İpucu

    En iyi yöntem, mümkün olduğunda veri akışlarının ilgili veri depolarınızla aynı bölgede çalıştığından emin olmaktır. Bunu Azure IR için otomatik çözümle (veri deposu konumu Data Factory veya Synapse Çalışma Alanı konumuyla aynıysa) veya veri depolarınızla aynı bölgede yeni bir Azure IR örneği oluşturup veri akışlarını yürüterek gerçekleştirebilirsiniz.

Azure IR için, otomatik çözümlemeli Yönetilen Sanal Ağı etkinleştirirseniz, Data Factory veya Synapse Çalışma Alanı bölgesindeki IR kullanılır.

Data Factory Studio veya Synapse Studio'da işlem hattı etkinlik izleme görünümünde veya etkinlik izleme yükünde etkinlik yürütme sırasında hangi IR konumunun etkili olduğunu izleyebilirsiniz.

Kendinden barındırılan IR konumu

Şirket içinde barındırılan IR, Data Factory veya Synapse Çalışma Alanı'na mantıksal olarak kaydedilir ve işlevlerini destekleyen işlem gücü sizin tarafınızdan sağlanır. Bu nedenle yerinde barındırılan IR için belirgin bir konum özelliği yoktur.

Öz barındırılan IR, veri taşıma işlemi için kullanıldığında, kaynaktan veriyi ayıklar ve hedefe yazar.

Azure SSIS IR konumu

Not

Azure-SSIS tümleştirme çalışma zamanları şu anda Synapse işlem hatlarında desteklenmemektedir.

Ayıklama, dönüştürme, yükleme (ETL) iş akışlarınızda yüksek performansa ulaşmak için doğru Azure-SSIS IR konumunu seçmek önemlidir.

  • Azure-SSIS IR'nizin konumunun Data Factory'nizin konumuyla aynı olması gerekmez, ancak kendi Azure SQL Veritabanı veya SSISDB'nin bulunduğu SQL Yönetilen Örneği konumuyla aynı olmalıdır. Bu şekilde, Azure-SSIS Integration Runtime'ınız farklı konumlar arasında aşırı trafiğe neden olmadan SSISDB'ye kolayca erişebilir.
  • Mevcut bir SQL Veritabanı veya SQL Yönetilen Örneği yoksa ancak şirket içi veri kaynaklarınız/hedefleriniz varsa, şirket içi ağınıza bağlı bir sanal ağın aynı konumunda yeni bir Azure SQL Veritabanı veya SQL Yönetilen Örneği oluşturmanız gerekir. Bu şekilde yeni Azure SQL Veritabanı veya SQL Yönetilen Örneği kullanarak Azure-SSIS IR'nizi oluşturabilir ve bu sanal ağa katılabilirsiniz. Her şey aynı konumdadır, veri taşımayı ve ilişkili maliyetleri en aza indirirken performansı da en üst düzeye çıkarır.
  • Mevcut Azure SQL Veritabanı veya SQL Yönetilen Örneği konumu, şirket içi ağınıza bağlı bir sanal ağın konumuyla aynı değilse, önce mevcut bir Azure SQL Veritabanı veya SQL Yönetilen Örneği kullanarak Azure-SSIS IR'nizi oluşturun ve aynı konumda başka bir sanal ağa katılın. Ardından, farklı konumlar arasındaki sanal ağ bağlantısına bir sanal ağ yapılandırın.

Aşağıdaki diyagramda Data Factory ve tümleştirme çalışma zamanları için konum ayarları gösterilmektedir:

Data Factory tümleştirme çalışma zamanı konumlarını gösterir.

Kullanılacak IR'yi belirleme

Bir etkinlik birden fazla tümleştirme çalışma zamanı türüyle ilişkilendirildiğinde, bunlardan biri olarak çözümlenir. Kendinden barındırılan tümleştirme çalışma zamanı, yönetilen bir sanal ağ kullanarak Azure Data Factory veya Synapse Workspace örneklerinde Azure tümleştirme çalışma zamanına kıyasla öncelik taşır. İkincisi ise genel Azure tümleştirme çalışma zamanına göre önceliklidir.

Örneğin, kaynaktan havuza veri kopyalamak için bir kopyalama etkinliği kullanılır. Genel Azure tümleştirme çalışma zamanı, kaynağa bağlı hizmetle ilişkilendirilir ve Azure Data Factory yönetilen bir sanal ağdaki Azure tümleştirme çalışma zamanı havuz için bağlı hizmetle ilişkilendirilir ve sonuç olarak hem kaynak hem de havuz bağlantılı hizmetleri Azure Data Factory tarafından yönetilen sanal ağda Azure tümleştirme çalışma zamanını kullanır. Ancak kaynak için bağlı hizmetle şirket içinde barındırılan tümleştirme çalışma zamanı ilişkilendirildiyse, hem kaynak hem de havuz bağlantılı hizmeti şirket içinde barındırılan tümleştirme çalışma zamanını kullanır.

Kopyalama etkinliği

Kopyalama etkinliği, veri akışının yönünü tanımlamak için hem kaynak hem de havuz bağlantılı hizmetler gerekir. Kopyalama işlemini gerçekleştirmek için kullanılacak olan tümleştirme çalışma zamanı örneğini belirlemek için aşağıdaki mantık kullanılır:

  • İki bulut veri kaynağı arasında kopyalama: Hem kaynak hem de uç bağlantılı hizmetler Azure IR kullanıyorsa, bölgesel Azure IR belirtilmişse bu kullanılır, ya da Tümleştirme çalışma zamanı konumu bölümünde açıklandığı gibi, otomatik çözümleme IR (varsayılan) seçeneği belirlendiğinde Azure IR'nin konumu otomatik olarak belirlenir.
  • Bulut veri kaynağı ile özel ağdaki veri kaynağı arasında kopyalama: Kaynak veya havuz bağlantılı hizmet şirket içinde barındırılan bir IR'ye işaret ederse, kopyalama etkinliği şirket içinde barındırılan IR'de yürütülür.
  • Özel ağdaki iki veri kaynağı arasında kopyalama: hem kaynak hem de havuz bağlantılı hizmeti tümleştirme çalışma zamanının aynı örneğine işaret etmelidir ve kopyalama etkinliğini yürütmek için IR kullanılır.

Lookup ve GetMetadata etkinliği

Lookup ve GetMetadata etkinliği, veri deposu bağlı hizmetiyle ilişkili tümleştirme çalışma zamanı üzerinde yürütülür.

Dış dönüştürme etkinliği

Dış işlem motorunu kullanan her dış dönüştürme etkinliğinin, bir tümleştirme çalışma zamanına işaret eden bir hedef işlem bağlantılı hizmeti vardır. Bu IR örneği, bu dış elle kodlanmış dönüştürme etkinliğinin gönderildiği konumu belirler.

Veri Akışı etkinliği

Veri Akışı etkinlikleri ilişkili Azure tümleştirme çalışma zamanında yürütülür. Azure IR'nizdeki veri akışı özellikleri, kullanılan Spark işlemini belirler ve hizmet tarafından tam olarak yönetilir.

CI/CD'de Integration Runtime

Tümleştirme çalışma zamanları sık değişmez ve CI/CD'nizdeki tüm aşamalarda benzerdir. Data Factory, CI/CD'nin tüm aşamalarında entegrasyon çalışma zamanı adının ve türünün aynı olmasını gerektirir. Tümleştirme çalışma zamanlarını tüm aşamalarda paylaşmak istiyorsanız, yalnızca paylaşılan tümleştirme çalışma zamanlarını içermek için ayrılmış bir fabrika kullanmayı göz önünde bulundurun. Daha sonra bu paylaşılan fabrikayı tüm ortamlarınızda bağlı tümleştirme çalışma zamanı türü olarak kullanabilirsiniz.

İlgili içerik

Aşağıdaki makalelere bakın:

  • Last updated on