Düzenle

Azure'da ana bilgisayar verilerini çoğaltma ve eşitleme

Azure Data Factory
Azure Databricks

Bu başvuru mimarisi, Azure'a modernleştirme sırasında verileri çoğaltmaya ve eşitlemeye yönelik bir uygulama planını özetler. Veri depoları, araçlar ve hizmetler gibi teknik yönleri ele alır.

Mimari

Architecture diagram showing how to sync on-premises and Azure databases during mainframe modernization.

Bu mimarinin bir Visio dosyasını indirin.

İş akışı

Ana bilgisayar ve orta ölçekli sistemler, şirket içi uygulama veritabanlarını düzenli aralıklarla güncelleştirir. Tutarlılığı korumak için çözüm, en son verileri Azure veritabanlarıyla eşitler. Eşitleme işlemi aşağıdaki adımları içerir:

  1. Bu eylemler işlem boyunca gerçekleşir:

    1. Şirket içi veri ağ geçidi, şirket içi sistemler ile Azure hizmetleri arasında verileri hızlı ve güvenli bir şekilde aktarır. Bu yapılandırmayla, şirket içi veri ağ geçidi Azure'dan yönergeler alabilir ve şirket içi ağ yerel veri varlıklarını doğrudan kullanıma sunmadan verileri çoğaltabilir.
    2. Azure Data Factory işlem hatları, veri ayıklamadan veri yüklemeye kadar değişen etkinlikleri düzenler. İşlem hattı etkinliklerini zamanlayabilir, el ile başlatabilir veya otomatik olarak tetikleyebilirsiniz.

  2. Db2 zOS, i için Db2 ve Db2 LUW gibi şirket içi veritabanları verileri depolar.

  3. İşlem hatları, görevleri gerçekleştiren etkinlikleri gruplandırmaktadır. Data Factory, verileri ayıklamak için şirket içi tablo başına dinamik olarak bir işlem hattı oluşturur. Daha sonra Azure'da verileri çoğaltırken yüksek düzeyde paralel bir uygulama kullanabilirsiniz. Ancak, çözümü gereksinimlerinizi karşılayacak şekilde de yapılandırabilirsiniz:

    • Tam çoğaltma: Veritabanının tamamını çoğaltarak hedef Azure veritabanındaki veri türlerinde ve alanlarında gerekli değişiklikleri yapın.
    • Kısmi, delta veya artımlı çoğaltma: Güncelleştirilmiş satırları Azure veritabanlarıyla eşitlemek için kaynak tablolarda filigran sütunlarını kullanırsınız. Bu sütunlar sürekli olarak artan bir anahtar veya tablonun son güncelleştirmesini gösteren bir zaman damgası içerir.

    Data Factory aşağıdaki dönüştürme görevleri için işlem hatlarını da kullanır:

    • Veri türü dönüşümü
    • Verileri işleme
    • Veri biçimlendirme
    • Sütun türetme
    • Veri düzleştirme
    • Veri sıralama
    • Veri filtreleme

  4. Şirket içinde barındırılan tümleştirme çalışma zamanı (IR), Data Factory'nin etkinlikleri çalıştırmak ve göndermek için kullandığı ortamı sağlar.

  5. Azure Data Lake Storage 2. Nesil ve Azure Blob Depolama, veri hazırlama için bir yer sağlar. Bu adım bazen birden çok kaynaktan verileri dönüştürmek ve birleştirmek için gereklidir.

  6. Bundan sonra veri hazırlama işlemi gerçekleştirilir. Data Factory, verileri hızlı ve etkili bir şekilde dönüştürmek için Azure Databricks, özel etkinlikler ve işlem hattı veri akışlarını kullanır.

  7. Data Factory, verileri ilişkisel ve ilişkisel olmayan Azure veritabanlarına yükler:

    • Azure SQL
    • PostgreSQL için Azure Veritabanı
    • Azure Cosmos DB
    • Azure Data Lake Storage
    • MariaDB için Azure Veritabanı
    • MySQL için Azure Veritabanı

    Bazı kullanım örneklerinde diğer araçlar da veri yükleyebilir.

  8. Diğer araçlar da verileri çoğaltabilir ve dönüştürebilir:

    • Dağıtılmış İlişkisel Veritabanı Mimarisi (DRDA) için Microsoft Hizmeti: Bu DRDA hizmetleri Azure SQL veritabanı ailesine bağlanabilir ve şirket içi veritabanlarını güncel tutabilir. Bu hizmetler bir şirket içi sanal makinede (VM) veya Azure VM'de çalışır.
    • Db2 için SQL Server Geçiş Yardımı (SSMA): Bu araç şemaları ve verileri IBM Db2 veritabanlarından Azure veritabanlarına geçirir.
    • SQL Server Integration Services (SSIS): Bu platform verileri ayıklayabilir, dönüştürebilir ve yükleyebilir.
    • Üçüncü taraf araçları: Çözüm neredeyse gerçek zamanlı çoğaltma gerektirdiğinde üçüncü taraf araçlarını kullanabilirsiniz. Bu aracılardan bazıları Azure Market'da kullanılabilir.

  9. Azure Synapse Analytics verileri yönetir ve iş zekası ve makine öğrenmesi uygulamaları için kullanılabilir hale getirir.

Components

Çözüm aşağıdaki bileşenleri kullanır:

Araçlar

  • DRDA için Microsoft Hizmeti, Konak Tümleştirme Sunucusu'nun (HIS) bir bileşenidir. DRDA için Microsoft Hizmeti, DRDA Application Requester (AR) istemcilerinin kullandığı bir Uygulama Sunucusudur (AS). DRDA AR istemcilerine örnek olarak z/OS için IBM Db2 ve i5/OS için Db2 verilebilir. Bu istemciler DB2 SQL deyimlerini dönüştürmek ve SQL Server'da çalıştırmak için AS kullanır.

  • Db2 için SSMA, Db2'den Microsoft veritabanı hizmetlerine geçişi otomatikleştirir. Bir VM üzerinde çalışırken, bu araç Db2 veritabanı nesnelerini SQL Server veritabanı nesnelerine dönüştürür ve bu nesneleri SQL Server'da oluşturur. Ardından Db2 için SSMA verileri Db2'den aşağıdaki hizmetlere geçirir:

    • SQL Server 2012
    • SQL Server 2014
    • SQL Server 2016
    • Windows ve Linux üzerinde SQL Server 2017
    • Windows ve Linux üzerinde SQL Server 2019
    • Azure SQL Veritabanı

  • Azure Synapse Analytics , veri ambarları ve büyük veri sistemleri için bir analiz hizmetidir. Bu araç Spark teknolojilerini kullanır ve Power BI, Azure Machine Learning ve diğer Azure hizmetleriyle derin tümleştirmeye sahiptir.

Veri tümleştiricileri

  • Azure Data Factory bir karma veri tümleştirme hizmetidir. ETL ve ELT iş akışları oluşturmak, zamanlamak ve yönetmek için bu tam olarak yönetilen, sunucusuz çözümü kullanabilirsiniz.

  • Azure Synapse Analytics , veri ambarları ve büyük veri sistemleri genelinde içgörü elde etme süresini hızlandıran bir kurumsal analiz hizmetidir. Azure Synapse en iyi SQL teknolojilerini (kurumsal veri ambarında kullanılır), büyük veriler için kullanılan Spark teknolojilerini, günlük ve zaman serisi analizi için Veri Gezgini, veri tümleştirmesi için işlem hatlarını ve ETL/ELT'yi ve Power BI, Azure Cosmos DB ve Azure Machine Learning gibi diğer Azure hizmetleriyle derin tümleştirmeyi bir araya getirir.

  • SQL Server Integration Services (SSIS), kurumsal düzeyde veri tümleştirme ve dönüştürme çözümleri oluşturmaya yönelik bir platformdur. SSIS kullanarak verileri yönetebilir, çoğaltabilir, temizleyebilir ve benimseyebilirsiniz.

  • Azure Databricks bir veri analizi platformudur. Apache Spark açık kaynak dağıtılmış işleme sistemini temel alan Azure Databricks, Azure bulut platformu için iyileştirilmiştir. Bir analiz iş akışında Azure Databricks, birden çok kaynaktan verileri okur ve içgörüler sağlamak için Spark'ı kullanır.

Veri depolama

  • Azure SQL Veritabanı, Azure SQL ailesinin bir parçasıdır ve bulut için oluşturulur. Bu hizmet, tam olarak yönetilen ve her zaman yeşil bir hizmet olarak platformun tüm avantajlarını sunar. SQL Veritabanı ayrıca performansı ve dayanıklılığı en iyi duruma getiren yapay zeka destekli, otomatik özellikler sağlar. Sunucusuz işlem ve Hiper Ölçek depolama seçenekleri , kaynakları isteğe bağlı olarak otomatik olarak ölçeklendirir.

  • SQL Yönetilen Örneği, Azure SQL hizmet portföyünün bir parçasıdır. Bu akıllı, ölçeklenebilir bulut veritabanı hizmeti, en geniş SQL Server altyapısı uyumluluğunu tam olarak yönetilen ve her zaman yeşil bir hizmet olarak platformun tüm avantajlarıyla birleştirir. SQL Yönetilen Örneği ile mevcut uygulamaları uygun ölçekte modernleştirebilirsiniz.

  • Azure VM'lerinde SQL Server, yüzde 100 kod uyumluluğuyla SQL Server iş yüklerini kaldırıp buluta kaydırmanın bir yolunu sağlar. Azure SQL ailesinin bir parçası olarak, Azure VM'lerinde SQL Server, Azure'ın esnekliği ve karma bağlantısıyla SQL Server'ın birleşik performansını, güvenliğini ve analizini sunar. Azure VM'lerinde SQL Server ile mevcut uygulamaları geçirebilir veya yeni uygulamalar oluşturabilirsiniz. Ayrıca SQL Server 2019 da dahil olmak üzere en son SQL Server güncelleştirmelerine ve sürümlerine de erişebilirsiniz.

  • PostgreSQL için Azure Veritabanı, açık kaynak PostgreSQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir. Bu hizmetle, veritabanı yönetimi yerine uygulama yeniliklerine odaklanabilirsiniz. Ayrıca iş yükünüzü hızlı ve kolay bir şekilde ölçeklendikleyebilirsiniz.

  • Azure Cosmos DB , genel olarak dağıtılmış, çok modelli bir veritabanıdır. Azure Cosmos DB ile çözümleriniz, herhangi bir sayıda coğrafi bölgede aktarım hızını ve depolamayı esnek ve bağımsız olarak ölçeklendirebilir. Bu tam olarak yönetilen NoSQL veritabanı hizmeti, dünyanın herhangi bir yerinde doksan dokuzuncu yüzdebirlik dilimde tek basamaklı milisaniyelik gecikme sürelerini garanti eder.

  • Data Lake Depolama, büyük miktarda veriyi yerel ve ham biçiminde tutan bir depolama deposudur. Data Lake Store'lar terabaytlar ve petabaytlar kadar veriyi ölçeklendirmek için iyileştirilmiştir. Veriler genellikle birden çok, heterojen kaynaktan gelir ve yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış olabilir. Data Lake Storage 2. Nesil, Data Lake Storage 1. Nesil özellikleri Blob Depolama ile birleştirir. Bu yeni nesil data lake çözümü dosya sistemi semantiği, dosya düzeyi güvenlik ve ölçeklendirme sağlar. Ancak Blob Depolama katmanlı depolama, yüksek kullanılabilirlik ve olağanüstü durum kurtarma özellikleri de sunar.

  • MariaDB için Azure Veritabanı bulut tabanlı bir ilişkisel veritabanı hizmetidir. Bu hizmet MariaDB topluluk sürümü veritabanı altyapısını temel alır.

  • MySQL için Azure Veritabanı, açık kaynak MySQL veritabanı altyapısının topluluk sürümünü temel alan tam olarak yönetilen bir ilişkisel veritabanı hizmetidir.

  • Blob Depolama, çok büyük miktarlarda yapılandırılmamış verileri yöneten iyileştirilmiş bulut nesne depolaması sağlar.

Ağ

  • Şirket içi veri ağ geçidi, şirket içi verileri bulut hizmetlerine bağlayan bir köprü görevi görür. Genellikle ağ geçidini ayrılmış bir şirket içi VM'ye yüklersiniz. Bulut hizmetleri daha sonra şirket içi verileri güvenli bir şekilde kullanabilir.

  • IR, Data Factory'nin verileri farklı ağ ortamları arasında tümleştirmek için kullandığı işlem altyapısıdır. Data Factory, şirket içi ağlardaki bulut veri depoları ve veri depoları arasında veri kopyalamak için şirket içinde barındırılan IR'leri kullanır. Azure Synapse Pipelines'i de kullanabilirsiniz.

Senaryo ayrıntıları

Veri kullanılabilirliği ve bütünlüğü, ana bilgisayar ve orta ölçekli modernleştirmede önemli bir rol oynar. Veri öncelikli stratejiler, Azure'a geçiş sırasında verilerin bozulmadan ve kullanılabilir durumda kalmasına yardımcı olur. Modernleştirme sırasında uygulamaları etkilememek için bazen verileri hızla çoğaltmanız veya şirket içi verileri Azure veritabanlarıyla eşitlenmiş durumda tutmanız gerekir.

Bu çözüm özellikle şunları kapsar:

  • Ayıklama: kaynak veritabanına Bağlan ve kaynak veritabanından ayıklama.
  • Dönüştürme:
    • Hazırlama: Verileri geçici olarak özgün biçiminde depolama ve dönüştürmeye hazırlama.
    • Hazırlık: Hedef veritabanı gereksinimlerini karşılayan eşleme kurallarını kullanarak verileri dönüştürme ve işleme.
  • Yükleme: Hedef veritabanına veri ekleme.

Olası kullanım örnekleri

Bu çözümden yararlanabilecek veri çoğaltma ve eşitleme senaryoları şunlardır:

  • Tüm sorgu kanallarına hizmet vermek için Azure kullanan Komut Sorgu Sorumluluğu Ayrım (CQRS) mimarileri.
  • Şirket içi uygulamaları ve yeniden barındırılan veya yeniden tasarlanmış uygulamaları paralel olarak test eden ortamlar.
  • Aşamalı düzeltme veya modernleştirme gerektiren sıkı bir şekilde bağlanmış uygulamalara sahip şirket içi sistemler.

Öneriler

Verileri ayıklamak için Data Factory'yi kullandığınızda kopyalama etkinliğinin performansını ayarlamak için gereken adımları uygulayın.

Dikkat edilmesi gereken noktalar

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.

Bu mimariyi göz önünde bulundurarak bu noktaları göz önünde bulundurun.

Güvenilirlik

Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.

  • Kullanılabilirlik dahil olmak üzere altyapı yönetimi, Azure veritabanlarında otomatikleştirilir.

  • DRDA için Microsoft Hizmeti'nin sağladığı yük devretme koruması hakkında bilgi için bkz . Havuza alma ve yük devretme.

  • Daha yüksek kullanılabilirlik garantileri sağlamak için şirket içi veri ağ geçidini ve IR'yi kümeleyebilirsiniz.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.

Maliyet iyileştirme

Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.

Operasyonel mükemmellik

Operasyonel mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz . Operasyonel mükemmellik sütununa genel bakış.

  • Ölçeklenebilirlik de dahil olmak üzere altyapı yönetimi, Azure veritabanlarında otomatikleştirilir.

  • Mantıksal örneği etkin-etkin modda birden çok şirket içi makineyle ilişkilendirerek şirket içinde barındırılan IR'nin ölçeğini genişletebilirsiniz.

  • Şirket içi veri ağ geçidini ve IR'yi ölçeklenebilirlik için kümeleyebilirsiniz.

Performans verimliliği

Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.

Sonraki adımlar

  • Daha fazla bilgi için Azure Veri Madenciliği - Şirket İçi Modernleştirme ile iletişime geçin.
  • Geçiş kılavuzunu okuyun.