Bu başvuru mimarisi, Azure'a modernleştirme sırasında verileri çoğaltmaya ve eşitlemeye yönelik bir uygulama planını özetler. Veri depoları, araçlar ve hizmetler gibi teknik yönleri ele alır.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
İş akışı
Ana bilgisayar ve orta ölçekli sistemler, şirket içi uygulama veritabanlarını düzenli aralıklarla güncelleştirir. Tutarlılığı korumak için çözüm, en son verileri Azure veritabanlarıyla eşitler. Eşitleme işlemi aşağıdaki adımları içerir:
Bu eylemler işlem boyunca gerçekleşir:
- Şirket içi veri ağ geçidi, şirket içi sistemler ile Azure hizmetleri arasında verileri hızlı ve güvenli bir şekilde aktarır. Bu yapılandırmayla, şirket içi veri ağ geçidi Azure'dan yönergeler alabilir ve şirket içi ağ yerel veri varlıklarını doğrudan kullanıma sunmadan verileri çoğaltabilir.
- Azure Data Factory işlem hatları, veri ayıklamadan veri yüklemeye kadar değişen etkinlikleri düzenler. İşlem hattı etkinliklerini zamanlayabilir, el ile başlatabilir veya otomatik olarak tetikleyebilirsiniz.
Db2 zOS, i için Db2 ve Db2 LUW gibi şirket içi veritabanları verileri depolar.
İşlem hatları, görevleri gerçekleştiren etkinlikleri gruplandırmaktadır. Data Factory, verileri ayıklamak için şirket içi tablo başına dinamik olarak bir işlem hattı oluşturur. Daha sonra Azure'da verileri çoğaltırken yüksek düzeyde paralel bir uygulama kullanabilirsiniz. Ancak, çözümü gereksinimlerinizi karşılayacak şekilde de yapılandırabilirsiniz:
- Tam çoğaltma: Veritabanının tamamını çoğaltarak hedef Azure veritabanındaki veri türlerinde ve alanlarda gerekli değişiklikleri yapın.
- Kısmi, delta veya artımlı çoğaltma: Güncelleştirilmiş satırları Azure veritabanlarıyla eşitlemek için kaynak tablolardaki filigran sütunlarını kullanırsınız. Bu sütunlar sürekli olarak artan bir anahtar veya tablonun son güncelleştirmesini gösteren bir zaman damgası içerir.
Data Factory ayrıca aşağıdaki dönüştürme görevleri için işlem hatlarını kullanır:
- Veri türü dönüştürme
- Verileri işleme
- Veri biçimlendirme
- Sütun türetme
- Veri düzleştirme
- Veri sıralama
- Veri filtreleme
Şirket içinde barındırılan tümleştirme çalışma zamanı (IR), Data Factory'nin etkinlikleri çalıştırmak ve göndermek için kullandığı ortamı sağlar.
Azure Data Lake Storage 2. Nesil ve Azure Blob Depolama, veri hazırlama için bir yer sağlar. Bu adım bazen birden çok kaynaktan verileri dönüştürmek ve birleştirmek için gereklidir.
Bundan sonra veri hazırlama işlemi gerçekleştirilir. Data Factory, verileri hızlı ve etkili bir şekilde dönüştürmek için Azure Databricks' i, özel etkinlikleri ve işlem hattı veri akışlarını kullanır.
Data Factory, verileri ilişkisel ve ilişkisel olmayan Azure veritabanlarına yükler:
- Azure SQL
- PostgreSQL için Azure Veritabanı
- Azure Cosmos DB
- Azure Data Lake Storage
- MariaDB için Azure Veritabanı
- MySQL için Azure Veritabanı
Bazı kullanım örneklerinde diğer araçlar da veri yükleyebilir.
Diğer araçlar da verileri çoğaltabilir ve dönüştürebilir:
- Dağıtılmış İlişkisel Veritabanı Mimarisi (DRDA) için Microsoft Hizmeti: Bu DRDA hizmetleri Azure SQL veritabanı ailesine bağlanabilir ve şirket içi veritabanlarını güncel tutabilir. Bu hizmetler şirket içi sanal makinede (VM) veya Azure VM'sinde çalışır.
- Db2 için SQL Server Geçiş Yardımı (SSMA): Bu araç şemaları ve verileri IBM Db2 veritabanlarından Azure veritabanlarına geçirir.
- SQL Server Integration Services (SSIS): Bu platform verileri ayıklayabilir, dönüştürebilir ve yükleyebilir.
- Üçüncü taraf araçları: Çözüm neredeyse gerçek zamanlı çoğaltma gerektirdiğinde, üçüncü taraf araçlarını kullanabilirsiniz. Bu aracılardan bazıları Azure Market'de kullanılabilir.
Azure Synapse Analytics verileri yönetir ve iş zekası ve makine öğrenmesi uygulamaları için kullanılabilir hale getirir.
Bileşenler
Çözüm aşağıdaki bileşenleri kullanır:
Araçlar
DRDA için Microsoft Hizmeti , Host Integration Server'ın (HIS) bir bileşenidir. DRDA için Microsoft Hizmeti, DRDA Uygulama İstekcisi (AR) istemcilerinin kullandığı bir Uygulama Sunucusudur (AS). DRDA AR istemcilerine örnek olarak z/OS için IBM Db2 ve i5/OS için Db2 verilebilir. Bu istemciler DB2 SQL deyimlerini dönüştürmek ve SQL Server üzerinde çalıştırmak için AS kullanır.
Db2 için SSMA, Db2'den Microsoft veritabanı hizmetlerine geçişi otomatikleştirir. Bu araç vm üzerinde çalışırken Db2 veritabanı nesnelerini SQL Server veritabanı nesnelerine dönüştürür ve bu nesneleri SQL Server oluşturur. Ardından Db2 için SSMA verileri Db2'den aşağıdaki hizmetlere geçirir:
- SQL Server 2012
- SQL Server 2014
- SQL Server 2016
- Windows ve Linux üzerinde SQL Server 2017
- Windows ve Linux üzerinde SQL Server 2019
- Azure SQL Veritabanı
Azure Synapse Analytics, veri ambarları ve büyük veri sistemleri için bir analiz hizmetidir. Bu araç Spark teknolojilerini kullanır ve Power BI, Azure Machine Learning ve diğer Azure hizmetleriyle derin tümleştirmeye sahiptir.
Veri tümleştiricileri
Azure Data Factory karma veri tümleştirme hizmetidir. ETL ve ELT iş akışlarını oluşturmak, zamanlamak ve yönetmek için bu tam olarak yönetilen, sunucusuz çözümü kullanabilirsiniz.
Azure Synapse Analytics, veri ambarları ve büyük veri sistemleri arasında içgörü elde etme süresini hızlandıran bir kurumsal analiz hizmetidir. Azure Synapse en iyi SQL teknolojilerini (kurumsal veri ambarında kullanılanlar), büyük veriler için kullanılan Spark teknolojilerini, günlük ve zaman serisi analizi için Veri Gezgini, veri tümleştirmesi için işlem hatlarını ve ETL/ELT'yi ve Power BI, Azure Cosmos DB ve Azure Machine Learning gibi diğer Azure hizmetleriyle derin tümleştirmeyi bir araya getirir.
SQL Server Integration Services (SSIS), kurumsal düzeyde veri tümleştirme ve dönüştürme çözümleri oluşturmaya yönelik bir platformdur. SSIS kullanarak verileri yönetebilir, çoğaltabilir, temizleyebilir ve benimseyebilirsiniz.
Azure Databricks bir veri analizi platformudur. Apache Spark açık kaynak dağıtılmış işleme sistemi temelinde Azure Databricks, Azure bulut hizmetleri için iyileştirilmiştir. Bir analiz iş akışında, Azure Databricks birden çok kaynaktan verileri okur ve içgörüler sağlamak için Spark'ı kullanır.
Veri depolama
Azure SQL Veritabanı, Azure SQL ailesinin bir parçasıdır ve bulut için oluşturulur. Bu hizmet, tam olarak yönetilen ve her zaman yeşil bir hizmet olarak platformun tüm avantajlarını sunar. SQL Veritabanı ayrıca performansı ve dayanıklılığı en iyi duruma getiren yapay zeka destekli, otomatik özellikler sağlar. Sunucusuz işlem ve Hiper Ölçek depolama seçenekleri kaynakları isteğe bağlı olarak otomatik olarak ölçeklendirir.
SQL Yönetilen Örneği, Azure SQL hizmet portföyünün bir parçasıdır. Bu akıllı, ölçeklenebilir bulut veritabanı hizmeti, en geniş SQL Server altyapı uyumluluğunu tam olarak yönetilen ve her zaman yeşil bir hizmet olarak platformun tüm avantajlarıyla birleştirir. SQL Yönetilen Örneği ile mevcut uygulamaları uygun ölçekte modernleştirebilirsiniz.
Azure VM'lerinde SQL Server, yüzde 100 kod uyumluluğuyla SQL Server iş yüklerini buluta kaldırıp kaydırmanın bir yolunu sağlar. Azure SQL ailesinin bir parçası olarak Azure VM'lerindeki SQL Server, Azure'ın esnekliği ve hibrit bağlantısıyla SQL Server birleşik performansını, güvenliğini ve analizini sunar. Azure VM'lerindeki SQL Server ile mevcut uygulamaları geçirebilir veya yeni uygulamalar oluşturabilirsiniz. Ayrıca, SQL Server 2019 da dahil olmak üzere en son SQL Server güncelleştirmelerine ve sürümlerine de erişebilirsiniz.
PostgreSQL için Azure Veritabanı, açık kaynak PostgreSQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir. Bu hizmetle, veritabanı yönetimi yerine uygulama yeniliği konusuna odaklanabilirsiniz. Ayrıca iş yükünüzü hızlı ve kolay bir şekilde ölçeklendirin.
Azure Cosmos DB genel olarak dağıtılmış, çok modelli bir veritabanıdır. Azure Cosmos DB ile çözümleriniz, işleme hızını ve depolama alanını istediğiniz sayıda coğrafi bölgede esnek ve bağımsız olarak ölçeklendirebilir. Bu tam olarak yönetilen NoSQL veritabanı hizmeti, dünyanın her yerinde doksan dokuzuncu yüzdebirlik dilimde tek basamaklı milisaniyelik gecikme süreleri garanti eder.
Data Lake Storage, büyük miktarda veriyi yerel ve ham biçiminde tutan bir depolama deposudur. Data lake store'lar terabaytlar ve petabaytlarlık verilere ölçeklendirme için iyileştirilmiştir. Veriler genellikle birden çok heterojen kaynaktan gelir ve yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış olabilir. Data Lake Storage 2. Nesil, Data Lake Storage 1. Nesil özellikleri Blob Depolama ile birleştirir. Bu yeni nesil data lake çözümü dosya sistemi semantiği, dosya düzeyinde güvenlik ve ölçeklendirme sağlar. Ancak Blob Depolama'nın katmanlı depolama, yüksek kullanılabilirlik ve olağanüstü durum kurtarma özelliklerini de sunar.
MariaDB için Azure Veritabanı bulut tabanlı bir ilişkisel veritabanı hizmetidir. Bu hizmet MariaDB topluluk sürümü veritabanı altyapısını temel alır.
MySQL için Azure Veritabanı, açık kaynak MySQL veritabanı altyapısının topluluk sürümünü temel alan tam olarak yönetilen bir ilişkisel veritabanı hizmetidir.
Blob Depolama , çok büyük miktarlarda yapılandırılmamış verileri yöneten iyileştirilmiş bulut nesnesi depolama alanı sağlar.
Ağ
Şirket içi veri ağ geçidi, şirket içi verileri bulut hizmetlerine bağlayan bir köprü görevi görür. Genellikle ağ geçidini ayrılmış bir şirket içi VM'ye yüklersiniz. Bulut hizmetleri daha sonra şirket içi verileri güvenli bir şekilde kullanabilir.
IR, Data Factory'nin verileri farklı ağ ortamları arasında tümleştirmek için kullandığı işlem altyapısıdır. Data Factory, bulut veri depoları ile şirket içi ağlardaki veri depoları arasında veri kopyalamak için şirket içinde barındırılan IR'leri kullanır. Azure Synapse İşlem Hatlarını da kullanabilirsiniz.
Senaryo ayrıntıları
Veri kullanılabilirliği ve bütünlüğü, ana bilgisayar ve orta ölçekli modernleştirmede önemli bir rol oynar. Veri öncelikli stratejiler, Azure'a geçiş sırasında verilerin bozulmadan ve kullanılabilir durumda kalmasına yardımcı olur. Modernleştirme sırasında uygulamaları etkilememek için bazen verileri hızlı bir şekilde çoğaltmanız veya şirket içi verileri Azure veritabanlarıyla eşitlenmiş durumda tutmanız gerekir.
Bu çözüm özellikle şunları kapsar:
- Ayıklama: Kaynak veritabanına bağlanma ve kaynak veritabanından ayıklama.
- Dönüştürme:
- Hazırlama: Verileri geçici olarak özgün biçiminde depolama ve dönüştürme için hazırlama.
- Hazırlık: Hedef veritabanı gereksinimlerini karşılayan eşleme kurallarını kullanarak verileri dönüştürme ve işleme.
- Yükleme: Hedef veritabanına veri ekleme.
Olası kullanım örnekleri
Bu çözümden yararlanabilecek veri çoğaltma ve eşitleme senaryoları şunlardır:
- Tüm sorgu kanallarına hizmet vermek için Azure kullanan Komut Sorgusu Sorumluluk Ayrım (CQRS) mimarileri.
- Şirket içi uygulamaları ve yeniden barındırılan veya yeniden tasarlanmış uygulamaları paralel olarak test eden ortamlar.
- Aşamalı düzeltme veya modernleştirme gerektiren sıkı bir şekilde bağlanmış uygulamalara sahip şirket içi sistemler.
Öneriler
Verileri ayıklamak için Data Factory'yi kullandığınızda kopyalama etkinliğinin performansını ayarlamak için gerekli adımları uygulayın.
Dikkat edilmesi gerekenler
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure Well-Architected Framework'ün yapı taşlarını uygular. Daha fazla bilgi için bkz. Microsoft Azure Well-Architected Framework.
Bu mimariyi göz önünde bulundurarak bu noktaları göz önünde bulundurun.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.
Kullanılabilirlik de dahil olmak üzere altyapı yönetimi, Azure veritabanlarında otomatikleştirilir.
DRDA için Microsoft Hizmeti'nin sağladığı yük devretme koruması hakkında bilgi için bkz. Havuza alma ve yük devretme.
Daha yüksek kullanılabilirlik garantileri sağlamak için şirket içi veri ağ geçidini ve IR'yi kümeleyebilirsiniz.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz. Güvenlik sütununa genel bakış.
Hizmetlerin erişimini yalnızca çalışması gereken durumla sınırlandırmak için ağ güvenlik gruplarını kullanın.
PaaS (Hizmet Olarak Platform) hizmetleriniz için özel uç noktaları kullanın. Hizmetlerinizin hem erişilebilir hem de İnternet üzerinden ulaşılamayan güvenliğini desteklemek için hizmet güvenlik duvarlarını kullanın.
Azure'da şirket içi istemci kimlikleri ile istemci kimlikleri arasındaki farkları unutmayın. Farkları telafi etmeniz gerekir.
Bileşenden bileşene veri akışları için yönetilen kimlikleri kullanın.
DRDA için Microsoft Hizmeti'nin desteklediği istemci bağlantısı türleri hakkında bilgi edinmek için bkz. DRDA için Microsoft Hizmetini Kullanarak Çözümleri Planlama ve Mimari Oluşturma . İstemci bağlantıları ağınızdaki işlemlerin, havuzun, yük devretmenin, kimlik doğrulamasının ve şifrelemenin niteliğini etkiler.
Maliyet iyileştirmesi
Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimliliği artırmanın yollarını gözden geçmektir. Daha fazla bilgi için bkz. Maliyet iyileştirme sütununa genel bakış.
Fiyatlandırma modelleri bileşen hizmetleri arasında farklılık gösterir. Fiyatlandırma modellerinin bütçenize uygun olduğundan emin olmak için kullanılabilir bileşen hizmetlerinin fiyatlandırma modellerini gözden geçirin.
Bu çözümü uygulama maliyetini tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanın.
Operasyonel Mükemmellik
Operasyonel mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz. Operasyonel mükemmellik sütununa genel bakış.
Ölçeklenebilirlik de dahil olmak üzere altyapı yönetimi, Azure veritabanlarında otomatikleştirilir.
Mantıksal örneği etkin-etkin modda birden çok şirket içi makineyle ilişkilendirerek şirket içinde barındırılan IR'nin ölçeğini genişletebilirsiniz .
Şirket içi veri ağ geçidini ve IR'yi ölçeklenebilirlik için kümeleyebilirsiniz.
Performans verimliliği
Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.
Şirket içi uygulama ağ geçidi kullandığınızda , okuma ve yazma işlemlerindeki sınırları unutmayın.
Uygulamanız ilk çoğaltma veya sürekli değişen veri çoğaltması için önemli bant genişliği kullanıyorsa Azure ExpressRoute'u yüksek ölçekli bir seçenek olarak düşünün.
Şirket içinde barındırılan IR yalnızca bir Windows işletim sisteminde çalıştırılabilir.
Sonraki adımlar
- Daha fazla bilgi için Azure Veri Mühendisliği - Şirket İçi Modernleştirme ile iletişime geçin.
- Geçiş kılavuzunu okuyun.