Aracılığıyla paylaş

Ana bilgisayar verilerini Azure'a çoğaltma ve eşitleme

Azure Data Factory
Azure Databricks

Bu örnek mimaride, Azure'a modernleştirme sırasında verileri çoğaltmak ve eşitlemek için bir uygulama planı özetlenmektedir. Veri depoları, araçlar ve hizmetler gibi teknik yönleri açıklar.

Mimarlık

Ana bilgisayar modernizasyonu sırasında şirket içi verilerin ve Azure veritabanları verilerinin nasıl eşitleneceğini gösteren bir mimari diyagram.

Bu mimarinin Visio dosyasını indirin.

İş Akışı

Aşağıdaki iş akışı önceki diyagrama karşılık gelir:

Ana bilgisayar ve orta ölçekli sistemler, şirket içi uygulama veritabanlarını düzenli aralıklarla güncelleştirir. Tutarlılığı korumak için bu çözüm en son verileri Azure veritabanlarıyla eşitler. Eşitleme işlemi aşağıdaki adımları içerir.

  1. Azure Data Factory dinamik işlem hatları, veri ayıklamadan veri yüklemeye kadar değişen etkinlikleri düzenler. İşlem hattı etkinliklerini zamanlayabilir, manuel olarak başlatabilir veya otomatik olarak tetikleyebilirsiniz.

    İşlem hatları, görevleri gerçekleştiren etkinlikleri gruplandırır. Azure Data Factory, verileri ayıklamak için her şirket içi tablo için dinamik olarak bir işlem hattı oluşturur. Daha sonra Azure'da verileri çoğaltırken yüksek düzeyde paralel bir uygulama kullanabilirsiniz. Çözümü gereksinimlerinizi karşılayacak şekilde de yapılandırabilirsiniz:

    • Tam çoğaltma: Veritabanının tamamını çoğaltır ve hedef Azure veritabanındaki veri türlerinde ve alanlarda gerekli değişiklikleri yaparsınız.

    • Kısmi, delta veya artımlı çoğaltma: Güncelleştirilmiş satırları Azure veritabanlarıyla eşitlemek için kaynak tablolardaki filigran sütunlarını kullanırsınız. Bu sütunlar ya sürekli artan bir anahtar ya da tablonun son güncelleştirmesini gösteren bir zaman damgası içerir.

    Azure Data Factory aşağıdaki dönüştürme görevleri için işlem hatlarını da kullanır:

    • Veri türü dönüştürme
    • Veri manipülasyonu
    • Veri biçimlendirme
    • Sütun türetme
    • Veri düzleştirme
    • Veri sıralama
    • Veri filtreleme

  2. Db2 zOS, Db2 for i ve Db2 LUW gibi şirket içi veritabanları, uygulama verilerini depolar.

  3. Şirket içinde barındırılan tümleştirme çalışma zamanı (IR), Azure Data Factory'nin etkinlikleri çalıştırmak ve dağıtmak için kullandığı ortamı sağlar.

  4. Azure Data Lake Storage Gen2 ve Azure Blob Depolama verileri hazırlar. Bu adım bazen birden çok kaynaktan gelen verileri dönüştürmek ve birleştirmek için gereklidir.

  5. Veri hazırlama için Azure Data Factory, verileri hızlı ve etkili bir şekilde dönüştürmek için Azure Databricks'i, özel etkinlikleri ve işlem hattı veri akışlarını kullanır.

  6. Azure Data Factory, verileri aşağıdaki ilişkisel ve ilişkisel olmayan Azure veritabanlarına yükler:

    • Azure SQL
    • PostgreSQL için Azure Veritabanı
    • Azure Cosmos DB veritabanı
    • Azure Data Lake Storage
    • MySQL için Azure Veritabanı

  7. SQL Server Integration Services (SSIS) verileri ayıklar, dönüştürür ve yükler.

  8. Şirket içi veri ağ geçidi, yerel şirket içi veri kaynaklarınız ile Azure hizmetleri arasında köprü görevi gören, yerel olarak yüklenmiş bir Windows istemci uygulamasıdır.

  9. Microsoft Fabric'teki bir veri işlem hattı, Db2'den Azure depolama alanına ve veritabanlarına veri alımı gerçekleştiren etkinliklerin mantıksal bir gruplandırmasıdır.

  10. Çözüm neredeyse gerçek zamanlı çoğaltma gerektiriyorsa, Microsoft dışı araçları kullanabilirsiniz.

Bileşenler

Bu bölümde, veri modernizasyonu, eşitleme ve tümleştirme sırasında kullanabileceğiniz diğer araçlar açıklanmaktadır.

Veri tümleştiricileri

  • Azure Data Factory bir karma veri tümleştirme hizmetidir. Ayıklama, dönüştürme ve yükleme (ETL) iş akışlarını oluşturmak, zamanlamak ve düzenlemek ve ayıklamak, yüklemek ve dönüştürmek (ELT) için bu tam olarak yönetilen, sunucusuz çözümü kullanabilirsiniz.

  • Azure Synapse Analytics , veri ambarları ve büyük veri sistemleri arasında içgörü elde etme süresini hızlandıran bir kurumsal analiz hizmetidir. Azure Synapse Analytics, aşağıdaki teknolojilerin ve hizmetlerin en iyi özelliklerini bir araya getirir:

    • Kurumsal veri ambarı için SQL teknolojileri

    • Büyük veri için Spark teknolojileri

    • Günlük ve zaman serisi analizi için Azure Veri Gezgini

    • Veri tümleştirmesi ve ETL ve ELT iş akışları için Azure Pipelines

    • Power BI, Azure Cosmos DB ve Azure Machine Learning gibi diğer Azure hizmetleriyle derin tümleştirme

  • SSIS , kurumsal düzeyde veri tümleştirme ve dönüştürme çözümleri oluşturmaya yönelik bir platformdur. Verileri yönetmek, çoğaltmak, temizlemek ve araştırmak için SSIS'yi kullanabilirsiniz.

  • Azure Databricks bir veri analizi platformudur. Apache Spark açık kaynak dağıtılmış işleme sistemini temel alır ve Azure bulut platformu için iyileştirilmiştir. Analiz iş akışında Azure Databricks birden çok kaynaktan veri okur ve içgörüler sağlamak için Spark'ı kullanır.

Veri depolama

  • Azure SQL Veritabanı , Azure SQL ailesinin bir parçasıdır ve bulut için oluşturulmuştur. Bu hizmet, tam olarak yönetilen ve her zaman yeşil kalan bir hizmet olarak platformun (PaaS) avantajlarını sağlar. SQL Veritabanı ayrıca performansı ve dayanıklılığı iyileştiren yapay zeka destekli, otomatikleştirilmiş özellikler sağlar. Sunucusuz işlem ve hiper ölçek depolama seçenekleri , kaynakları isteğe bağlı olarak otomatik olarak ölçeklendirir.

  • Azure SQL Yönetilen Örneği , Azure SQL hizmet portföyünün bir parçasıdır. Bu akıllı ve ölçeklenebilir bulut veritabanı hizmeti, en geniş SQL Server altyapısı uyumluluğunu tam olarak yönetilen ve her zaman yeşil kalan bir PaaS'ın tüm avantajlarıyla birleştirir. Mevcut uygulamaları büyük ölçekte modernleştirmek için SQL Yönetilen Örneği kullanın.

  • Azure Sanal Makineler'de SQL Server , SQL Server iş yüklerini tam kod uyumluluğuyla buluta taşımak için bir yol sağlar. Azure SQL ailesinin bir parçası olan Azure Sanal Makineler'de SQL Server, SQL Server'ın birleşik performansını, güvenliğini ve analizini Azure'ın esnekliği ve hibrit bağlantısıyla sağlar. Mevcut uygulamaları geçirmek veya yeni uygulamalar oluşturmak için Azure Sanal Makineler'de SQL Server'ı kullanın. Ayrıca, SQL Server 2019 dahil olmak üzere en son SQL Server güncelleştirmelerine ve sürümlerine de erişebilirsiniz.

  • PostgreSQL için Azure Veritabanı , açık kaynak PostgreSQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir. Veritabanı yönetimi yerine uygulama yeniliğine odaklanmak için bu hizmeti kullanın. Ayrıca iş yükünüzü hızlı ve kolay bir şekilde ölçeklendikleyebilirsiniz.

  • Azure Cosmos DB , genel olarak dağıtılmış, çok modelli bir veritabanıdır. Çözümlerinizin aktarım hızını ve depolamayı herhangi bir sayıda coğrafi bölgede esnek ve bağımsız bir şekilde ölçeklendirebildiğinden emin olmak için Azure Cosmos DB'yi kullanın. Tam olarak yönetilen bu NoSQL veritabanı hizmeti, dünyanın herhangi bir yerinde doksan dokuzuncu yüzdebirlik dilimde tek basamaklı, milisaniyelik gecikme sürelerini garanti eder.

  • Data Lake Storage , büyük miktarda veriyi yerel, ham biçiminde tutan bir depolama deposudur. Data Lake Store'lar terabaytlar ve petabaytlar kadar veriyi ölçeklendirmek için iyileştirilmiştir. Veriler genellikle birden çok, heterojen kaynaktan gelir ve yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış olabilir. Data Lake Storage Gen2 , Data Lake Storage Gen1 özelliklerini Blob Depolama ile birleştirir. Bu yeni nesil veri gölü çözümü, dosya sistemi semantiği, dosya düzeyinde güvenlik ve ölçek sağlar. Ayrıca Blob Depolama'nın katmanlı depolama, yüksek kullanılabilirlik ve olağanüstü durum kurtarma özelliklerini de sağlar.

  • Microsoft Fabric , kurumsal kullanıma hazır, uçtan uca bir analiz platformudur. Veri taşıma, veri işleme, alma, dönüştürme, gerçek zamanlı olay yönlendirme ve rapor oluşturma işlemlerini birleştirir. Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse ve Fabric Databases gibi tümleşik hizmetleri kullanarak bu özellikleri destekler.

  • MySQL için Azure Veritabanı , açık kaynak MySQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir.

Diğer araçlar

Senaryo ayrıntıları

Veri kullanılabilirliği ve bütünlüğü, ana bilgisayar ve orta ölçekli modernizasyonda çok önemlidir. Veri öncelikli stratejiler , Azure'a geçiş sırasında verilerin olduğu gibi ve kullanılabilir durumda kalmasına yardımcı olur. Modernleştirme sırasında kesintileri önlemek için bazen verileri hızlı bir şekilde çoğaltmanız veya şirket içi verileri Azure veritabanlarıyla eşitlenmiş halde tutmanız gerekir.

Özellikle, bu çözüm şunları kapsar:

  • Ayıklama: Bir kaynak veritabanına bağlanın ve bu veritabanından veri ayıklayın.

  • Dönüşüm:

    • Hazırlama: Verileri geçici olarak özgün biçiminde depolayın ve dönüştürme için hazırlayın.

    • Hazırlık: Hedef veritabanı gereksinimlerini karşılayan eşleme kurallarını kullanarak verileri dönüştürün ve işleyin.

  • Yükleniyor: Verileri bir hedef veritabanına ekleyin.

Olası kullanım örnekleri

Bu çözümden yararlanabilecek veri çoğaltma ve eşitleme senaryoları şunlardır:

  • Komut Sorgusu Sorumluluğu Tüm sorgu kanallarına hizmet vermek için Azure'ı kullanan ayrım mimarileri.

  • Şirket içi uygulamaları ve yeniden barındırılan veya yeniden tasarlanmış uygulamaları paralel olarak test eden ortamlar.

  • Aşamalı düzeltme veya modernizasyon gerektiren sıkı bir şekilde bağlanmış uygulamalara sahip şirket içi sistemler.

Öneriler

Aşağıdaki önerileri çoğu senaryoya uygulayabilirsiniz. Bu önerileri geçersiz kılan belirli bir gereksiniminiz olmadığı sürece izlemeniz önerilir.

Verileri ayıklamak için Azure Data Factory'yi kullandığınızda, kopyalama etkinliğinin performansını ayarlamak için adımlar atın.

Değerlendirmeler

Bu önemli noktalar, iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure Well-Architected Framework'ün yapı taşlarını uygular. Daha fazla bilgi için bkz. Microsoft Azure Well-Architected Framework .

Güvenilirlik

Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesine yardımcı olur. Daha fazla bilgi için bkz . Güvenilirlik için tasarım gözden geçirme denetim listesi.

  • Kullanılabilirlik de dahil olmak üzere altyapı yönetimi, Azure veritabanlarında otomatikleştirilir.

  • DRDA yük devretme koruması için Microsoft Hizmeti hakkında daha fazla bilgi için bkz: Havuz oluşturma ve yük devretme.

  • Daha yüksek kullanılabilirlik garantileri sağlamak için şirket içi veri ağ geçidini ve IR'yi kümeleyebilirsiniz.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanımına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik için tasarım gözden geçirme denetim listesi.

  • Erişimi her hizmet için yalnızca gerekli işlevlerle sınırlamak için ağ güvenlik gruplarını kullanın.

  • PaaS hizmetleriniz için özel uç noktaları kullanın. Hizmetlerinizin güvenliğini desteklemek için internet üzerinden hem erişilebilir hem de erişilemeyen hizmet güvenlik duvarlarını kullanın.

  • Bileşenden bileşene veri akışları için yönetilen kimlikleri kullanın.

  • DRDA için Microsoft Hizmeti'nin desteklediği istemci bağlantısı türleri hakkında daha fazla bilgi için bkz: DRDA için Microsoft Hizmeti'ni kullanarak çözümler planlama ve tasarlama. İstemci bağlantıları, ağınızdaki işlemlerin, havuzlamanın, yük devretmenin, kimlik doğrulamasının ve şifrelemenin doğasını etkiler.

Maliyet İyileştirme

Maliyet İyileştirme, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarına odaklanır. Daha fazla bilgi için bkz . Maliyet İyileştirme için tasarım gözden geçirme denetim listesi.

Operasyonel Mükemmellik

Operasyonel Mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz . Operasyonel Mükemmellik için tasarım gözden geçirme denetim listesi.

Performans Verimliliği

Performans Verimliliği, iş yükünüzün kullanıcı taleplerini verimli bir şekilde karşılayacak şekilde ölçeklendirebilmesini ifade eder. Daha fazla bilgi için bkz . Performans Verimliliği için tasarım gözden geçirme denetim listesi.

  • Uygulamanız ilk çoğaltma veya devam eden değiştirilmiş veri çoğaltması için önemli bant genişliği kullanıyorsa Azure ExpressRoute'u yüksek ölçekli bir seçenek olarak göz önünde bulundurun.

  • Senaryonuz için doğru IR yapılandırmasını seçin.

Sonraki Adımlar