Ana bilgisayar ve orta ölçekli verileri modernleştirme

Cosmos DB
Data Lake
SQL Veritabanı
SQL Yönetilen Örnek
Depolama

Bu başvuru mimarisi, ana bilgisayar ve orta ölçekli veri kaynakları için uçtan uca bir modernleştirme planını özetler.

Mimari

Verileri Azure'a geçirerek ana bilgisayar ve orta ölçekli sistemleri modernleştirmeyi gösteren mimari diyagramı.

Diyagramda biri şirket içi bileşenler, diğeri de Azure bileşenleri için olan iki bölüm bulunur. Şirket içi bölümü dosya sistemini, ilişkisel ve ilişkisel olmayan veritabanlarını ve nesne dönüştürme bileşenlerini temsil eden kutular içerir. Oklar şirket içi bileşenlerden Azure bileşenlerine işaret eder. Bu oklardan biri nesne dönüştürme kutusundan geçer ve biri şirket içi veri ağ geçidi olarak etiketlenmiştir. Azure bölümünde veri alımını ve dönüştürmeyi, veri depolamayı, Azure hizmetlerini ve istemci uygulamalarını temsil eden kutular bulunur. Bazı oklar, şirket içi bileşenlerden veri tümleştirme ve dönüştürme kutusundaki araçlara ve hizmetlere işaret eder. Başka bir ok, bu kutudan veritabanlarını ve veri depolarını içeren veri depolama kutusuna işaret eder. Veri depolamadan Azure hizmetlerine ve istemci uygulamalarına ek oklar işaret eder.

Bu mimarinin bir Visio dosyasını indirin.

Veri akışı

Veri modernleştirme aşağıdaki adımları içerir. İşlem boyunca, şirket içi veri ağ geçidi verileri şirket içi sistemler ve Azure hizmetleri arasında hızlı ve güvenli bir şekilde aktarır (1).

Nesne dönüştürme

Nesne dönüştürme işlemi, kaynaklardan nesne tanımlarını ayıklar. Tanımlar daha sonra hedef veri deposunda (2) karşılık gelen nesnelere dönüştürülür.

  • Db2 için Microsoft SQL Server Geçiş Yardımı (SSMA), şemaları ve verileri IBM Db2 veritabanlarından Azure veritabanlarına geçirir.

  • Konak Dosyaları için Veri Sağlayıcısı nesneleri şu şekilde dönüştürür:

    • COBOL ve RPG kayıt düzenlerini veya copybook'ları ayrıştırma.
    • Copybook'ları .NET uygulamalarının kullandığı C# nesneleriyle eşleme.
  • Üçüncü taraf araçları ilişkisel olmayan veritabanlarında, dosya sistemlerinde ve diğer veri depolarında otomatik nesne dönüştürme gerçekleştirir.

Veri alımı ve dönüşümü

Sonraki adımda işlem verileri geçirir.

Dosya verileri
  • Veri Sağlayıcısı, IBM ana bilgisayar dosya sistemi sunucularına (3a) uzaktan bağlanır. Ana bilgisayar olmayan sistemlerde Veri Sağlayıcısı verileri çevrimdışı okur.

    Ana bilgisayar ve orta ölçekli sistemler dasd veya banttaki verileri şu dosya türlerinde EBCDIC biçiminde depolar:

    COBOL, PL/I ve derleme dili copybook'ları bu dosyaların veri yapısını tanımlar. Veri Sağlayıcısı, verileri copybook düzenine göre EBCDIC'den ASCII biçimine dönüştürür.

  • FTP, tek düzenleri ve paketlenmemiş alanları olan ana bilgisayarı ve orta ölçekli veri kümelerini Azure'a dönüştürür ve aktarır (3b).

Veritabanı verileri
  • IBM ana bilgisayar ve orta ölçekli sistemler verileri aşağıdakiler gibi ilişkisel veritabanlarında depolar:

    Bu hizmetler veritabanı verilerini geçirir (3c):

    • Azure Data Factory bu veritabanlarından verileri ayıklamak ve tümleştirmek için db2 bağlayıcısı kullanır.
    • SQL Server Integration Services (SSIS), çok çeşitli veri ETL görevlerini işler.
  • IBM ana bilgisayar ve orta ölçekli sistemler, verileri aşağıdakiler dahil ilişkisel olmayan veritabanlarında depolar:

    Üçüncü taraf ürünler bu veritabanlarındaki verileri tümleştirir (3b).

Data Factory ve AzCopy gibi Azure hizmetleri Verileri Azure veritabanlarına ve veri depolama alanına yükler (4). Üçüncü taraf çözümler ve özel yükleme çözümleri de veri yükleyebilir.

Veri depolama

Azure birçok yönetilen veri depolama çözümü sunar (5):

Veri katmanı

  • Bir dizi Azure Hizmeti bilgi işlem, analiz, depolama ve ağ için modernleştirilmiş veri katmanını kullanır (6).

  • Mevcut istemci uygulamaları da modernleştirilmiş veri katmanını (7) kullanır.

Bileşenler

Çözüm aşağıdaki bileşenleri kullanır.

Veri deposu

  • Azure SQL Veritabanı, Azure SQL ailesinin bir parçasıdır ve bulut için oluşturulur. Bu hizmet, tam olarak yönetilen ve her zaman yeşil bir hizmet olarak platformun tüm avantajlarını sunar. Azure SQL Veritabanı ayrıca performansı ve dayanıklılığı en iyi duruma getiren yapay zeka destekli, otomatikleştirilmiş özellikler sağlar. Sunucusuz işlem ve Hiper Ölçek depolama seçenekleri , kaynakları isteğe bağlı olarak otomatik olarak ölçeklendirir.

  • PostgreSQL için Azure Veritabanı, açık kaynak PostgreSQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir. Bu hizmetle, veritabanı yönetimi yerine uygulama yeniliklerine odaklanabilirsiniz. Ayrıca iş yükünüzü hızlı ve kolay bir şekilde ölçeklendirin.

  • Azure Cosmos DB , genel olarak dağıtılmış, çok modelli bir veritabanıdır. Azure Cosmos DB ile çözümleriniz, herhangi bir sayıda coğrafi bölgede aktarım hızını ve depolamayı esnek ve bağımsız olarak ölçeklendirebilir. Bu tam olarak yönetilen NoSQL veritabanı hizmeti, dünyanın herhangi bir yerinde doksan dokuzuncu yüzdebirlik dilimde tek basamaklı milisaniyelik gecikme süreleri garanti eder.

  • MySQL için Azure Veritabanı, açık kaynak MySQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir.

  • MariaDB için Azure Veritabanı bulut tabanlı bir ilişkisel veritabanı hizmetidir. Bu hizmet MariaDB topluluk sürümü veritabanı altyapısını temel alır.

  • Azure SQL Yönetilen Örneği, tam olarak yönetilen ve her zaman yeşil bir hizmet olarak platformun tüm avantajlarını sunan akıllı, ölçeklenebilir bir bulut veritabanı hizmetidir. SQL Yönetilen Örneği, en son SQL Server (Enterprise Sürümü) veritabanı altyapısıyla yüzde 100'e yakın uyumluluğa sahiptir. Bu hizmet ayrıca yaygın güvenlik sorunlarını ele alan yerel bir sanal ağ uygulaması sağlar.

  • Azure Data Lake Storage, büyük miktarda veriyi yerel ve ham biçiminde tutan bir depolama deposudur. Data Lake Store'lar terabaytlar ve petabaytlar kadar veri ölçeklendirme için iyileştirilmiştir. Veriler genellikle birden çok heterojen kaynaktan gelir ve yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış olabilir.

  • Azure Depolama nesne, dosya, disk, kuyruk ve tablo depolamayı içeren bir bulut depolama çözümüdür. Hizmetler arasında verileri aktarmaya, paylaşmaya ve yedeklemeye yönelik karma depolama çözümleri ve araçları bulunur.

Veri tümleştiricileri

  • Data Factory bir karma veri tümleştirme hizmetidir. ETL ve ELT iş akışlarını oluşturmak, zamanlamak ve yönetmek için bu tam olarak yönetilen, sunucusuz çözümü kullanabilirsiniz.

  • AzCopy , blobları veya dosyaları depolama hesaplarına ve dışına taşıyan bir komut satırı yardımcı programıdır.

  • SQL Server Integration Services (SSIS), kurumsal düzeyde veri tümleştirme ve dönüştürme çözümleri oluşturmaya yönelik bir platformdur. Karmaşık iş sorunlarını çözmek için SSIS'yi şu şekilde kullanabilirsiniz:

    • Dosyaları kopyalama veya indirme
    • Veri ambarlarını yükleme
    • Verileri temizleme ve araştırma
    • SQL Server nesnelerini ve verilerini yönetme

Araçlar

  • Db2 için SSMA, Db2'den Microsoft veritabanı hizmetlerine geçişi otomatikleştirir. Bir sanal makinede (VM) çalışırken bu araç Db2 veritabanı nesnelerini SQL Server veritabanı nesnelerine dönüştürür ve bu nesneleri SQL Server oluşturur. Db2 için SSMA daha sonra db2'den aşağıdaki hizmetlere veri geçirir:

    • SQL Server 2012
    • SQL Server 2014
    • SQL Server 2016
    • Windows ve Linux üzerinde SQL Server 2017
    • Windows ve Linux üzerinde SQL Server 2019
    • Azure SQL Veritabanı
    • Azure SQL Yönetilen Örnek
  • Konak Dosyaları için Veri Sağlayıcısı , Çevrimdışı, SNA veya TCP/IP bağlantıları kullanan bir Konak Tümleştirme Sunucusu (HIS) bileşenidir.

    • Çevrimdışı bağlantılarda, Veri Sağlayıcısı yerel ikili dosyadaki kayıtları okur ve yazar.
    • SNA ve TCP/IP bağlantıları ile Veri Sağlayıcısı, uzak z/OS (IBM z serisi Mainframe) veri kümelerinde veya uzak i5/OS (IBM AS/400 ve iSeries sistemleri) fiziksel dosyalarında depolanan kayıtları okur ve yazar. Yalnızca i5/OS sistemleri TCP/IP kullanır.
  • Azure Hizmetleri , genel bulutta yeni uygulamalar geliştirmeye ve ölçeklendirmeye yönelik ortamlar, araçlar ve süreçler sağlar.

Senaryo ayrıntıları

Azure veri platformu gibi güncel veri depolama çözümleri, ana bilgisayar ve orta ölçekli sistemler üzerinde geliştirilmiş ölçeklenebilirlik ve performans sunar. Modernleştirerek bu avantajlardan yararlanabilirsiniz. Ancak teknoloji, altyapı ve uygulamaları güncelleştirmek karmaşıktır. Bu süreç, iş ve mühendislik faaliyetlerinin kapsamlı bir araştırmasını içerir. Veri yönetimi, modernleştirme sırasında dikkate alınması gereken bir özelliktir. Ancak veri görselleştirme ve tümleştirmeye de bakmanız gerekir.

Başarılı modernleştirmeler , veri öncelikli bir strateji kullanır. Bu yaklaşımla kuruluşlar yeni sistem yerine verilere odaklanır. Veri yönetimi artık yalnızca modernleştirme denetim listesindeki bir öğe değildir. Bunun yerine, veriler ortalığa dönüşür. Uyumlu hale getirilmiş, kalite odaklı veri çözümleri parçalanmış, kötü yönetilen çözümlerin yerini alır.

Çözüm, veri öncelikli bir yaklaşımda Azure veri platformu bileşenlerini kullanır. Özellikle, plan şunları içerir:

  • Nesne dönüştürme: Nesne tanımlarını kaynak veri deposundan hedef veri deposundaki karşılık gelen nesnelere dönüştürme.
  • Veri alımı: Kaynak veri deposuna bağlanma ve verileri ayıklama.
  • Veri dönüştürme: Ayıklanan verileri uygun hedef veri deposu yapılarına dönüştürme.
  • Veri depolama: Kaynak veri deposundan hedef veri deposuna hem başlangıçta hem de sürekli olarak veri yükleme.

Olası kullanım örnekleri

Ana bilgisayar ve orta ölçekli müşteriler, özellikle bu hedefleri hedeflerken bu çözümden yararlanabilir:

  • Görev açısından kritik iş yüklerini modernleştirme.
  • Operasyonları geliştirmek ve rekabet avantajı elde etmek için iş zekası edinme.
  • Ana bilgisayar ve orta ölçekli veri depolarıyla ilişkili yüksek maliyetlerden ve katılıklardan kaçının.

Öneriler

Dikkat edilmesi gerekenler

Bu önemli noktalar, bir iş yükünün kalitesini geliştirmek için kullanılabilecek bir dizi yol gösteren ilke olan Azure Well-Architected Framework'ün yapı taşlarını uygular. Daha fazla bilgi için bkz. Azure Well-Architected Framework Microsoft.

Bu mimariyi değerlendirirken bu noktaları göz önünde bulundurun.

Yönetilebilirlik konusunda dikkat edilmesi gerekenler

Şirket içi uygulama ağ geçidi kullandığınızda , okuma ve yazma işlemleriyle ilgili sınırlara dikkat edin.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanımına karşı güvence sağlar. Daha fazla bilgi için bkz. Güvenlik sütununa genel bakış.

Maliyet iyileştirmesi

Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri artırmanın yollarını gözden geçmektir. Daha fazla bilgi için bkz. Maliyet iyileştirme sütununa genel bakış.

Bu çözümü uygulama maliyetini tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanın.

Sonraki adımlar

Geçiş kılavuzunu okuyun. Daha fazla bilgi için Azure Veri Mühendisliği - Ana Bilgisayar & Orta Ölçekli Modernleştirme ile iletişime geçin.

Aşağıdaki makaleler yararlı olabilir: