Apache®, Spark ve alev logosu, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki tescilli ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.
Bu makalede, ana bilgisayar ve orta ölçekli veri kaynakları için uçtan uca bir modernizasyon planı açıklanmaktadır.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
Veri akışı
Aşağıdaki veri akışı, bir ana bilgisayar veri katmanını modernleştirme işlemini özetler. Önceki diyagrama karşılık gelir.
Ana bilgisayar ve orta ölçekli sistemler verileri dosya sistemleri (VSAM, düz dosya, LTFS), ilişkisel veritabanları (z/OS için Db2, IBM i için Db2, Linux UNIX ve Windows için Db2) veya ilişkisel olmayan veritabanlarında (IMS, ADABAS, IDMS) depolar.
Nesne dönüştürme işlemi, kaynak nesnelerden nesne tanımlarını ayıklar. Ardından tanımlar hedef veri deposunda karşılık gelen nesnelere dönüştürülür.
- Db2 için SQL Server Geçiş Yardımcısı (SSMA), şemaları ve verileri IBM Db2 veritabanlarından Azure veritabanlarına geçirir.
- Konak Dosyaları için Yönetilen Veri Sağlayıcısı nesneleri şu şekilde dönüştürür:
- COBOL ve RPG kayıt düzenlerini veya kopya kitaplarını ayrıştırma.
- Kopyalama kitaplarını .NET uygulamalarının kullandığı C# nesneleriyle eşleme.
- Üçüncü taraf araçlar ilişkisel olmayan veritabanlarında, dosya sistemlerinde ve diğer veri depolarında otomatik nesne dönüştürme gerçekleştirir.
Veriler alınıp dönüştürülür. Ana bilgisayar ve orta ölçekli sistemler, dosya sistemi verilerini EBCDIC ile kodlanmış biçimde aşağıdaki gibi dosya biçimlerinde depolar:
COBOL, PL/I ve derleme dili copybook'ları bu dosyaların veri yapısını tanımlar.
a. FTP, tek düzenlere ve ikili biçimde paketlenmemiş alanlara ve buna karşılık gelen kopya defterine sahip ana bilgisayarı ve orta ölçekli dosya sistemi veri kümelerini Azure'a aktarır.
b. Veriler dönüştürülür. Azure Data Factory özel bağlayıcısı, ana bilgisayar veri kümelerini dönüştürmek için Konak Tümleştirme Sunucusu'nun Konak Dosyası istemci bileşeni kullanılarak geliştirilen bir çözümdür.
Host Integration Server mevcut IBM konak sistemlerini, programlarını, iletilerini ve verilerini Azure uygulamalarıyla tümleştirir. Konak Tümleştirme Sunucusu, veri kümesi dönüştürme için özel bir çözüm geliştirmek için kullanabileceğiniz bir Konak Dosyası istemci bileşenidir.
Azure Data Factory özel bağlayıcısı açık kaynak Spark çerçevesini temel alır ve Azure Synapse Analytics üzerinde çalışır. Diğer çözümler gibi kopya defterini ayrıştırabilir ve verileri dönüştürebilir. Azure Logic Apps Ana Bilgisayar Dosya İçeriğini Ayrıştır bağlayıcısını kullanarak veri dönüştürme hizmetini yönetin.
c. İlişkisel veritabanı verileri geçirilir.
IBM ana bilgisayarı ve orta ölçekli sistemler verileri aşağıdaki gibi ilişkisel veritabanlarında depolar:
Bu hizmetler veritabanı verilerini geçirir:
- Data Factory, veritabanlarından verileri ayıklamak ve tümleştirmek için Db2 bağlayıcısı kullanır.
- SQL Server Integration Services çeşitli veri ETL görevlerini işler.
d. İlişkisel olmayan veritabanı verileri geçirilir.
IBM ana bilgisayarı ve orta ölçekli sistemler, verileri aşağıdaki gibi ilişkisel olmayan veritabanlarında depolar:
- Bir ağ modeli veritabanı yönetim sistemi (DBMS) olan IDMS
- IMS, hiyerarşik model DBMS
- Adabaş
- Datacom
Üçüncü taraf ürünler bu veritabanlarındaki verileri tümleştirir.
Data Factory ve AzCopy gibi Azure hizmetleri verileri Azure veritabanlarına ve Azure veri depolama alanına yükler. Verileri yüklemek için üçüncü taraf çözümleri ve özel yükleme çözümlerini de kullanabilirsiniz.
Azure birçok yönetilen veri depolama çözümü sağlar:
Azure hizmetleri bilgi işlem, analiz, depolama ve ağ için modernleştirilmiş veri katmanını kullanır.
İstemci uygulamaları da modernleştirilmiş veri katmanını kullanır.
Bileşenler
Veri depolama
- SQL Veritabanı, Azure SQL ailesinin bir parçasıdır. Bulut için oluşturulmuş ve tam olarak yönetilen ve her zaman yeşil bir hizmet olarak platformun tüm avantajlarını sağlar. SQL Veritabanı ayrıca performansı ve dayanıklılığı en iyi duruma getiren yapay zeka destekli otomatik özellikler sağlar. Sunucusuz işlem ve Hiper Ölçek depolama seçenekleri , kaynakları isteğe bağlı olarak otomatik olarak ölçeklendirir.
- PostgreSQL için Azure Veritabanı, açık kaynak PostgreSQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir.
- Azure Cosmos DB, genel olarak dağıtılmış çok modelli bir NoSQL veritabanıdır.
- MySQL için Azure Veritabanı, açık kaynak MySQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir.
- MariaDB için Azure Veritabanı bulut tabanlı bir ilişkisel veritabanı hizmetidir. MariaDB topluluk sürümü veritabanı altyapısını temel alır.
- SQL Yönetilen Örneği, tam olarak yönetilen ve her zaman yeşil bir hizmet olarak platformun tüm avantajlarını sunan akıllı, ölçeklenebilir bir bulut veritabanı hizmetidir. SQL Yönetilen Örneği, en son SQL Server Enterprise sürüm veritabanı altyapısıyla %100'e yakın uyumluluğa sahiptir. Ayrıca, yaygın güvenlik sorunlarını gideren yerel bir sanal ağ uygulaması sağlar.
- Azure Data Lake Depolama, büyük miktarda veriyi yerel ve ham biçiminde tutan bir depolama deposudur. Data Lake Store'lar terabaytlar ve petabaytlar kadar veriyi ölçeklendirmek için iyileştirilmiştir. Veriler genellikle birden çok heterojen kaynaktan gelir. Yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış olabilir.
İşlem
- Data Factory, işlem altyapısı olan bir tümleştirme çalışma zamanı (IR) kullanarak verileri farklı ağ ortamları arasında tümleştirir. Data Factory, şirket içinde barındırılan IR'leri kullanarak verileri bulut veri depoları ile şirket içi ağlardaki veri depoları arasında kopyalar.
- Azure Sanal Makineler isteğe bağlı, ölçeklenebilir bilgi işlem kaynakları sağlar. Azure sanal makinesi (VM), sanallaştırma esnekliği sağlar ancak fiziksel donanımın bakım taleplerini ortadan kaldırır. Azure VM'leri, Windows ve Linux dahil olmak üzere çeşitli işletim sistemleri sunar.
Veri tümleştiricileri
- Azure Data Factory bir karma veri tümleştirme hizmetidir. Bu çözümde, Azure Data Factory özel bağlayıcısı ana bilgisayar veri kümelerini dönüştürmek için Konak Tümleştirme Sunucusu'nun Konak Dosyası istemci bileşenini kullanır. Minimum kurulumla, ana bilgisayar veri kümenizi diğer Azure Data Factory bağlayıcılarını kullandığınız gibi dönüştürmek için özel bir bağlayıcı kullanabilirsiniz.
- AzCopy , blobları veya dosyaları depolama hesaplarına veya dışına taşıyan bir komut satırı yardımcı programıdır.
- SQL Server Integration Services , kurumsal düzeyde veri tümleştirme ve dönüştürme çözümleri oluşturmaya yönelik bir platformdur. Karmaşık iş sorunlarını çözmek için şu şekilde kullanabilirsiniz:
- Dosyaları kopyalama veya indirme.
- Veri ambarları yükleniyor.
- Verileri temizleme ve araştırma.
- SQL Server nesnelerini ve verilerini yönetme.
- Host Integration Server teknolojileri ve araçları mevcut IBM konak sistemlerini, programlarını, iletilerini ve verilerini Azure uygulamalarıyla tümleştirmenizi sağlar. Konak Dosyası istemci bileşeni, EBCDIC'den ASCII'ye dönüştürülen veriler için esneklik sağlar. Örneğin, dönüştürülen verilerden JSON/XML oluşturabilirsiniz.
- Azure Synapse , veri tümleştirmesi, kurumsal veri ambarı ve büyük veri analizini bir araya getirir. Bu mimaride kullanılan Azure Synapse dönüştürme çözümü Apache Spark'ı temel alır ve büyük ana bilgisayar veri kümesi iş yükü dönüştürme için iyi bir adaydır. Çok çeşitli ana bilgisayar veri yapılarını ve hedeflerini destekler ve minimum kodlama çabası gerektirir.
Diğer araçlar
- Db2 için SQL Server Geçiş Yardımcısı, Db2'den Microsoft veritabanı hizmetlerine geçişi otomatikleştirir. Bir VM üzerinde çalıştığında, bu araç Db2 veritabanı nesnelerini SQL Server veritabanı nesnelerine dönüştürür ve bu nesneleri SQL Server'da oluşturur.
- Konak Dosyaları için Veri Sağlayıcısı, çevrimdışı, SNA veya TCP/IP bağlantıları kullanan bir Konak Tümleştirme Sunucusu bileşenidir.
- Çevrimdışı bağlantılarda, Veri Sağlayıcısı kayıtları yerel ikili dosyada okur ve yazar.
- SNA ve TCP/IP bağlantıları ile Veri Sağlayıcısı uzak z/OS (IBM Z Series Mainframe) veri kümelerinde veya uzak i5/OS (IBM AS/400 ve iSeries sistemleri) fiziksel dosyalarında depolanan kayıtları okur ve yazar. Yalnızca i5/OS sistemleri TCP/IP kullanır.
- Azure hizmetleri , genel bulutta yeni uygulamalar geliştirmek ve ölçeklendirmek için ortamlar, araçlar ve süreçler sağlar.
Senaryo ayrıntıları
Azure veri platformu gibi modern veri depolama çözümleri, ana bilgisayar ve orta ölçekli sistemlerden daha iyi ölçeklenebilirlik ve performans sağlar. Sistemlerinizi modernleştirerek bu avantajlardan yararlanabilirsiniz. Ancak teknoloji, altyapı ve uygulamaları güncelleştirmek karmaşıktır. Süreç, iş ve mühendislik etkinliklerinin kapsamlı bir araştırmasını içerir. Sistemlerinizi modernleştirirken veri yönetimi dikkate alınacak noktalardan biridir. Ayrıca veri görselleştirme ve tümleştirmeye de bakmanız gerekir.
Başarılı modernleştirmeler, veri öncelikli bir strateji kullanır. Bu yaklaşımı kullandığınızda, yeni sistem yerine verilere odaklanırsınız. Veri yönetimi artık yalnızca modernleştirme denetim listesindeki bir öğe değildir. Bunun yerine, veriler ortadaki parçadır. Eşgüdümlü, kalite odaklı veri çözümleri parçalanmış, kötü yönetilen çözümlerin yerini alır.
Bu çözüm, veri öncelikli bir yaklaşımda Azure veri platformu bileşenlerini kullanır. Özellikle, çözüm şunları içerir:
- Nesne dönüştürme. Nesne tanımlarını kaynak veri deposundan hedef veri deposundaki ilgili nesnelere dönüştürme.
- Veri alımı. Kaynak veri deposuna Bağlan ve verileri ayıklama.
- Veri dönüştürme. Ayıklanan verileri uygun hedef veri deposu yapılarına dönüştürme.
- Veri depolama. Kaynak veri deposundan hedef veri deposuna hem başlangıçta hem de sürekli olarak veri yükleme.
Olası kullanım örnekleri
Ana bilgisayar ve orta ölçekli sistemler kullanan kuruluşlar, özellikle de bu hedeflere ulaşmak istediklerinde bu çözümden yararlanabilir:
- Görev açısından kritik iş yüklerini modernleştirin.
- Operasyonları geliştirmek ve rekabet avantajı elde etmek için iş zekası edinin.
- Ana bilgisayar ve orta ölçekli veri depolarıyla ilişkili yüksek maliyetleri ve katılığı kaldırın.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve. Verileri dönüştürmek için Konak Dosyaları istemcisinin Veri Sağlayıcısı kullandığınızda, bağlantı başlatma süresini kısaltmak için bağlantı havuzunu açın. Verileri ayıklamak için Data Factory'yi kullandığınızda kopyalama etkinliğinin performansını ayarlayın.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.
- Azure'da şirket içi istemci kimlikleri ile istemci kimlikleri arasındaki farkları unutmayın. Farkları telafi etmeniz gerekir.
- Bileşenden bileşene veri akışları için yönetilen kimlikleri kullanın.
- Verileri dönüştürmek için Konak Dosyaları için Veri Sağlayıcısı kullandığınızda, Konak Dosyaları güvenliği ve koruması için Veri Sağlayıcısı'lerdeki önerileri izleyin.
Maliyet iyileştirme
Maliyet iyileştirmesi gereksiz giderleri azaltmak ve operasyonel verimlilikleri iyileştirmektir. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.
- SQL Server Geçiş Yardımcısı, Db2'den SQL Server, SQL Veritabanı ve SQL Yönetilen Örneği veritabanı geçişlerini basitleştiren ücretsiz ve desteklenen bir araçtır. SQL Server Geçiş Yardımcısı geçiş değerlendirme analizi, şema ve SQL deyimi dönüştürme ve veri geçişi dahil olmak üzere geçişin tüm yönlerini otomatikleştirir.
- Azure Synapse Spark tabanlı çözüm, açık kaynak kitaplıklardan oluşturulur. Lisans dönüştürme araçlarının mali yükünü ortadan kaldırır.
- Bu çözümü uygulama maliyetini tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanın.
Performans verimliliği
Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz. Performans verimliliği sütununa genel bakış.
- Performans verimliliğinin temel dayanağı performans yönetimi, kapasite planlaması, ölçeklenebilirlik ve uygun bir performans deseni seçmektir.
- Mantıksal örneği etkin-etkin modda birden çok şirket içi makineyle ilişkilendirerek şirket içinde barındırılan IR'nin ölçeğini genişletebilirsiniz.
- Azure SQL Veritabanı, veritabanlarınızı dinamik olarak ölçeklendirme olanağı sunar. Sunucusuz bir katmanda işlem kaynaklarını otomatik olarak ölçeklendirebilir. Veritabanlarının havuzdaki kaynakları paylaşmasına olanak tanıyan Elastik Havuz yalnızca el ile ölçeklendirilebilir.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazar:
- Ashish Khandelwal | Baş Mühendislik Mimarı Yöneticisi
Diğer katkıda bulunanlar:
- Mick Alberts | Teknik Yazar
- Nithish Aruldoss | Mühendislik Mimarı
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
Azure Veritabanı Geçiş Kılavuzları'nı gözden geçirin. Daha fazla bilgi için Azure Veri Madenciliği - Ana Bilgisayar ve Orta Ölçekli Modernleştirme ile iletişime geçin.
Şu makalelere bakın:
- Azure'da IBM iş yükleri
- Azure sanal makinelerinde ana bilgisayar yeniden barındırma
- Azure'da desteklenen ana bilgisayar iş yükleri
- Ana bilgisayar hesaplamasını Azure'a taşıma