Rocket® Data Replicate and Sync (RDRS), eski adıyla tcVISION, Rocket Software tarafından geliştirilen bir veri çoğaltma çözümüdür. RDRS, çeşitli Azure veri platformu hizmetleri için ana bilgisayar veri çoğaltması, veri eşitlemesi, veri geçişi ve değişiklik veri yakalama (CDC) için ibm ana bilgisayar tümleştirme çözümü sağlar.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
İş Akışı
RDRS veri çoğaltma çözümü IBM Db2, IBM Information Management System (IMS) DB, Software AG için Adabas, CA Datacom ve Computer Associates Integrated Veri Yönetimi System (CA IDMS) gibi birçok ana bilgisayar tabanlı veritabanından CDC'yi destekler. RDRS, değişiklik verilerini kayıt düzeyinde yakalamak için günlük tabanlı CDC aracıları sağlar. Bu günlük tabanlı CDC, üretim kaynağı veritabanlarına göz ardı edilebilir ek yük getirir.
RDRS, Sanal Depolama Erişim Yöntemi (VSAM) dosyalarından CDC'yi destekler.
Görev ana bilgisayarda başlar. Başlatılan görevler veya STC'ler, RDRS yazılım yüklemesinin bir parçası olarak ana bilgisayarda oluşturulur. İki önemli STC şunlardır:
- Değiştirilen verileri kaynaktan yakalayan yakalama aracısı.
- Değiştirilen verileri hedefe verimli bir şekilde yazmak için veritabanı yönetim sistemine (DBMS) özgü API'leri kullanan aracıyı uygulayın.
Not
Db2 z/OS için RDRS, STC gerektirmeyen Db2 kullanıcı tanımlı türü (UDT) yoluyla aracısız bir CDC çözümü de sunar.
Açık platform yöneticisi (OPM), çoğaltma sunucusu işlevi görür. Bu sunucu, kaynaklar ve hedefler için meta veriler oluşturmak üzere otomatik veri eşlemeye yönelik yardımcı programlar içerir. Ayrıca, kaynaktan veri ayıklamak için kural kümesini içerir. Sunucu, hedef sistemler için verileri dönüştürür ve işler ve verileri hedeflere yazar. Bu bileşeni Linux, Unix ve Windows işletim sistemlerine yükleyebilirsiniz.
RDRS panosu veri değişimi işlemlerinin yönetimini, gözden geçirmesini, çalışmasını, denetimini ve izlenmesini sağlar. RDRS komut satırı yardımcı programları, veri değişim işlemlerini otomatikleştirir ve veri eşitleme işleminin katılımsız işlemlerini yönetir.
RDRS uygulama aracısı DBMS'ye özgü API'leri kullanır. Bu API'ler, kaynaktaki CDC teknolojisiyle birlikte gerçek zamanlı veri değişikliklerini hedef Azure veri hizmetlerine verimli bir şekilde uygular ve bu da veritabanı ve dosyalar anlamına gelir.
RDRS, değiştirilen verilerin Azure Event Hubs veya Kafka'ya doğrudan akışını destekler. Ardından Azure Logic Apps, bir işlev veya sanal makinedeki (VM) özel bir çözüm bu olayları işler.
RDRS tarafından desteklenen Azure veri platformu hedefleri Azure SQL Veritabanı, PostgreSQL için Azure Veritabanı, MySQL için Azure Veritabanı, Azure Cosmos DB, Azure Data Lake Storage ve diğerleridir.
Azure veri platformuna gelen veriler, Azure hizmetleri veya görmesine izin verilen diğer platformlar tarafından kullanılır. Örnek olarak Power BI, Azure Synapse Analytics veya özel uygulamalar verilebilir.
RDRS bir Azure veritabanı platformundan (SQL Veritabanı, MySQL için Azure Veritabanı, PostgreSQL için Azure Veritabanı veya Data Lake Storage gibi) yakalama değişikliklerini ters eşitleyebilir ve bunları ana bilgisayar veri katmanına geri yazabilir.
Ana bilgisayar veritabanı yedekleme ve kaldırma dosyaları toplu yükleme işleme için RDRS kullanılarak bir Azure VM'ye kopyalanır.
RDRS toplu yükü, ana bilgisayar kaynak verilerini kullanarak ilk hedef veritabanı yükünü gerçekleştirir. Kaynak veriler doğrudan ana bilgisayar veri deposundan veya bir ana bilgisayar yedekleme veya kaldırma dosyasından okunabilir. Toplu yükleme, genişletilmiş ikili kodlanmış ondalık değişim kodu (EBCDIC) dolu alanlar gibi ana bilgisayar veri türlerinin otomatik çevirisini sağlar. Ana bilgisayar veritabanının doğrudan okunmasının yerine en iyi performans için yedekleme veya kaldırma verilerini kullanın. Kaldırma veya yedekleme verilerinin gerekli RDRS Azure VM'sine taşınması ve yerel veritabanı yükleyicilerinin kullanılması ağ girişini/çıkışını (G/Ç) en aza indirdiği ve yükleme süresini azalttığı için veritabanını doğrudan okumamalısınız.
Bileşenler
Çözüm aşağıdaki bileşenleri kullanır.
Ağ ve kimlik bileşenleri
- Azure ExpressRoute: ExpressRoute, bir bağlantı sağlayıcısı tarafından işlenen özel bir bağlantı üzerinden şirket içi ağlarınızı Microsoft Bulut'a genişletmenize olanak tanır. Microsoft Azure ve Microsoft 365 gibi bulut hizmetlerine bağlantı kurmak için ExpressRoute'u kullanabilirsiniz.
- Azure VPN Gateway: VPN ağ geçidi, azure sanal ağı ile şirket içi konum arasında genel İnternet üzerinden şifrelenmiş trafik gönderen belirli bir sanal ağ geçidi türüdür.
- Microsoft Entra Id: Microsoft Entra Id, şirket içi dizinle eşitleyebileceğiniz bir kimlik ve erişim yönetimi hizmetidir.
Uygulama bileşenleri
- Logic Apps: Logic Apps, otomatik yinelenen görevlerin ve işlemlerin zamanlamaya göre oluşturulmasına ve çalıştırılmasına yardımcı olur. HTTP veya HTTPS uç noktaları gibi Azure'ın içindeki ve dışındaki hizmetleri arayabilir, Azure Depolama ve Azure Service Bus gibi Azure hizmetlerine ileti gönderebilir veya dosyaları bir dosya paylaşımına yükleyebilirsiniz.
- Azure İşlevleri: Azure İşlevleri, uygulama altyapısı konusunda endişelenmeden işlev olarak adlandırılan küçük kod parçalarını çalıştırmanıza olanak tanır. İşlevler'i kullandığınızda, bulut altyapısı uygulamanızın uygun ölçekte çalışmasını sağlamak için ihtiyacınız olan güncel sunucuları sağlar.
- Azure Sanal Makineler: Azure VM'leri isteğe bağlı, ölçeklenebilir bilgi işlem kaynaklarıdır. Azure VM sanallaştırma esnekliği sağlar ve fiziksel donanımın bakım taleplerini ortadan kaldırır. Azure VM'leri hem Windows hem de Linux sistemlerinde çalışır.
Depolama bileşenleri
- Depolama: Depolama Azure Blob Depolama, Azure Tablo Depolama, Azure Kuyruk Depolama ve Azure Dosyalar gibi yönetilmeyen depolama çözümleri sunar. Azure Dosyalar özellikle yeniden tasarlanmış ana bilgisayar çözümleri için kullanışlıdır ve yönetilen SQL depolama ile etkili bir eklenti sağlar.
- Azure SQL: Azure SQL, Azure'dan SQL Server için tam olarak yönetilen bir hizmet olarak platformdur (PaaS). İlişkisel veriler geçirilebilir ve Azure SQL Yönetilen Örneği, Azure SQL VM'leri, PostgreSQL için Azure Veritabanı, MariaDB için Azure Veritabanı ve MySQL için Azure Veritabanı.
- Azure Cosmos DB: Azure Cosmos DB, tablosal olmayan verileri ana bilgisayarın dışına geçirmek için kullanabileceğiniz bir SQL olmayan tekliftir.
İzleme bileşenleri
- Azure İzleyici: Azure İzleyici, bulut ve şirket içi ortamlardan telemetri verilerini toplamak, analiz etmek ve üzerinde işlem gerçekleştirmek için kapsamlı bir çözüm sunar.
- Application Insights: Application Insights, uygulama telemetri verilerini analiz eder ve sunar.
- Azure İzleyici Günlükleri: Azure İzleyici Günlükleri, izlenen kaynaklardan günlük ve performans verilerini toplayan ve düzenleyen bir İzleyici özelliğidir. Azure hizmetlerinden platform günlükleri, VM aracılarından günlük ve performans verileri, uygulamalardan gelen kullanım ve performans verileri gibi birden çok kaynaktan verileri, milyonlarca kaydı hızla analiz edebilen gelişmiş bir sorgu dili kullanarak birlikte analiz edilecek tek bir çalışma alanında birleştirebilirsiniz.
- Log Analytics: Log Analytics, Azure portalında bulunan bir araçtır. Azure İzleyici Günlükleri'nde toplanan verilerden içgörüler elde etmek için günlük sorgularını kullanabilirsiniz. Log Analytics, birden çok tablodan verileri birleştirebilmeniz, büyük veri kümelerini toplamanız ve çok az kodla karmaşık işlemler gerçekleştirmeniz için güçlü bir sorgu dili kullanır.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Maliyet iyileştirme
Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış. Bu çözümü uygulama maliyetini tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanın.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik için tasarım gözden geçirme denetim listesi.
- Yüksek kullanılabilirlik sağlamak için ayrı kullanılabilirlik alanlarına dağıtılan Azure VM'lerinde RDRS OPM'yi ayarlayın. Hata durumunda ikincil RDRS OPM etkinleştirilir ve ikincil RDRS OPM, IP adresini RDRS Ana Bilgisayar Yöneticisi'ne iletir. Ardından ana bilgisayar, mantıksal iş birimi (LUW) ve yeniden başlatma dosyalarının bir bileşimini kullanarak sonraki mantıksal yeniden başlatma noktasında işlemeye devam eden yeni RDRS OPM ile iletişim kurar.
- Azure veritabanı hizmetlerini, kesinti veya planlı bakım penceresi olduğunda ikincil düğüme yük devredebilecek şekilde alanlar arası yedekliliği destekleyecek şekilde tasarlayabilirsiniz.
- Bir Azure kaynağının durumunu izlemek için Azure İzleyici Günlüklerini ve Application Insights'ı kullanın. Proaktif yönetim için uyarılar ayarlayabilirsiniz.
Ölçeklenebilirlik
- Birden çok paralel çoğaltma akışı çalıştırarak CDC işlemesi için RDRS ölçeklendirmesini ayarlayın. İlk olarak mantıksal işlemlere dahil edilen dosyaları analiz edin. Bu dosyalar sırayla birlikte işlenmelidir. RDRS CDC işlemi, her mantıksal işlemin bütünlüğünü sağlar. Örneğin, ortak işlemlere katılmayan tablo kümeleri, birden çok işleme betikleri oluşturularak paralel görevlere ayrılabilir.
- RDRS, tek bir Azure VM'sinde veya birden çok Azure VM'sinde paralel eşzamanlı toplu yükleme işlemi çalıştırabilir ve bu da yatay ölçeklenebilirlik sağlar. İşlemi rastgele aralıklar veya satır filtreleme kullanarak birden çok görev halinde bölerek büyük tablolar için hızlı toplu yükleme işlemleri gerçekleştirin. Satır filtreleme bir anahtar, bölüm anahtarı, tarih ve diğer filtreleri kullanabilir.
- SQL Veritabanı sunucusuz işlem katmanı, iş yüküne göre otomatik ölçeklendirme seçeneği sağlar. İş yükü taleplerini karşılamak için otomasyon kullanılarak diğer Azure veritabanlarının ölçeği artırılabilir ve azaltılabilir.
- Daha fazla bilgi için bkz . Azure'da en iyi otomatik ölçeklendirme yöntemleri.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik için tasarım gözden geçirme denetim listesi.
- Microsoft Entra Id kullanarak RDRS için kimlik doğrulamasını ve erişimini denetleme.
- Aktarım Katmanı Güvenliği'ni (TLS) kullanarak RDRS ürünleri (ana bilgisayardan Azure'a) arasındaki veri aktarımlarını şifreleyin.
- Şirket içi ortamdan Azure'a özel ve verimli bir bağlantı için ExpressRoute veya siteden siteye VPN kullanın.
- Microsoft Entra Kimliğini kullanarak Azure kaynaklarının kimliğini doğrulayın ve rol tabanlı erişim denetimi (RBAC) ile izinleri yönetin.
- Bekleyen veri şifreleme (TDE), aktarım sırasında veri şifreleme (TLS) ve işleme sırasında veri şifreleme gibi çeşitli güvenlik seçeneklerini desteklemek için Azure'daki veritabanı hizmetlerini kullanın; böylece verileriniz her zaman şifrelenir.
- Güvenli çözümler tasarlama yönergeleri için bkz . Azure güvenlik belgeleri.
- Güvenlik temelinizi öğrenmek için bkz . Azure için güvenlik temelleri.
Senaryo ayrıntıları
Ana bilgisayarlar, çok sayıda işlemi işleyen sunuculardır. Ana bilgisayar uygulamaları her gün büyük miktarda veri üretir ve tüketir. Genel bulutlar esneklik, maliyet iyileştirme, kullanım kolaylığı ve kolay tümleştirme sağlar. Birçok x86 ve ana bilgisayar uygulaması buluta taşındığından kuruluşların iyi tasarlanmış bir ana bilgisayar-bulut veri tümleştirmesi ve geçiş stratejisine sahip olması gerekir.
Bu senaryo, Rocket Software tarafından sağlanan RDRS'yi kullanarak IBM Z (ana bilgisayar) veri katmanını Azure bulut veri platformuyla tümleştirir.
Olası kullanım örnekleri
Bu çözüm, Azure veri platformuna büyük ölçekli veri geçişleri için idealdir. Aşağıdaki kullanım örnekleri için bu senaryoyu göz önünde bulundurun:
- Ana bilgisayar veri katmanının tam geçişi: Bu kullanım örneğinde müşteri tüm Db2, IMS, IDMS, dosyaları ve diğer verilerini bir ana bilgisayardan Azure veri platformuna taşımak ister.
- Ana bilgisayar ve Azure tabanlı uygulamaların birlikte kullanılabilirliği: Bu kullanım örneğinde, bir müşteri ana bilgisayar ile Azure veri platformu arasında çift yönlü eşitleme için destek gerektirir.
- Arşivleme: Bu kullanım örneğinde müşteri, denetim ve uyumluluk amacıyla verileri depolamak istiyor ancak bu verilere sık sık erişmek istemiyor. Depolama, arşiv verilerini depolamak için düşük maliyetli bir çözüm sağlar.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazarlar:
- Sandip Khandelwal | Kıdemli Mühendislik Mimarı
Diğer katkıda bulunanlar:
- Liz Casey | Kıdemli İçerik Geliştirici
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
- Eğitim: Azure'da veri platformu mimarisi oluşturma
- Azure Veri Madenciliği Ekibine başvurun.
- Azure veritabanı geçiş kılavuzları
- Eğitim: SQL Server geçiş stratejisi tasarlama
- Geçiş kılavuzu: SQL Server'ı Azure SQL Veritabanı