Migrowanie warstwy danych mainframe na platformę Azure za pomocą programu mLogica LIBER*IRIS

Azure Database for MySQL

Azure Database for PostgreSQL

Azure Cosmos DB

Azure SQL Database

Azure Storage

Duża liczba transakcji dla aplikacji mainframe tworzy dużą ilość danych. Platforma Azure oferuje atrakcyjny cel modernizacji komputera mainframe i migracji danych. Relacyjne bazy danych platformy Azure i Bazy danych NoSQL zapewniają skalowalność, wysoką dostępność i łatwość konserwacji, która spełnia lub przekracza środowisko mainframe. Jeśli chcesz wycofać obciążenie komputera mainframe i zachować dane w magazynie o niskich kosztach, platforma Azure oferuje opcje.

Migrowanie obciążeń z komputera mainframe na platformę Azure w ramach ponownego tworzenia lub refaktoryzacji aplikacji zwykle wymaga migracji danych na dużą skalę. MLogica's LIBER*IRIS udostępnia sprawdzone rozwiązanie do zbiorczej migracji danych z komputera mainframe na platformę Azure. Rozwiązanie działa na dużą skalę na potrzeby migrowania obciążeń przedsiębiorstwa. W tym artykule pokazano, jak migrować dane mainframe ibm z/OS z wysoką wiernością na platformę Azure.

mLogica LIBER*IRIS i jego logo są znakami towarowymi swojej firmy. Użycie tych znaków nie jest dorozumiane.

Architektura

Na poniższym diagramie pokazano, jak mLogica LIBER*IRIS integruje się ze składnikami platformy Azure w celu migrowania danych mainframe na platformę Azure na dużą skalę.

Pobierz plik programu Visio z tą architekturą.

Przepływ pracy

Kroki migracji danych mainframe na platformę Azure są następujące:

Kopiowanie plików języka definicji danych (DDL), plików opisu bazy danych (DBD), elementów copybook, układów danych i innych artefaktów opisu danych do maszyny wirtualnej z systemem Linux platformy Azure skonfigurowanej przy użyciu narzędzi usługi migracji danych mLogica przy użyciu protokołu FTPS za pośrednictwem bezpiecznej wirtualnej sieci prywatnej (VPN) platformy Azure lub usługi Azure ExpressRoute.
Klaster migracji danych mLogica Liber*IRIS generuje skrypty wyodrębniania danych do uruchomienia na komputerze mainframe.
Użyj protokołu FTPS za pośrednictwem sieci VPN, aby przenieść skrypty wyodrębniania danych do komputera mainframe. Połączenie FTPS konwertuje ASCII na format EBCDIC komputera mainframe.
Wyodrębnione skrypty są uruchamiane na komputerze mainframe. Eksportują dane z wielu źródeł do plików sekwencyjnych, w których wszystkie pakowane dane dziesiętne są rozpakowane. Generują skrypty ładowania SQL używane do ładowania danych do docelowej bazy danych.
Sekwencyjne pliki i skrypty ładowania są przenoszone przy użyciu binarnej sfTP do usługi Azure Blob Storage. Dane mainframe są nadal w formacie EBCDIC w tym momencie.
Usługa migracji danych mLogica uruchamia skrypty ładowania w celu przekonwertowania identyfikatora EBCDIC na ASCII. Skrypty zapisują błędy podczas ładowania do usługi Azure Storage. Aby zmniejszyć koszty, można użyć dwóch kont magazynu: przechowywania plików danych w warstwie dostępu gorąca i plików dziennika w warstwie dostępu zimnego.
Skrypty ładują przekonwertowane dane ASCII z plików sekwencyjnych do docelowej relacyjnej bazy danych platformy Azure. Skrypty ładowania obejmują polecenia DDL umożliwiające tworzenie tabel i innych obiektów oraz zapytań SQL w celu załadowania danych do tych obiektów. Skaluj proces ładowania w poziomie w klastrze, aby zmaksymalizować przepływność zgodnie z potrzebami. Dzienniki wykonywania i szczegółowe dzienniki wyjątków są przechowywane w usłudze Azure Blob Storage w celu dalszej analizy.
Usługa migracji danych mLogica Liber*IRIS uruchamia skrypty ładowania, aby przekształcać dane z formatu pliku relacyjnego na format bazy danych NoSQL. Te dane NoSQL można załadować do usługi Azure Cosmos DB przy użyciu interfejsu API SQL usługi Azure Cosmos DB.

Składniki

Sieć i tożsamość
- Usługa Azure ExpressRoute umożliwia rozszerzenie sieci lokalnych na platformę Azure za pośrednictwem połączenia prywatnego przy użyciu dostawcy łączności.
- Azure VPN Gateway to brama sieci wirtualnej używana do wysyłania zaszyfrowanego ruchu między siecią wirtualną platformy Azure a lokalizacją lokalną przez Internet.
- Microsoft Entra ID to usługa zarządzania tożsamościami i dostępem, którą można zsynchronizować z katalogiem lokalnym.
Aplikacja
- Usługa Azure Virtual Machines zapewnia skalowalne zasoby obliczeniowe na żądanie. Klaster migracji danych mLogica działa na maszynach wirtualnych z systemem Linux platformy Azure zoptymalizowanych pod kątem wydajności sieci.
Przechowywanie danych
- Usługa Azure Blob Storage oferuje magazyn o wysokiej dostępności, szyfrowany i magazynowany, ekonomiczny i o wysokiej pojemności. Umożliwia ona bezpośredni ruch binarny SFTP z komputera mainframe. Usługa Blob Storage może instalować kontenery na maszynach wirtualnych z systemem Linux przy użyciu systemu plików NFS.
- Usługi Azure SQL, Azure Database for PostgreSQL i Azure Database for MySQL to w pełni zarządzane usługi platformy jako usługi (PaaS) dla programów SQL Server, PostgreSQL i MySQL. Zapewniają one wysokowydajne, wysoce dostępne opcje dla danych relacyjnych mainframe, emulowane dane nierelacyjne i emulowane dane metody dostępu do magazynu wirtualnego (VSAM).
- Azure Cosmos DB to baza danych Azure NoSQL. Służy do migrowania nierelacyjnych źródeł komputerów mainframe, takich jak System zarządzania informacjami (IMS), zintegrowany system zarządzania bazami danych (IDMS) i dostosowywany system baz danych (ADABAS).
Monitorowanie
- Usługa Azure Monitor udostępnia kompleksowe rozwiązanie do zbierania, analizowania i działania na telemetrii ze środowisk chmurowych i lokalnych.
- application insights odbiera dane telemetryczne aplikacji do analizowania i prezentowania.
- Dzienniki usługi Azure Monitor to funkcja usługi Azure Monitor, która zbiera i organizuje dane dzienników i wydajności z monitorowanych zasobów. Ta funkcja może konsolidować dane z wielu źródeł w jednym obszarze roboczym. Źródła te obejmują dzienniki platformy z usług platformy Azure, dzienniki i dane wydajności z agentów maszyn wirtualnych oraz dane użycia i wydajności z aplikacji. Przeanalizuj te źródła razem przy użyciu zaawansowanego języka zapytań, który umożliwia szybkie analizowanie milionów rekordów.
- Log Analytics to funkcja usługi Azure Monitor. Zapytania dzienników ułatwiają korzystanie z danych zebranych w dziennikach usługi Azure Monitor i dziennikach wykonywania skryptu ładowania mLogica, które są przechowywane w usłudze Blob Storage. Zaawansowany język zapytań umożliwia łączenie danych z wielu tabel, agregowanie dużych zestawów danych i wykonywanie złożonych operacji.

Potencjalne przypadki użycia

Dla tego przykładowego obciążenia istnieją dwa kluczowe przypadki użycia:

Refaktoryzacja lub refaktoryzacja obciążeń

Przenieś wszystkie dane mainframe związane z obciążeniem z komputera mainframe na platformę Azure. Te dane obejmują bazy danych, takie jak Db2, IMS i IDMS oraz pliki.
Archiwalnych

Wycofaj obciążenie komputera mainframe i zachowaj dane w rozwiązaniu magazynu platformy Azure o niskich kosztach.

Zalecenia

Postępuj zgodnie z tymi ogólnymi zaleceniami, chyba że masz określone wymaganie, które je zastępuje:

Aby zmniejszyć opóźnienie sieci, utwórz wszystkie zasoby platformy Azure wymienione w tym scenariuszu w jednym regionie.
Zamiast wysyłać jeden duży plik z komputera mainframe na platformę Azure, podzielić dane na wiele plików i wysłać je równolegle.

Kwestie wymagające rozważenia

Te zagadnienia implementują filary struktury Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.

Niezawodność

Niezawodność zapewnia, że aplikacja może spełnić zobowiązania podjęte przez klientów. Aby uzyskać więcej informacji, zobacz Design review checklist for Reliability(Lista kontrolna dotycząca niezawodności).

Odporność

Monitorowanie klastra migracji danych mLogica przy użyciu usług Azure Monitor i Application Insights . Konfigurowanie alertów na potrzeby proaktywnego zarządzania.

Aby uzyskać więcej informacji na temat odporności na platformie Azure, zobacz Projektowanie niezawodnych aplikacji platformy Azure.

Dostępność

W tym przykładowym przepływie pracy opisano migrację danych z komputera mainframe do platformy Azure w celu ponownego utworzenia, refaktoryzacji lub archiwizacji obciążenia. To zadanie jest dyskretne, wykonywane kilka razy w ciągu miesięcznego projektu. Mimo że wysoka dostępność nie jest wymagana w tym scenariuszu, można zaprojektować klaster migracji danych mLogica w celu zapewnienia wysokiej dostępności.

Usługi bazy danych platformy Azure obsługują nadmiarowość stref. Można je skonfigurować tak, aby przełączyły się w tryb failover, jeśli wystąpiła awaria lub podczas okna obsługi.

Zabezpieczenia

Zabezpieczenia zapewniają ochronę przed celowymi atakami i nadużyciami cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotyczącazabezpieczeń. Aby uzyskać ogólne wskazówki dotyczące projektowania bezpiecznych rozwiązań, zobacz dokumentację zabezpieczeń platformy Azure.

Usługi baz danych w pomoc techniczna platformy Azure różnych opcji zabezpieczeń:

Szyfrowanie danych magazynowanych przy użyciu funkcji Transparent Data Encryption
Szyfrowanie danych podczas przesyłania przy użyciu protokołu TLS
Szyfrowanie danych podczas przetwarzania przy użyciu funkcji Always Encrypted z bezpiecznymi enklawami

Uwierzytelnianie i kontrola dostępu w klastrze migracji danych mLogica można kontrolować przy użyciu identyfikatora Microsoft Entra. Zasoby platformy Azure można skonfigurować na potrzeby uwierzytelniania i autoryzacji przy użyciu identyfikatora Entra firmy Microsoft i kontroli dostępu opartej na rolach.

Dane przesyłane między klastrem migracji danych mLogica a elementem mainframe są szyfrowane podczas przesyłania przy użyciu protokołu TLS. Certyfikaty TLS można przechowywać w usłudze Azure Key Vault w celu zapewnienia zwiększonych zabezpieczeń. Dane przesyłane z komputera mainframe do usługi Azure Blob Storage są szyfrowane podczas przesyłania przy użyciu protokołu SSH.

Skrypty ładowania i danych mainframe są tymczasowo przechowywane w usłudze Azure Blob Storage. Są one szyfrowane w spoczynku. Dane są usuwane z usługi Azure Blob Storage po zakończeniu migracji.

Ten przykładowy przepływ pracy używa usługi Azure ExpressRoute lub sieci VPN typu lokacja-lokacja na potrzeby prywatnego i wydajnego połączenia z platformą Azure ze środowiska lokalnego.

Optymalizacja kosztów

Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dlaoptymalizacji kosztów.

Poniżej przedstawiono niektóre możliwości optymalizacji kosztów:

Usługa Azure SQL Database bezserwerowa automatycznie skaluje, wstrzymuje i wznawia zasoby obliczeniowe na podstawie aktywności obciążenia, dzięki czemu płacisz tylko za używane zasoby.
Zasady cyklu życia umożliwiają przenoszenie danych między warstwami dostępu w usłudze Azure Storage.
Jeśli w usłudze Azure Storage nie ma dostępu przez pewien czas, przenieś dane z warstwy dostępu gorąca do chłodniejszej. Możesz również przenieść dane z chłodniejszej warstwy dostępu do warstwy dostępu Archiwum.
Użyj usługi Azure Advisor , aby znaleźć niedostatecznie używane zasoby. Uzyskaj zalecenia dotyczące ponownego konfigurowania lub konsolidowania zasobów w celu zmniejszenia wydatków.

Skorzystaj z kalkulatora cen platformy Azure, aby oszacować koszt użycia składników platformy Azure dla tego rozwiązania.

Doskonałość operacyjna

Doskonałość operacyjna obejmuje procesy operacyjne, które wdrażają aplikację i działają w środowisku produkcyjnym. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca doskonałości operacyjnej.

Usługa Azure DevOps może służyć do ponownej inżynierii aplikacji mainframe na platformie Azure podczas każdej fazy tworzenia oprogramowania i współpracy zespołowej. Usługa Azure DevOps udostępnia następujące usługi:

Tablice Azure. Planowanie zwinne, śledzenie elementów roboczych, wizualizacja i raportowanie.
Usługa Azure Pipelines. Platforma, platforma i niezależna od chmury platforma ciągłej integracji/ciągłego dostarczania (CI/CD) z obsługą kontenerów lub platformy Kubernetes.
Repozytorium Azure. Prywatne repozytoria Git hostowane w chmurze.
Artefakty platformy Azure. Zintegrowane zarządzanie pakietami z obsługą źródeł publicznych lub prywatnych maven, npm, Python i NuGet.
Plany testów platformy Azure. Zintegrowane, planowane i eksploracyjne rozwiązanie do testowania.

Wydajność

Wydajność to możliwość skalowania obciążenia w celu spełnienia wymagań, które są na nim nakładane przez użytkowników w wydajny sposób. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu pod kątem wydajności.

Jeśli migrujesz wiele dużych niezależnych zestawów danych, wdróż klaster migracji danych mLogica na wielu maszynach wirtualnych, aby zmaksymalizować szybkość ładowania danych.

Wiele zestawów danych można przekazać równolegle z komputera mainframe do usługi Blob Storage.

Usługa Azure SQL DB bezserwerowa zapewnia opcję skalowania automatycznego na podstawie obciążenia. Inne bazy danych platformy Azure można skalować w górę i w dół przy użyciu automatyzacji w celu spełnienia wymagań dotyczących obciążeń. Aby uzyskać więcej informacji, zobacz Autoskalowanie.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następującego współautora.

Główny autor:

Sandip Khandelwal | Starszy architekt inżynierów

Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki

Zapoznaj się z przewodnikami po migracji usługi Azure Database.

Aby uzyskać więcej informacji, skontaktuj się z usługą Azure inżynierowie danych ing — mainframe i modernizacja midrange.