Freigeben über

Modernisieren von Mainframe- und Midrange-Daten

Azure Cosmos DB
Azure Data Lake
Azure SQL-Datenbank
Verwaltete Azure SQL-Instanz
Azure Storage

Apache®, Spark und das Flammenlogo sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Es wird nicht impliziert, dass eine Unterstützung der Apache Software Foundation vorliegt, wenn diese Marken verwendet werden.

In diesem Artikel wird ein End-to-End-Modernisierungsplan für Mainframe- und Midrange-Datenquellen beschrieben. Die Modernisierung trägt zur Verbesserung der Skalierbarkeit und Leistung ihrer unternehmenskritischen Workloads bei.

Architektur

Architekturdiagramm, das zeigt, wie Sie Mainframe- und Midrange-Systeme modernisieren, indem Sie Daten zu Azure migrieren.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

Der folgende Datenfluss entspricht dem vorherigen Diagramm:

  1. Mainframe- und Midrange-Systeme speichern Daten in den folgenden Datenquellen.

    • Dateisysteme:

      • Virtual Storage Access-Methode (VSAM)
      • Flache Dateien
      • Lineares Banddateisystem

    • Relationale Datenbanken:

      • Db2 für z/OS
      • Db2 für IBM i
      • Db2 für Linux UNIX und Windows

    • Nichtrelationale Datenbanken:

      • Information Management System (IMS)
      • Adabas
      • Integriertes Datenbankverwaltungssystem (IDMS)

  2. Der Objektkonvertierungsprozess extrahiert Objektdefinitionen aus Quellobjekten. Die Definitionen werden dann in entsprechende Objekte im Zieldatenspeicher konvertiert.

    • Der SQL Server-Migrations-Assistent für Db2 migriert Schemas und Daten aus IBM Db2-Datenbanken zu Azure-Datenbanken.

    • Der Anbieter für verwaltete Daten für Hostdateien konvertiert Objekte wie folgt:

      • Analysieren von allgemeinen geschäftsorientierten Sprachen (COBOL) und Berichtsprogramm-Generator-Datensatzlayouts oder Kopierbüchern.
      • Zuordnen der Copybooks zu C#-Objekten, die von .NET-Anwendungen verwendet werden.

    • Das Tool Db2toAzurePostgreSQL migriert Datenbankobjekte von Db2 zu Azure Database for PostgreSQL.

    • Partnertools führen eine automatisierte Objektkonvertierung für nichtrelationale Datenbanken, Dateisysteme und andere Datenspeicher durch.

  3. Daten werden aufgenommen und transformiert. Mainframe- und Midrange-Systeme speichern ihre Dateisystemdaten im EBCDIC-codierten Format in Dateiformaten wie:

    COBOL, Programming Language One und Assembly language copybooks definieren die Datenstruktur dieser Dateien.

    a) File Transfer Protocol (FTP) überträgt Mainframe- und Midrange-Dateisystem-Datasets und ihre entsprechenden Kopierbücher an Azure. Diese Datasets weisen einzelne Layouts und entpackte Felder im Binärformat auf.

    b. Die Datenkonvertierung erfolgt durch Entwickeln von benutzerdefinierten Programmen mithilfe der Hostdateikomponente des Hostintegrationsservers oder mithilfe des integrierten Connectors für IBM-Hostdateien in Azure Logic Apps.

    Der Spark Notebook-Konverter wird mithilfe von Open-Source-Spark-Frameworks entwickelt. Es ist kompatibel mit Spark-Umgebungen wie Microsoft Fabric, Azure Synapse Analytics und Azure Databricks.

    Abschnitt c. Relationale Datenbankdaten werden migriert.

    IBM-Mainframe- und Midrange-Systeme speichern Daten in relationalen Datenbanken wie:

    Die folgenden Dienste migrieren die Datenbankdaten:

    • Azure Data Factory verwendet einen Db2-Connector zum Extrahieren und Integrieren von Daten aus den Datenbanken.
    • SQL Server Integration Services behandelt verschiedene Datenextraktions-, Transformations- und Ladeaufgaben .
    • Fabric Data Factory verwendet den IBM Db2-Connector zum Migrieren von Db2-Daten.

    d. Nichtrelationale Datenbankdaten werden migriert.

    IBM-Mainframe- und Midrange-Systeme speichern Daten in nichtrelationalen Datenbanken wie:

    Partnerprodukte integrieren Daten aus diesen Datenbanken.

  4. Azure-Tools wie Azure Data Factory und AzCopy laden Daten in Azure-Datenbanken und Azure-Datenspeicher. Sie können auch Partnerlösungen und benutzerdefinierte Ladelösungen verwenden, um Daten zu laden.

  5. Azure bietet verschiedene Datenbankdienste, einschließlich vollständig verwalteter relationaler Datenbankdienste wie Azure SQL-Datenbank und NoSQL-Optionen wie Azure Cosmos DB. Diese Dienste sind für Skalierbarkeit, Flexibilität und globale Verteilung konzipiert.

    Azure bietet auch eine Reihe von Speicherlösungen, einschließlich Azure Blob Storage für unstrukturierte Daten und Azure Files für vollständig verwaltete Dateifreigaben.

  6. Azure-Dienste verwenden die modernisierte Datenebene für Computer, Analysen, Speicher und Netzwerke.

  7. Clientanwendungen verwenden auch die modernisierte Datenebene.

Komponenten

Diese Architektur verwendet die folgenden Komponenten.

Datenspeicherung

Diese Architektur beschreibt, wie Sie Daten zu skalierbaren, sichereren Cloudspeicher und verwalteten Datenbanken für flexible, intelligente Datenverwaltung in Azure migrieren.

  • SQL-Datenbank ist Teil der Azure SQL-Familie. Es wurde für die Cloud entwickelt und bietet alle Vorteile einer vollständig verwalteten und immergrünen Plattform als Dienst (PaaS). SQL-Datenbank bietet außerdem KI-gestützte, automatisierte Features zur Optimierung der Leistung und Dauerhaftigkeit. Serverlose Compute- und Hyperscale-Speicheroptionen skalieren Ressourcen automatisch bei Bedarf.

  • Azure Database for PostgreSQL ist ein vollständig verwalteter relationaler Datenbankdienst, der auf der Community-Edition des Open-Source-PostgreSQL-Datenbankmoduls basiert.

  • Azure Cosmos DB ist eine global verteilte NoSQL-Datenbank mit mehreren Modellen.

  • Azure Database for MySQL ist ein vollständig verwalteter relationaler Datenbankdienst, der auf der Community-Edition des Open-Source-MySQL-Datenbankmoduls basiert.

  • Sql Managed Instance ist ein intelligenter, skalierbarer Clouddatenbankdienst, der alle Vorteile eines vollständig verwalteten und evergreen PaaS bietet. Sql Managed Instance verfügt über fast vollständige Kompatibilität mit dem neuesten SQL Server Enterprise Edition-Datenbankmodul. Er bietet auch eine native Implementierung virtueller Netzwerke, die Lösungen für allgemeine Sicherheitsprobleme bereitstellt.

  • Azure Data Lake Storage ist ein Speicher-Repository, das große Datenmengen im systemeigenen, rohen Format enthält. Datenspeicher in Data Lake sind für die Skalierung auf Terabytes und Petabytes von Daten optimiert. Die Daten stammen in der Regel aus mehreren heterogenen Quellen. Es kann strukturiert, halbstrukturiert oder unstrukturiert sein.

  • SQL-Datenbank in Microsoft Fabric ist eine entwicklerfreundliche Transaktionsdatenbank, die auf sql-Datenbank basiert. Verwenden Sie sie, um Ihre betriebsbereite Datenbank in Fabric auf einfache Weise zu erstellen. Eine SQL-Datenbank in Fabric verwendet dasselbe SQL-Datenbankmodul wie SQL-Datenbank.

  • Microsoft Fabric Lakehouse ist eine Datenarchitekturplattform zum Speichern, Verwalten und Analysieren strukturierter und unstrukturierter Daten an einem zentralen Ort.

Berechnen

  • Azure Data Factory integriert Daten in verschiedene Netzwerkumgebungen mithilfe einer Integrationslaufzeit (IR), die eine Computeinfrastruktur ist. Azure Data Factory kopiert Daten zwischen Cloud-Datenspeichern und Datenspeichern in lokalen Netzwerken mithilfe von selbst gehosteten IRs.

  • Das lokale Datengateway ist eine lokal installierte Windows-Clientanwendung, die als Brücke zwischen Ihren lokalen lokalen Datenquellen und Diensten in der Microsoft Cloud fungiert.

  • Virtuelle Azure-Computer bieten On-Demand- und skalierbare Computerressourcen. Ein virtueller Azure-Computer (VM) bietet die Flexibilität der Virtualisierung, beseitigt jedoch die Wartungsanforderungen physischer Hardware. Azure-VMs bieten eine Auswahl an Betriebssystemen, einschließlich Windows und Linux.

Datenintegratoren

Diese Architektur beschreibt verschiedene azure-native Migrationstools, die Sie abhängig von den Mainframequelldaten und der Zieldatenbank verwenden.

  • Azure Data Factory ist ein Hybriddatenintegrationsdienst. In dieser Lösung migriert Azure Data Factory Daten aus Db2-Quellen mithilfe nativer Connectors zu Azure-Datenbankzielen.

  • AzCopy ist ein Befehlszeilenprogramm, das Blobs oder Dateien in Speicherkonten verschiebt.

  • SQL Server Integration Services ist eine Plattform zum Erstellen von Datenintegrations- und Transformationslösungen auf Unternehmensebene. Sie können es verwenden, um komplexe Geschäftsprobleme zu lösen, indem Sie:

    • Kopieren oder Herunterladen von Dateien.
    • Laden von Data Warehouses.
    • Reinigen und Mining-Daten.
    • Verwalten von SQL Server-Objekten und -Daten.

  • Host Integration Server-Technologien und -Tools können vorhandene IBM-Hostsysteme, -Programme, -Nachrichten und -Daten in Azure-Anwendungen integrieren. Die Hostdateiclientkomponente bietet Flexibilität für Daten, die von EBCDIC in ASCII konvertiert wurden. Sie können beispielsweise Daten im JSON- oder XML-Format aus den konvertierten Daten generieren.

  • Azure Synapse Analytics kombiniert Datenintegration, Enterprise Data Warehouse und Big Data Analytics. Diese Architektur verwendet die Azure Synapse Analytics-Konvertierungslösung. Es basiert auf Apache Spark und ist ein guter Kandidat für die Konvertierung großer Mainframe-Dataset-Workload. Es unterstützt eine breite Palette von Mainframedatenstrukturen und -zielen und erfordert minimale Codierungsaufwand.

  • Microsoft Fabric ist eine unternehmensfähige End-to-End-Analyseplattform. Es vereint Datenbewegung, Datenverarbeitung, Datenaufnahme, Transformation, Echtzeit-Ereignisrouting und Berichtserstellung. Sie unterstützt diese Funktionen mithilfe der folgenden integrierten Dienste:

    • Fabric Data Engineer
    • Stoffdatenfabrik
    • Fabric Data Science
    • Fabric Real-Time Intelligence
    • Fabric Data Warehouse
    • Fabric-Datenbanken

Weitere Tools

  • Der SQL Server-Migrations-Assistent für Db2 automatisiert die Migration von Db2 zu Microsoft-Datenbankdiensten. Wenn dieses Tool auf einem virtuellen Computer ausgeführt wird, konvertiert es Db2-Datenbankobjekte in SQL Server-Datenbankobjekte und erstellt diese Objekte in SQL Server.

  • Der Datenanbieter für Hostdateien ist eine Komponente des Hostintegrationsservers , die Offline-, SNA- oder TCP/IP-Verbindungen verwendet.

    • Mit Offlineverbindungen liest und schreibt der Datenanbieter Datensätze in einer lokalen Binärdatei.
    • Mit SNA- und TCP/IP-Verbindungen liest und schreibt Der Datenanbieter Datensätze, die in Remote z/OS (IBM Z Series Mainframe)-Datasets oder remote i5/OS (IBM AS/400- und iSeries-Systemen) gespeichert sind, physische Dateien. Nur i5/OS-Systeme verwenden TCP/IP.

  • Azure-Dienste bieten Umgebungen, Tools und Prozesse zum Entwickeln und Skalieren neuer Anwendungen in der öffentlichen Cloud.

Szenariodetails

Moderne Datenspeicherlösungen wie die Azure-Datenplattform bieten eine bessere Skalierbarkeit und Leistung als Mainframe- und Midrange-Systeme. Durch die Modernisierung Ihrer Systeme können Sie diese Vorteile nutzen. Das Aktualisieren von Technologie, Infrastruktur und Praktiken ist jedoch komplex. Der Prozess umfasst eine umfassende Untersuchung der Geschäfts- und Ingenieuraktivitäten. Die Datenverwaltung ist ein Aspekt, wenn Sie Ihre Systeme modernisieren. Außerdem müssen Sie sich die Datenvisualisierung und -integration ansehen.

Erfolgreiche Modernisierungen verwenden eine Data-First-Strategie. Wenn Sie diesen Ansatz verwenden, konzentrieren Sie sich nicht auf das neue System, sondern auf die Daten. Die Datenverwaltung ist nicht mehr nur ein Element in der Modernisierungscheckliste. Stattdessen sind die Daten das Herzstück. Koordinierte, qualitätsorientierte Datenlösungen ersetzen fragmentierte, schlecht geregelte Lösungen.

Diese Lösung verwendet Azure-Datenplattformkomponenten in einem datenbasierten Ansatz. Insbesondere umfasst die Lösung Folgendes:

  • Objektkonvertierung. Konvertieren Sie Objektdefinitionen aus dem Quelldatenspeicher in entsprechende Objekte im Zieldatenspeicher.

  • Datenerfassung. Stellen Sie eine Verbindung mit dem Quelldatenspeicher her, und extrahieren Sie Daten.

  • Datentransformation. Transformieren Sie extrahierte Daten in geeignete Zieldatenspeicherstrukturen.

  • Datenspeicher: Laden Von Daten aus dem Quelldatenspeicher in den Zieldatenspeicher, sowohl anfänglich als auch kontinuierlich.

Potenzielle Anwendungsfälle

Organisationen, die Mainframe- und Midrange-Systeme verwenden, können von dieser Lösung profitieren, insbesondere, wenn sie möchten:

  • Modernisieren Sie unternehmenskritische Workloads.

  • Erwerben Sie Business Intelligence, um Den Betrieb zu verbessern und einen Wettbewerbsvorteil zu erzielen.

  • Entfernen Sie die hohen Kosten und Starrheit, die mit Mainframe- und Midrange-Datenspeichern verbunden sind.

Überlegungen

Diese Überlegungen bilden die Säulen des Azure Well-Architected Framework, einer Reihe von Leitprinzipien, die Sie zur Verbesserung der Qualität eines Workloads verwenden können. Weitere Informationen finden Sie unter Well-Architected Framework.

Sicherheit

Sicherheit bietet Sicherheitsmaßnahmen gegen bewusste Angriffe und den Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Sicherheit.

Kostenoptimierung

Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Kostenoptimierung.

  • Der SQL Server-Migrations-Assistent ist ein kostenloses, unterstütztes Tool, das die Datenbankmigration von Db2 zu SQL Server, SQL-Datenbank und SQL Managed Instance vereinfacht. Der SQL Server-Migrations-Assistent automatisiert alle Aspekte der Migration, einschließlich Migrationseignungsanalyse, Schema- und SQL-Anweisungskonvertierung und Datenmigration.

  • Die Spark-basierte Azure Synapse Analytics-Lösung basiert auf Open-Source-Bibliotheken. Dadurch wird die finanzielle Belastung der Lizenzumwandlungstools beseitigt.

  • Verwenden Sie den Azure-Preisrechner, um die Kosten für die Implementierung dieser Lösung abschätzen zu können.

Leistungseffizienz

Die Leistungseffizienz bezieht sich auf die Fähigkeit Ihrer Workload, die Anforderungen der Benutzer effizient zu erfüllen. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Leistungseffizienz.

  • Die wichtigsten Säulen der Leistungseffizienz sind Leistungsmanagement, Kapazitätsplanung, Skalierbarkeit und Auswahl eines geeigneten Leistungsmusters.

  • Sie können die selbst gehostete IR skalieren , indem Sie die logische Instanz mehreren lokalen Computern im aktiven Modus zuordnen.

  • Verwenden Sie SQL-Datenbank, um Ihre Datenbanken dynamisch zu skalieren. Die Serverless-Ebene kann die Computeressourcen automatisch skalieren. Mit flexiblen Pools können Datenbanken Ressourcen in einem Pool gemeinsam nutzen und können nur manuell skaliert werden.

Wenn Sie den Datenanbieter für Hostdateien-Client zum Konvertieren von Daten verwenden, aktivieren Sie verbindungspooling , um die Startzeit der Verbindung zu reduzieren. Wenn Sie Azure Data Factory zum Extrahieren von Daten verwenden, optimieren Sie die Leistung der Kopieraktivität.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautor:

Andere Mitwirkende:

Um nichtöffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächste Schritte

Lesen Sie die Leitfäden zur Azure-Datenbankmigration. Wenden Sie sich an Azure Data Engineering – Mainframe & Midrange-Modernisierung , um weitere Informationen zu erfahren.

Weitere Informationen finden Sie in folgenden Artikeln: