Lösungsmöglichkeiten
Dieser Artikel ist ein Lösungsvorschlag. Wenn Sie möchten, dass wir diesen Artikel um weitere Informationen ergänzen, z. B. potenzielle Anwendungsfälle, alternative Dienste, Überlegungen zur Implementierung oder Preisempfehlungen, lassen Sie es uns über Feedback auf GitHub wissen.
Wenn Sie eine lokale Mainframe- oder Midrange-Anwendung zu Azure migrieren, hat die Übertragung der Daten oberste Priorität. Mehrere Modernisierungsszenarien erfordern eine schnelle Replikation von Dateien nach Azure oder die Aufrechterhaltung einer Synchronisation zwischen lokalen Dateien und Azure-Dateien.
In diesem Artikel werden einige Verfahren zum Übertragen von Dateien auf Azure, zum Konvertieren und Transformieren von Dateidaten sowie zum lokalen Speichern von Daten sowie zum Speichern von Daten in Azure beschrieben.
Aufbau
Das folgende Diagramm zeigt einige der Optionen für die Replikation und Synchronisierung von lokalen Dateien in Azure:
Laden Sie eine Visio-Datei dieser Architektur herunter.
Datenfluss
Übertragen von Dateien auf Azure:
Die einfachste Möglichkeit, Dateien lokal oder auf Azure zu übertragen, besteht in der Verwendung des Dateiübertragungsprotokolls (File Transfer Protocol, FTP). Sie können einen FTP-Server auf einem virtuellen Azure-Computer (VM) hosten. Eine einfache FTP Job Control Language (Auftragssteuerungssprache, JCL) sendet Dateien im Binärformat an Azure, was für die Erhaltung von Mainframe- und Midrangeberechnungen und binären Datentypen unerlässlich ist. Sie können übertragene Dateien auf lokalen Datenträgern, im Azure-VM-Dateispeicher oder in Azure Blob Storage speichern.
Sie können auch lokale Dateien auf Blob Storage hochladen, indem Sie Tools wie AzCopy verwenden.
Der FTP/SFTP-Connector von Azure Data Factory kann auch zum Übertragen von Daten aus dem Mainframe-System in den Blobspeicher verwendet werden. Für diese Methode ist eine zwischengeschaltete VM erforderlich, auf der eine selbstgehostete Integration Runtime (SHIR) installiert ist.
Im Azure Marketplace können Sie auch Drittanbietertools finden, mithilfe derer Dateien von Mainframes auf Azure übertragen werden können.
Orchestrieren, Konvertieren und Transformieren von Daten:
Azure kann keine Dateien im EBCDIC-Codepageformat (Extended Binary Coded Decimal Interchange Code) von IBM in Azure-VM-Datenträger oder Blob Storage lesen. Um diese Dateien mit Azure kompatibel zu machen, werden sie vom Host Integration Server (HIS) vom EBCDIC-Format in das American Standard Code for Information Interchange (ASCII)-Format konvertiert.
Copybooks definieren die Datenstruktur von COBOL-, PL/I- und Assembler-Dateien. HIS konvertiert diese Dateien auf der Grundlage der Copybooklayouts in ASCII.
Bevor Sie Daten auf Azure-Datenspeicher übertragen können, müssen Sie die Daten möglicherweise zuerst transformieren oder für Analysen verwenden. Data Factory kann diese ETL-Aktivitäten (Extrahieren, Transformieren und Laden) und ELT-Aktivitäten (Extrahieren, Laden und Transformieren) verwalten und die Daten direkt in Azure Data Lake Storage speichern.
Für Big Data-Integrationen kann Azure Databricks und Azure Synapse Analytics die Apache Spark-Engine verwenden, um In-Memory-Berechnungen durchzuführen und so alle Transformationsaktivitäten schnell und effektiv durchzuführen.
Speichern von Daten:
Je nach Bedarf können Sie übertragene Daten in einem von mehreren verfügbaren persistenten Azure-Speichermodi speichern.
Wenn kein Bedarf an Analysen besteht, kann Azure Data Factory Daten direkt in einer Vielzahl von Speicheroptionen speichern, wie z. B. Data Lake Storage und Blob Storage.
Azure hostet verschiedene Datenbanken, die unterschiedlichen Anforderungen gerecht werden:
- Zu den relationalen Datenbanken gehören die SQL Server-Familie und Open Source-Datenbanken wie PostgreSQL und MySQL.
- Zu den nicht-relationalen Datenbanken gehört Azure Cosmos DB, eine schnelle, global verteilte NoSQL-Datenbank mit mehreren Modellen.
Überprüfen von Analysen und Business Intelligence:
Microsoft Fabric ist eine umfassende Analyselösung, mit der Ihr Unternehmen Datenbewegungen untersuchen, mit Datenwissenschaften experimentieren und Echtzeitanalysen und Business Intelligence überprüfen kann. Sie bietet eine umfassende Suite von Features, einschließlich Data Lake, Datentechnik und Datenintegration.
Komponenten
Verschiedene Szenarien zum Übertragen, Integrieren und Speichern von Dateien verwenden unterschiedliche Komponenten. Sehen Sie sich den Azure-Preisrechner an, um die Kosten für Azure-Ressourcen abzuschätzen.
Netzwerk
Ein lokales -Datengateway ist eine Brückensoftware, die lokale Daten mit Clouddiensten verbindet. Sie können das Gateway auf einer dedizierten lokalen VM installlieren.
Datenintegration und -transformation
Data Provider for Host Files ist eine Komponente von HIS, die EBCDIC-Codepagedateien in ASCII konvertiert. Der Anbieter kann Datensätze offline aus einer lokalen Binärdatei lesen und darin schreiben oder die Systemnetzwerkarchitektur (SNA) oder TCP/IP (Transmission Control Protocol/Internet Protocol) verwenden, um Datensätze aus Remotedatasets von IBM z/OS-Mainframe-Datensätze oder aus physischen i5/OS-Dateien zu lesen und darin zu schreiben. HIS-Connectors sind für BizTalk und Azure Logic Apps verfügbar.
Azure Data Factory ist ein hybrider Datenintegrationsdienst, mit dem Sie ETL- und ELT-Workflows erstellen, planen und orchestrieren können.
Azure Databricks ist eine Apache Spark-basierte Analyseplattform, die für Azure optimiert ist. Sie können Databricks verwenden, um eingehende Daten zu korrelieren und sie mit anderen in Databricks gespeicherten Daten anzureichern.
Azure Synapse Analytics ist ein schnelles und flexibles Cloud-Data-Warehouse mit einer MPP-Architektur (Massively Parallel Processing), mit der Sie Daten elastisch und unabhängig skalieren, berechnen und speichern können.
Datenbanken
Azure SQL-Datenbank ist ein skalierbarer, relationaler Clouddatenbankdienst. Azure SQL-Datenbank ist Evergreen und immer auf dem neuesten Stand und bietet KI-gestützte und automatisierte Features, die die Leistung und Dauerhaftigkeit für Sie optimieren. Serverlose Compute- und Hyperscale-Speicheroptionen skalieren Ressourcen automatisch nach Bedarf. Mit Azure-Hybridvorteil können Sie Ihre vorhandenen lokalen SQL Server-Lizenzen ohne zusätzliche Kosten in der Cloud nutzen.
Azure SQL Managed Instance vereint die höchste Kompatibilität der SQL Server-Datenbank-Engine mit allen Vorzügen einer vollständig verwalteten Evergreen-Platform-as-a-Service-Lösung (PaaS). Mit SQL Managed Instance können Sie Ihre vorhandenen Anwendungen im großen Stil mit vertrauten Tools, Fähigkeiten und Ressourcen modernisieren.
SQL Server auf virteuellen Azure-Computern verschiebt Ihre SQL Server-Workloads in die Cloud, um die Flexibilität und Hybridkonnektivität von Azure mit der Leistung, Sicherheit und Analyse von SQL Server zu vereinen. Sie können auf die neuesten SQL Server-Updates und -Releases mit 100 % Codekompatibilität zugreifen.
Azure Database for PostgreSQL ist ein vollständig verwalteter relationaler Datenbankdienst, der auf der Community-Edition des PostgreSQL-Datenbankmoduls basiert.
Azure Database for MySQL ist ein vollständig verwalteter relationaler Datenbankdienst, der auf der Community-Edition des Open-Source-MySQL-Datenbankmoduls basiert.
Azure Cosmos DB ist ein vollständig verwalteter NoSQL-Datenbankdienst mit mehreren Modellen zum Erstellen und Modernisieren von skalierbaren Hochleistungsanwendungen. Azure Cosmos DB skaliert Durchsatz und Speicher elastisch und unabhängig über geografische Regionen hinweg und garantiert weltweit Wartezeiten im einstelligen Millisekundenbereich bei einer Verfügbarkeit im 99. Perzentil.
Andere Datenspeicher
Blob Storage speichert große Mengen unstrukturierter Daten, wie z. B. Text- oder Binärdaten, auf die Sie von überall über HTTP oder HTTPS zugreifen können. Sie können Blob Storage verwenden, um Daten öffentlich zugänglich zu machen, oder um Anwendungsdaten privat zu speichern.
Data Lake Storage ist ein Repository zur Speicherung großer Datenmengen in ihrem nativen Rohformat. Data Lake Storage bietet Skalierung für Big-Data-Analyse-Workloads mit Daten im Terabyte- und Petabyte-Bereich. Die Daten stammen in der Regel aus mehreren heterogenen Quellen und können strukturiert, teilweise strukturiert oder unstrukturiert sein.
Mögliche Anwendungsfälle
Zu den Anwendungsfällen für die lokale Dateireplikation und -synchronisierung gehören:
Downstream- oder Upstream-Abhängigkeiten, beispielsweise wenn Anwendungen, die auf einem Mainframe laufen, und Anwendungen, die auf Azure laufen, Daten über Dateien austauschen müssen.
Paralleles Testen von neu gehosteten oder neu entwickelten Anwendungen in Azure mit lokalen Anwendungen.
Eng gekoppelte lokale Anwendungen auf Systemen, die nicht sofort korrigiert oder modernisiert werden können.
Beitragende
Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:
Hauptautoren:
- Ashish Khandelwal | Principal Engineering Architecture Manager
- Nithish Aruldoss | Engineering Architect
Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.
Nächste Schritte
- Weitere Informationen erhalten Sie vom Microsoft SQL Data Engineering-Team.
- Leitfäden zur Azure-Datenbankmigration