Freigeben über

Verwenden von Qlik zum Replizieren von Mainframe- und Midrange-Daten nach Azure

Azure Event Hubs
Azure Data Lake
Azure Databricks

Diese Lösung verwendet eine lokale Instanz von Qlik, um lokale Datenquellen in Echtzeit in Azure zu replizieren.

Hinweis

Sprechen Sie "Qlik" wie "Klick" aus.

Apache® und Apache Kafka® sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Es wird nicht impliziert, dass eine Unterstützung der Apache Software Foundation vorliegt, wenn diese Marken verwendet werden.

Architektur

Diagramm einer Architektur, die Qlik verwendet, um Daten zu Azure zu migrieren.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Arbeitsablauf

  1. Host-Agent: Der Host-Agent auf dem On-Premises-System erfasst Änderungsprotokollinformationen aus den Datenspeichern Db2, Information Management System (IMS) und Virtual Storage Access Method (VSAM) und übergibt sie an den Qlik-Replikationsserver.

  2. Replikationsserver: Die Qlik-Replikationsserversoftware übergibt die Änderungsprotokollinformationen an Kafka und Azure Event Hubs. In diesem Beispiel ist Qlik lokal, aber Sie können es auf einem virtuellen Computer in Azure bereitstellen.

  3. Stream-Erfassung: Kafka und Event Hubs stellen Nachrichtenbroker zum Empfangen und Speichern von Änderungsprotokollinformationen bereit.

  4. Kafka Connect: Die Kafka Connect-API empfängt Daten von Kafka, um Azure-Datenspeicher wie Azure Data Lake Storage, Azure Databricks und Azure Synapse Analytics zu aktualisieren.

  5. Data Lake-Speicher: Data Lake Storage ist ein Stagingbereich für die Änderungsprotokolldaten.

  6. Azure Databricks: Azure Databricks verarbeitet die Änderungsprotokolldaten und aktualisiert die entsprechenden Dateien in Azure.

  7. Azure-Datendienste: Azure bietet die folgenden effizienten Datenspeicherdienste.

    • Relationale Datenbankdienste:

      • SQL Server auf Azure-VMs
      • Azure SQL-Datenbank
      • Verwaltete Azure SQL-Instanz
      • Azure-Datenbank für PostgreSQL
      • Azure-Datenbank für MySQL
      • Azure Cosmos DB (ein Microsoft-Datenbankdienst)

      Es gibt viele Faktoren, die bei der Auswahl eines Datenspeicherdienstes zu berücksichtigen sind. Berücksichtigen Sie die Art der Workload, datenbankübergreifende Abfragen, Anforderungen an zweiphasige Commits, die Möglichkeit des Zugriffs auf das Dateisystem, die Datenmenge, den erforderlichen Durchsatz und die Latenz.

    • Azure Cosmos DB: Azure Cosmos DB ist eine NoSQL-Datenbank, die eine schnelle Reaktion, automatische Skalierbarkeit und garantierte Geschwindigkeit in jedem Maßstab bietet.

    • Azure Synapse Analytics: Azure Synapse Analytics ist ein Analysedienst, der Datenintegration, Data Warehousing für Unternehmen und Big Data-Analysen kombiniert. Verwenden Sie diese Option, um Daten abzufragen, indem Sie entweder serverlose oder dedizierte Ressourcen in großem Umfang verwenden.

    • Microsoft Fabric: Microsoft Fabric ist eine All-in-One-Analyselösung für Unternehmen. Es deckt alles ab, von Datenbewegungen über Data Science bis hin zu Echtzeitanalysen und Business Intelligence. Es bietet eine umfassende Suite von Services, einschließlich Data Lake, Data Engineering und Datenintegration.

Komponenten

Diese Architektur besteht aus mehreren Azure-Clouddiensten und ist in vier Ressourcenkategorien unterteilt: Netzwerk und Identität, Anwendung, Speicher und Überwachung. In den folgenden Abschnitten werden die Dienste für die einzelnen Ressourcen und ihre Rollen beschrieben.

Netzwerk und Identität

Beim Entwerfen der Anwendungsarchitektur ist es wichtig, Netzwerk- und Identitätskomponenten zu priorisieren, um Sicherheit, Leistung und Verwaltbarkeit bei Interaktionen über das öffentliche Internet oder private Verbindungen zu gewährleisten.

  • Azure ExpressRoute erweitert Ihre lokalen Netzwerke in Clouddienste, die von Microsoft über eine private Verbindung von einem Konnektivitätsanbieter bereitgestellt werden. Verwenden Sie ExpressRoute, um Verbindungen mit Clouddiensten wie Azure und Microsoft 365 herzustellen.

  • Azure VPN Gateway ist ein bestimmter Typ von Gateway für virtuelle Netzwerke, das verschlüsselten Datenverkehr zwischen einem virtuellen Azure-Netzwerk und einem lokalen Standort über das öffentliche Internet sendet.

  • Microsoft Entra ID ist ein Identitäts- und Zugriffsverwaltungsdienst, der mit einem lokalen Active Directory synchronisiert werden kann.

Anwendung

Azure bietet verwaltete Dienste, die eine sicherere, skalierbarere und effizientere Anwendungsbereitstellung unterstützen. Diese Architektur verwendet Dienste auf Anwendungsebene, die Ihnen bei der Optimierung Ihrer Anwendungsarchitektur helfen können.

  • Event Hubs ist eine Big-Data-Streamingplattform und ein Ereigniserfassungsdienst, der Db2-, IMS- und VSAM-Änderungsdatennachrichten speichern kann. Es kann Millionen von Nachrichten pro Sekunde empfangen und verarbeiten. Sie können Event Hub-Daten mithilfe eines Echtzeitanalyseanbieters oder eines benutzerdefinierten Adapters transformieren und speichern.

  • Apache Kafka ist eine Open-Source-Plattform für verteiltes Event-Streaming, die für leistungsstarke Datenpipelines, Streaming-Analysen, Datenintegration und geschäftskritische Anwendungen verwendet wird. Es kann einfach in die Qlik-Datenintegration integriert werden, um Db2-Änderungsdaten zu speichern.

  • Data Lake Storage stellt einen Data Lake zum Speichern der verarbeiteten lokalen Änderungsprotokolldaten bereit.

  • Azure Databricks ist ein cloudbasiertes Data-Engineering-Tool, das auf Apache Spark basiert. Es kann riesige Datenmengen verarbeiten und transformieren. Sie können die Daten mithilfe von Machine Learning-Modellen untersuchen. Aufträge können in R, Python, Java, Scala und Spark SQL geschrieben werden.

Speicher und Datenbanken

Diese Architektur richtet sich sowohl an skalierbare und sicherere Cloud-Speicher als auch an verwaltete Datenbanken für ein flexibles und intelligentes Datenmanagement.

Überwachung

Monitoring-Tools bieten eine umfassende Datenanalyse und wertvolle Einblicke in die Anwendungsleistung.

  • Azure Monitor ist eine umfassende Lösung zum Sammeln, Analysieren und Handeln von Telemetriedaten aus Cloud- und lokalen Umgebungen. Sie umfasst Folgendes:

    • Application Insights zum Analysieren und Darstellen von Telemetriedaten.

    • Azure Monitor-Protokolle, mit denen Protokoll- und Leistungsdaten aus überwachten Ressourcen gesammelt und organisiert werden. Sie können Daten aus Quellen wie Azure-Plattformprotokollen, VM-Agents und Anwendungsleistung zu Analysezwecken in einem Arbeitsbereich kombinieren. Die Abfragesprache ermöglicht die Analyse Ihrer Datensätze.

    • Log Analytics, mit dem Azure Monitor-Protokolle abgefragt werden können. Mit einer leistungsstarken Abfragesprache können Sie Daten aus mehreren Tabellen verknüpfen, große Datenmengen aggregieren und komplexe Vorgänge mit minimalem Code ausführen.

Alternativen

  • Das obige Diagramm zeigt die lokale Installation von Qlik. Dieser Ansatz ist eine empfohlene Best Practice, um Qlik in der Nähe der lokalen Datenquellen zu halten. Eine Alternative besteht darin, Qlik in der Cloud auf einer virtuellen Azure-Maschine zu installieren.

  • Qlik Data Integration kann Daten direkt an Azure Databricks übermitteln, ohne Kafka oder einen Event Hub zu durchlaufen.

  • Qlik Data Integration kann Daten nicht direkt in Azure Cosmos DB replizieren, aber Sie können Azure Cosmos DB mithilfe der Event-Sourcing-Architektur in einen Event Hub integrieren.

Szenariodetails

Viele Unternehmen verwenden Mainframe- und Midrange-Systeme, um anspruchsvolle und kritische Workloads auszuführen. Die meisten Anwendungen verwenden gemeinsam genutzte Datenbanken, oft über mehrere Systeme hinweg. In dieser Umgebung bedeutet die Modernisierung in die Cloud, dass lokale Daten für cloudbasierte Anwendungen bereitgestellt werden müssen. Daher wird die Datenreplikation zu einer wichtigen Modernisierungstaktik.

Die Qlik Data Integration-Plattform umfasst Qlik Replicate, das die Datenreplikation durchführt. Es verwendet Change Data Capture, um lokale Datenspeicher in Echtzeit in Azure zu replizieren. Die Änderungsdaten können aus Db2-, IMS- und VSAM-Änderungsprotokollen stammen. Diese Replikationstechnik eliminiert unbequeme Batch-Massenladevorgänge. Diese Lösung verwendet eine lokale Instanz von Qlik, um lokale Datenquellen in Echtzeit in Azure zu replizieren.

Potenzielle Anwendungsfälle

Diese Lösung könnte geeignet sein für:

  • Hybridumgebungen, die die Replikation von Datenänderungen von einem Mainframe- oder Midrange-System in Azure-Datenbanken erfordern.

  • Online-Datenbankmigration von Db2 zu einer Azure SQL-Datenbank mit geringen Ausfallzeiten.

  • Datenreplikation aus verschiedenen lokalen Datenspeichern in Azure zur Konsolidierung und Analyse.

Überlegungen

Diese Überlegungen bilden die Säulen des Azure Well-Architected Framework, einer Reihe von Leitprinzipien, die Sie zur Verbesserung der Qualität eines Workloads verwenden können. Weitere Informationen finden Sie unter Well-Architected Framework.

Zuverlässigkeit

Zuverlässigkeit trägt dazu bei, dass Ihre Anwendung die Verpflichtungen erfüllen kann, die Sie für Ihre Kunden vornehmen. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Zuverlässigkeit.

  • Qlik Data Integration kann in einem High-Availability-Cluster konfiguriert werden.

  • Die Azure-Datenbankdienste unterstützen Zonenredundanz und können so konzipiert werden, dass während eines Wartungsfensters oder bei einem Ausfall ein Failover auf einen sekundären Knoten ausgeführt wird.

Sicherheit

Sicherheit bietet Sicherheitsmaßnahmen gegen bewusste Angriffe und den Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Sicherheit.

  • ExpressRoute bietet eine private und effiziente Verbindung mit Azure aus der lokalen Umgebung, aber Sie können stattdessen ein Site-to-Site-VPN verwenden.

  • Azure-Ressourcen können mithilfe der Microsoft Entra ID authentifiziert werden, und Berechtigungen werden über die rollenbasierte Zugriffssteuerung verwaltet.

  • Azure-Datenbankdienste unterstützen verschiedene Sicherheitsoptionen, z. B.:

    • Verschlüsselung ruhender Daten.

    • Dynamische Datenmaskierung.

    • Immer verschlüsselte Datenbanken.

  • Weitere Informationen finden Sie in der Azure-Sicherheitsdokumentation.

Kostenoptimierung

Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Kostenoptimierung.

Verwenden Sie den Azure-Preisrechner , um die Kosten für Ihre Implementierung zu schätzen.

Operative Exzellenz

„Optimaler Betrieb“ deckt die Betriebsprozesse ab, die für die Bereitstellung einer Anwendung und deren Ausführung in der Produktion sorgen. Weitere Informationen finden Sie unter Checkliste für die Designüberprüfung zur betrieblichen Exzellenz.

Sie können Application Insights- und Log Analytics-Features kombinieren, um die Integrität von Azure-Ressourcen zu überwachen. Sie können Warnungen festlegen, um Probleme proaktiv zu verwalten.

Leistungseffizienz

Die Leistungseffizienz bezieht sich auf die Fähigkeit Ihrer Workload, die Anforderungen der Benutzer effizient zu erfüllen. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Leistungseffizienz.

Azure Databricks, Data Lake Storage und andere Azure-Datenbankdienste verfügen über Funktionen für die automatische Skalierung. Weitere Informationen finden Sie unter Automatische Skalierung.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautoren:

Um nichtöffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächste Schritte