Condividi tramite

Usare Qlik per replicare i dati mainframe e midrange in Azure

Hub eventi di Azure
Azure Data Lake
Azure Databricks

Questa soluzione utilizza un'istanza locale di Qlik per replicare le origini dati locali in Azure in tempo reale.

Annotazioni

Pronuncia "Qlik" come "click".

Apache® e Apache Kafka® sono marchi o marchi registrati di Apache Software Foundation negli Stati Uniti e/o in altri Paesi. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.

Architettura

Diagramma di un'architettura che utilizza Qlik per eseguire la migrazione dei dati in Azure.

Scaricare un file di Visio di questa architettura.

Flusso di lavoro

  1. Agente host: L'agente host nel sistema locale acquisisce le informazioni del registro delle modifiche dagli archivi dati Db2, Information Management System (IMS) e VSAM (Virtual Storage Access Method) e le passa al server di replica Qlik.

  2. Server di replica: Il software del server di replica Qlik inserisce le informazioni del log delle modifiche nel flusso di eventi. In questo esempio, Qlik è locale, ma è possibile distribuirlo in una macchina virtuale in Azure.

  3. Inserimento di flussi: Il flusso di eventi e la eventhouse gestiscono la messa in scena e la preparazione dei dati.

    • Il flusso di eventi instrada i dati del log delle modifiche in tempo reale dal server di replica Qlik. Invia i dati tramite il canale caldo al centro eventi per abilitare l'analisi quasi in tempo reale.
    • La eventhouse funge da archivio analitico in tempo reale e archivia i dati del log delle modifiche in Fabric per l'esecuzione di query e analisi.
    • OneLake è il data lake unificato per l'analisi cronologica e la preparazione dei dati su larga scala per l'analisi avanzata tramite il percorso a freddo. Archivia i dati del log delle modifiche selezionati o replicati dalla eventhouse (tramite la disponibilità di OneLake) o li elabora direttamente dal flusso di eventi.

  4. Servizi dati di Azure: Azure offre i servizi di archiviazione dei dati e i servizi di elaborazione dati efficienti seguenti.

    • Servizi di database relazionali:

      • Database SQL di Microsoft Azure
      • Database di Azure per PostgreSQL
      • Database di Azure per MySQL

      Ci sono molti fattori da considerare quando si sceglie un servizio di archiviazione dati. Considerare il tipo di carico di lavoro, le query tra database, i requisiti di commit in due fasi, la capacità di accedere al file system, la quantità di dati, la velocità effettiva richiesta e la latenza.

    • Azure Cosmos DB: Azure Cosmos DB è un database NoSQL che offre una risposta rapida, scalabilità automatica e velocità garantita su qualsiasi scala.

    • Azure Databricks: Azure Databricks elabora i dati del log delle modifiche e aggiorna i file corrispondenti in Azure.

    • Microsoft Fabric: Fabric è una soluzione di analisi all-in-one per le aziende. Copre tutto, dallo spostamento dei dati alla scienza dei dati, all'analisi in tempo reale e alla business intelligence. Fornisce una suite completa di servizi, tra cui data lake, ingegneria dei dati e integrazione dei dati.

Componenti

Questa architettura è costituita da diversi servizi cloud di Azure ed è suddivisa in quattro categorie di risorse: rete e identità, applicazione, archiviazione e monitoraggio. Nelle sezioni seguenti vengono descritti i servizi per ogni risorsa e i relativi ruoli.

Rete

Quando si progetta l'architettura delle applicazioni, è fondamentale dare priorità ai componenti di rete e di identità per garantire sicurezza, prestazioni e gestibilità durante le interazioni su Internet pubblico o connessioni private.

  • Azure ExpressRoute è una connessione privata dedicata tra l'infrastruttura locale e i servizi cloud Microsoft. In questa architettura garantisce una connettività sicura e ad alta velocità effettiva ad Azure e Microsoft 365 e ignora la rete Internet pubblica per migliorare l'affidabilità e le prestazioni.

Archiviazione e database

Azure e Fabric offrono servizi gestiti che consentono l'archiviazione cloud scalabile e i database gestiti per la gestione dei dati flessibile e intelligente.

  • Azure Databricks è una piattaforma di analisi e progettazione dei dati basata sul cloud basata su Apache Spark. È in grado di elaborare e trasformare enormi quantità di dati. È possibile esplorare i dati usando modelli di Machine Learning. I lavori possono essere scritti in R, Python, Java, Scala e Spark SQL. In questa architettura Azure Databricks trasforma e analizza grandi volumi di dati inseriti usando modelli di Machine Learning. Supporta anche lo sviluppo in R, Python, Java, Scala e Spark SQL.

  • OneLake è un data lake unificato e logico che può servire un'intera organizzazione. Come OneDrive, OneLake include tutti i tenant di Fabric e offre un'unica posizione per tutti i dati di analisi. In questa architettura OneLake funge da livello di archiviazione permanente per i dati dei log delle modifiche elaborati dai sistemi locali.

  • Azure Cosmos DB è un servizio di database NoSQL distribuito a livello globale. In questa architettura archivia i dati nontabulari migrati dai sistemi mainframe e supporta l'accesso a bassa latenza tra aree.

  • Database di Azure per MySQL è un servizio di database MySQL completamente gestito progettato per la scalabilità e la disponibilità elevata. In questa architettura supporta carichi di lavoro relazionali open source.

  • Database di Azure per PostgreSQL è un PostgreSQL completamente gestito, intelligente e scalabile che offre connettività nativa con i servizi di Azure. In questa architettura ospita dati relazionali che traggono vantaggio dall'indicizzazione avanzata, dall'analisi e dalla compatibilità con gli strumenti open source.

  • Azure SQL è una famiglia di servizi di database SQL basati sul cloud che supportano la migrazione, la modernizzazione e lo sviluppo. Questa famiglia include le offerte seguenti:

    • SQL Edge di Azure è un motore SQL leggero ottimizzato per le distribuzioni IoT e edge. In questa architettura elabora e archivia i dati vicini ai dispositivi in ambienti disconnessi o sensibili alla latenza.

    • Istanza gestita di SQL di Azure è un'istanza di SQL Server completamente gestita con quasi 100% compatibilità con SQL Server locale. In questa architettura ospita i database migrati che traggono vantaggio dalla gestione semplificata e dalla disponibilità elevata predefinita.

    • Il database SQL è un database relazionale completamente gestito ottimizzato per scalabilità e prestazioni. In questa architettura supporta i carichi di lavoro modernizzati con funzionalità di calcolo elastico e intelligenza predefinita.

    • SQL Server in macchine virtuali di Azure è un'istanza completa di SQL Server eseguita nell'infrastruttura di Azure. In questa architettura supporta carichi di lavoro legacy che richiedono il controllo completo sul sistema operativo e sul motore di database.

Monitoraggio

Gli strumenti di monitoraggio forniscono un'analisi completa dei dati e preziose informazioni sulle prestazioni delle applicazioni.

  • Application Insights è una funzionalità di Monitoraggio di Azure che fornisce dati di telemetria approfonditi per le prestazioni, la disponibilità e l'utilizzo delle applicazioni. In questa architettura monitora il comportamento dell'applicazione, rileva le anomalie e supporta la traccia distribuita per garantire l'affidabilità tra i servizi.

  • Monitoraggio di Azure è una piattaforma completa per la raccolta, l'analisi e l'esecuzione dei dati di telemetria dagli ambienti Azure e locali. In questa architettura funge da livello di osservabilità centrale, che consente il monitoraggio proattivo e la diagnostica nell'infrastruttura e nelle applicazioni.

    • Log Analytics è uno strumento di query all'interno di Monitoraggio di Azure che consente un'analisi approfondita dei dati di log usando un potente linguaggio di query. In questa architettura supporta la diagnostica, i dashboard personalizzati e le informazioni operative aggiungendo e aggregando i dati tra più origini.

Le alternative

  • Il diagramma precedente mostra Qlik installato in locale. Questo approccio è una best practice consigliata per mantenere Qlik vicino alle origini dati locali. Un'alternativa consiste nell'installare Qlik nel cloud su una macchina virtuale Azure.

  • Qlik Data Integration può fornire i dati direttamente ad Azure Databricks senza passare attraverso Kafka o un hub eventi.

  • Qlik Data Integration non è in grado di replicare i dati direttamente in Azure Cosmos DB, ma è possibile integrare Azure Cosmos DB con un hub eventi utilizzando l'architettura di origine eventi.

Dettagli dello scenario

Molte organizzazioni utilizzano sistemi mainframe e midrange per eseguire carichi di lavoro impegnativi e critici. La maggior parte delle applicazioni utilizza database condivisi, spesso su più sistemi. In questo ambiente, la modernizzazione al cloud significa che i dati locali devono essere forniti alle applicazioni basate sul cloud. Pertanto, la replica dei dati diventa un'importante tattica di modernizzazione.

La piattaforma Qlik Data Integration include Qlik Replicate, che esegue la replica dei dati. Usa Change Data Capture per replicare gli archivi dati locali in tempo reale in Azure. I dati delle modifiche possono provenire dai log delle modifiche Db2, IMS e VSAM. Questa tecnica di replica elimina gli scomodi caricamenti bulk in batch. Questa soluzione utilizza un'istanza locale di Qlik per replicare le origini dati locali in Azure in tempo reale.

Casi d'uso potenziali

Questa soluzione potrebbe essere appropriata per:

  • Ambienti ibridi che richiedono la replica delle modifiche ai dati da un sistema mainframe o midrange ai database di Azure.

  • Migrazione di database online da Db2 a un database SQL di Azure con tempi di inattività minimi.

  • Replica dei dati da vari archivi dati locali in Azure per il consolidamento e l'analisi.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di set di principi guida che è possibile usare per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Well-Architected Framework.

Affidabilità

L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni assunti dai clienti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'affidabilità.

  • Qlik Data Integration può essere configurato in un cluster ad alta disponibilità.

  • I servizi di database di Azure supportano la ridondanza della zona. È possibile progettarli per eseguire il failover in un nodo secondario durante una finestra di manutenzione o un'interruzione.

  • Fabric offre resilienza a livello di area tramite zone di disponibilità e supporta il ripristino tra aree.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'uso improprio dei dati e dei sistemi preziosi. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per la sicurezza.

  • ExpressRoute offre una connessione privata ed efficiente ad Azure dall'ambiente locale, ma è possibile usare una VPN da sito a sito .

  • Le risorse di Azure possono essere autenticate usando l'ID Microsoft Entra e le autorizzazioni vengono gestite tramite il controllo degli accessi in base al ruolo.

  • I servizi di database di Azure e Fabric supportano varie opzioni di sicurezza, incluse le funzionalità seguenti:

    • Crittografia dei dati a riposo

    • Mascheratura dinamica dei dati

    • Database con crittografia sempre attiva

  • Per altre informazioni, vedere la documentazione sulla sicurezza di Azure e la documentazione sulla sicurezza di Fabric.

Ottimizzazione dei costi

L'ottimizzazione dei costi è incentrata sui modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.

Per stimare i costi per l'implementazione, usare il calcolatore prezzi di Azure e lo strumento di stima dei prezzi di Fabric.

Eccellenza operativa

L'eccellenza operativa copre i processi operativi che distribuiscono un'applicazione e lo mantengono in esecuzione nell'ambiente di produzione. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'eccellenza operativa.

È possibile combinare le funzionalità di Application Insights e Log Analytics per monitorare l'integrità delle risorse di Azure. È possibile impostare avvisi in modo da poter gestire i problemi in modo proattivo.

Fabric consente l'eccellenza operativa unificando governance, osservabilità e modelli ingegneristici resilienti. Questa unificazione si verifica in OneLake, Data Warehouse di Fabric, Data Engineer di Fabric, Fabric Real-Time Intelligence e altri carichi di lavoro.

Efficienza delle prestazioni

L'efficienza delle prestazioni si riferisce alla capacità del carico di lavoro di ridimensionarsi per soddisfare in modo efficiente le esigenze degli utenti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'efficienza delle prestazioni.

Infrastruttura, Azure Databricks, Data Lake Storage e altri servizi di database di Azure hanno funzionalità di scalabilità automatica. Per altre informazioni, vedere Scalabilità automatica.

Contributori

Microsoft gestisce questo articolo. I collaboratori seguenti hanno scritto questo articolo.

Autori principali:

Altri collaboratori:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi