Condividi tramite

Replica e sincronizza i dati del mainframe in Azure

Azure Data Factory
Azure Databricks

Questa architettura di esempio descrive un piano di implementazione per replicare e sincronizzare i dati durante la modernizzazione in Azure. Descrive aspetti tecnici come archivi dati, strumenti e servizi.

Architettura

Diagramma dell'architettura che illustra come sincronizzare i dati locali e i dati dei database di Azure durante la modernizzazione del mainframe.

Scaricare un file di Visio di questa architettura.

Flusso di lavoro

Il flusso di lavoro seguente corrisponde al diagramma precedente:

I sistemi mainframe e midrange aggiornano i database delle applicazioni locali a intervalli regolari. Per mantenere la coerenza, questa soluzione sincronizza i dati più recenti con i database di Azure. Il processo di sincronizzazione prevede i seguenti passaggi.

  1. Le pipeline dinamiche di Azure Data Factory orchestrano attività che vanno dall'estrazione dei dati al caricamento dei dati. È possibile pianificare le attività della pipeline, avviarle manualmente o attivarle automaticamente.

    Le pipeline raggruppano le attività che eseguono attività. Per estrarre i dati, Azure Data Factory crea dinamicamente una pipeline per ogni tabella locale. È quindi possibile usare un'implementazione parallela quando si replicano i dati in Azure. È inoltre possibile configurare la soluzione in base alle proprie esigenze:

    • Replica completa: È possibile replicare l'intero database e apportare le modifiche necessarie ai tipi di dati e ai campi nel database di Azure di destinazione.

    • Replica parziale, delta o incrementale: Le colonne filigrana nelle tabelle di origine vengono usate per sincronizzare le righe aggiornate con i database di Azure. Queste colonne contengono una chiave a incremento continuo o un timestamp che indica l'ultimo aggiornamento della tabella.

    Azure Data Factory usa anche le pipeline per le attività di trasformazione seguenti:

    • Conversione del tipo di dati
    • Manipolazione dei dati
    • Formattazione dei dati
    • Derivazione della colonna
    • Appiattimento dei dati
    • Ordinamento dei dati
    • Filtro dei dati

  2. I database locali come Db2 zOS, Db2 for i e Db2 LUW archiviano i dati dell'applicazione.

  3. Un runtime di integrazione self-hosted fornisce l'ambiente usato da Azure Data Factory per eseguire e inviare le attività.

  4. Azure Data Lake Storage Gen2 e Archiviazione BLOB di Azure gestiscono i dati in modo temporaneo. Questo passaggio è talvolta necessario per trasformare e unire i dati provenienti da più origini.

  5. Per la preparazione dei dati, Azure Data Factory usa Azure Databricks, le attività personalizzate e i flussi di dati della pipeline per trasformare i dati in modo rapido ed efficace.

  6. Azure Data Factory carica i dati nei database di Azure relazionali e non relazionali seguenti:

    • Azure SQL
    • Database di Azure per PostgreSQL
    • Azure Cosmos DB, un servizio di database distribuito globale di Microsoft
    • Azure Data Lake Storage
    • Database di Azure per MySQL

  7. SQL Server Integration Services (SSIS) estrae, trasforma e carica i dati.

  8. Il gateway dati locale è un'applicazione client Windows installata localmente che funge da ponte tra le origini dati locali locali e i servizi di Azure.

  9. Una pipeline di dati in Microsoft Fabric è un raggruppamento logico di attività che eseguono l'inserimento di dati da Db2 all'archiviazione e ai database di Azure.

  10. Se la soluzione richiede la replica quasi in tempo reale, è possibile utilizzare strumenti non Microsoft.

Componenti

In questa sezione vengono descritti altri strumenti che è possibile utilizzare durante la modernizzazione, la sincronizzazione e l'integrazione dei dati.

Integrazione dei dati

  • di Azure Data Factory è un servizio di integrazione dati ibrido. È possibile utilizzare questa soluzione serverless completamente gestita per creare, pianificare e orchestrare flussi di lavoro di estrazione, trasformazione e caricamento (ETL) e flussi di lavoro di estrazione, caricamento e trasformazione (ELT).

  • Azure Synapse Analytics servizio di analisi aziendale che riduce il tempo necessario per estrarre informazioni dettagliate da data warehouse e sistemi di Big Data. Azure Synapse Analytics combina il meglio delle tecnologie e dei servizi seguenti:

    • Tecnologie SQL per il data warehousing aziendale

    • Tecnologie Spark per i big data

    • Esplora dati di Azure per l'analisi dei log e delle serie temporali

    • Azure Pipelines per l'integrazione dei dati e i flussi di lavoro ETL ed ELT

    • Integrazione profonda con altri servizi di Azure, ad esempio Power BI, Azure Cosmos DB e Azure Machine Learning

  • SSIS è una piattaforma per la creazione di soluzioni di integrazione e trasformazione dei dati a livello aziendale. È possibile utilizzare SSIS per gestire, replicare, pulire ed estrarre i dati.

  • Azure Databricks è una piattaforma di analisi dei dati. Si basa sul sistema di elaborazione distribuito open source Apache Spark ed è ottimizzato per la piattaforma cloud Azure. In un flusso di lavoro di analisi, Azure Databricks legge i dati da più origini e usa Spark per fornire informazioni dettagliate.

Archiviazione dei dati

  • Il database SQL di Azure fa parte della famiglia Azure SQL ed è progettato per il cloud. Questo servizio offre i vantaggi di una piattaforma come servizio (PaaS) completamente gestita e sempreverde. Il database SQL offre anche funzionalità automatizzate basate sull'intelligenza artificiale che ottimizzano le prestazioni e la durabilità. Le opzioni di elaborazione serverless e di storage hyperscale scalano automaticamente le risorse on demand.

  • Istanza gestita di SQL di Azure fa parte del portfolio di servizi SQL di Azure. Questo servizio di database cloud intelligente e scalabile combina la più ampia compatibilità con il motore SQL Server con tutti i vantaggi di un PaaS completamente gestito e sempreverde. Usare Istanza gestita di SQL per modernizzare le app esistenti su larga scala.

  • SQL Server in Macchine virtuali di Azure offre un modo per trasferire in modalità lift-and-shift i carichi di lavoro di SQL Server nel cloud con una compatibilità completa del codice. Come parte della famiglia Azure SQL, SQL Server in Macchine virtuali di Azure offre le prestazioni, la sicurezza e l'analisi combinate di SQL Server con la flessibilità e la connettività ibrida di Azure. Usare SQL Server in Macchine virtuali di Azure per eseguire la migrazione di app esistenti o creare nuove app. È inoltre possibile accedere agli aggiornamenti e alle versioni più recenti di SQL Server, incluso SQL Server 2019.

  • Database di Azure per PostgreSQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database PostgreSQL open source. Utilizzare questo servizio per concentrarsi sull'innovazione delle applicazioni anziché sulla gestione del database. È anche possibile ridimensionare il carico di lavoro in modo rapido e semplice.

  • Azure Cosmos DB è un database multimodello distribuito a livello globale. Usa Azure Cosmos DB per assicurarti che le tue soluzioni possano ridimensionare in modo elastico e indipendente la velocità effettiva e l'archiviazione in un numero qualsiasi di aree geografiche. Questo servizio di database NoSQL completamente gestito garantisce latenze a una cifra e millisecondi al novantanovesimo percentile in qualsiasi parte del mondo.

  • Data Lake Storage è un repository di archiviazione che contiene una grande quantità di dati nel formato nativo non elaborato. Gli archivi Data Lake sono ottimizzati per il ridimensionamento a terabyte e petabyte di dati. I dati provengono in genere da più fonti eterogenee e possono essere strutturati, semi-strutturati o non strutturati. Data Lake Storage Gen2 combina le funzionalità di Data Lake Storage Gen1 con l'archiviazione BLOB. Questa soluzione di data lake di nuova generazione offre semantica del file system, sicurezza a livello di file e scalabilità. Fornisce inoltre le funzionalità di archiviazione a livelli, disponibilità elevata e ripristino di emergenza dell'archiviazione BLOB.

  • Microsoft Fabric è una piattaforma di analisi end-to-end pronta per l'azienda. Unifica lo spostamento dei dati, l'elaborazione dei dati, l'inserimento, la trasformazione, il routing degli eventi in tempo reale e la compilazione di report. Supporta queste funzionalità utilizzando servizi integrati come Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse e Fabric Databases.

  • Database di Azure per MySQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database MySQL open source.

Altri strumenti

Dettagli dello scenario

La disponibilità e l'integrità dei dati sono essenziali nella modernizzazione del mainframe e del midrange. Le strategie data-first consentono di mantenere i dati intatti e disponibili durante la migrazione ad Azure. Per evitare interruzioni durante la modernizzazione, a volte è necessario replicare rapidamente i dati o mantenere sincronizzati i dati locali con i database di Azure.

Nello specifico, questa soluzione riguarda:

  • Estrazione: connettersi ed estrarre i dati da un database di origine.

  • Trasformazione:

    • Staging: archiviare temporaneamente i dati nel formato originale e prepararli per la trasformazione.

    • Preparazione: trasformare e modificare i dati utilizzando regole di mapping che soddisfano i requisiti del database di destinazione.

  • Caricamento: inserire i dati in un database di destinazione.

Casi d'uso potenziali

Gli scenari di replica e sincronizzazione dei dati che possono trarre vantaggio da questa soluzione includono:

  • Architetture di segregazione che usano Azure per gestire tutti i canali di richiesta.

  • Ambienti che testano applicazioni locali e applicazioni riospitate o riprogettate in parallelo.

  • Sistemi locali con applicazioni strettamente accoppiate che richiedono la correzione o la modernizzazione in più fasi.

Consigli

È possibile applicare le raccomandazioni seguenti alla maggior parte degli scenari. Seguire queste indicazioni, a meno che non si disponga di un requisito specifico che le escluda.

Quando si usa Azure Data Factory per estrarre i dati, eseguire le operazioni necessarie per ottimizzare le prestazioni dell'attività di copia.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di set di principi guida che è possibile usare per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Azure Well-Architected Framework.

Affidabilità

L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni assunti dai clienti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'affidabilità.

  • La gestione dell'infrastruttura, inclusa la disponibilità, è automatizzata nei database di Azure.

  • Per informazioni sul servizio Microsoft per la protezione da failover DRDA, vedere Pooling e failover.

  • È possibile raggruppare il gateway dati locale e il runtime di integrazione per fornire garanzie di disponibilità più elevate.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'uso improprio dei dati e dei sistemi preziosi. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per la sicurezza.

  • Utilizzare i gruppi di sicurezza di rete per limitare l'accesso solo alle funzioni necessarie per ogni servizio.

  • Usare endpoint privati per i servizi PaaS. Utilizza firewall di servizio raggiungibili e non raggiungibili tramite Internet per integrare la sicurezza dei tuoi servizi.

  • Usare le identità gestite per i flussi di dati da componente a componente.

  • Per informazioni sui tipi di connessioni client supportate dal servizio Microsoft per DRDA, vedere Pianificare e progettare soluzioni utilizzando il servizio Microsoft per DRDA. Le connessioni client influiscono sulla natura delle transazioni, sul pooling, sul failover, sull'autenticazione e sulla crittografia della rete.

Ottimizzazione dei costi

L'ottimizzazione dei costi è incentrata sui modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.

  • I modelli di determinazione dei prezzi variano a seconda dei servizi componenti. Esamina i modelli di prezzo dei servizi componenti disponibili per assicurarti che si adattino al tuo budget.

  • Per stimare il costo di implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure.

Eccellenza operativa

L'eccellenza operativa copre i processi operativi che distribuiscono un'applicazione e lo mantengono in esecuzione nell'ambiente di produzione. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'eccellenza operativa.

  • La gestione dell'infrastruttura, inclusa la scalabilità, è automatizzata nei database di Azure.

  • È possibile aumentare il numero di istanze del runtime di integrazione self-hosted associando l'istanza logica a più computer locali in modalità attiva-attiva.

Efficienza delle prestazioni

L'efficienza delle prestazioni si riferisce alla capacità del carico di lavoro di ridimensionarsi per soddisfare in modo efficiente le esigenze degli utenti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'efficienza delle prestazioni.

  • Prendere in considerazione Azure ExpressRoute come opzione su larga scala se l'implementazione usa una larghezza di banda significativa per la replica iniziale o la replica continua dei dati modificati.

  • Scegli la configurazione IR corretta per il tuo scenario.

Passaggi successivi