Modifica

Modernizzare i dati di mainframe e di fascia media

Azure Cosmos DB
Azure Data Lake
database SQL di Azure
Istanza gestita di SQL di Azure
Archiviazione di Azure

Apache®, Spark e il logo flame sono marchi o marchi registrati di Apache Software Foundation nei Stati Uniti e/o in altri paesi. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.

Questo articolo descrive un piano di modernizzazione end-to-end per le origini dati mainframe e midrange.

Architettura

Architecture diagram that shows how to modernize mainframe and midrange systems by migrating data to Azure.

Scaricare un file di Visio di questa architettura.

Flusso di dati

Il flusso di dati seguente illustra un processo per la modernizzazione di un livello dati mainframe. Corrisponde al diagramma precedente.

  1. I sistemi mainframe e midrange archiviano i dati in origini dati, ad esempio file system (VSAM, file flat, LTFS), database relazionali (Db2 per z/OS, Db2 per IBM i, Db2 per Linux UNIX e Windows) o database non relazionali (IMS, ADABAS, IDMS).

  2. Il processo di conversione degli oggetti estrae le definizioni degli oggetti dagli oggetti di origine. Le definizioni vengono quindi convertite in oggetti corrispondenti nell'archivio dati di destinazione.

    • SQL Server Migration Assistant (SSMA) per Db2 esegue la migrazione di schemi e dati dai database IBM Db2 ai database di Azure.
    • Il provider di dati gestito per i file host converte gli oggetti in base a:
      • Analisi di layout di record COBOL e RPG o copybook.
      • Mapping dei copybook agli oggetti C# usati dalle applicazioni .NET.
    • Gli strumenti di terze parti eseguono la conversione automatica degli oggetti in database non relazionali, file system e altri archivi dati.

  3. I dati vengono inseriti e trasformati. I sistemi mainframe e midrange archiviano i dati del file system in formato con codifica EBCDIC in formati di file come:

    I copybook COBOL, PL/I e del linguaggio assembly definiscono la struttura dei dati di questi file.

    a. FTP trasferisce i set di dati del file system mainframe e midrange con layout singoli e campi decompressi in formato binario e il copybook corrispondente in Azure.

    b. I dati vengono convertiti. Il connettore personalizzato di Azure Data Factory è una soluzione sviluppata usando il componente client file host di Host Integration Server per convertire i set di dati mainframe.

    Host Integration Server integra sistemi host, programmi, messaggi e dati IBM esistenti con applicazioni Di Azure. Host Integration Server è un componente client file host che è possibile usare per sviluppare una soluzione personalizzata per la conversione del set di dati.

    Il connettore personalizzato di Azure Data Factory si basa sul framework Spark open source e viene eseguito in Azure Synapse Analytics. Analogamente ad altre soluzioni, può analizzare il copybook e convertire i dati. Gestire il servizio per la conversione dei dati usando il connettore Analizza contenuto file host App per la logica di Azure.

    c. Viene eseguita la migrazione dei dati del database relazionale.

    I sistemi ibm mainframe e midrange archiviano i dati in database relazionali come segue:

    Questi servizi consentono di eseguire la migrazione dei dati del database:

    • Data Factory usa un connettore Db2 per estrarre e integrare i dati dai database.
    • SQL Server Integration Services gestisce varie attività ETL dei dati.

    d. Viene eseguita la migrazione dei dati di database non relazionali.

    I sistemi IBM mainframe e midrange archiviano i dati in database non relazionali come segue:

    I prodotti di terze parti integrano i dati di questi database.

  4. Servizi di Azure come Data Factory e AzCopy caricano i dati nei database di Azure e nell'archiviazione dati di Azure. È anche possibile usare soluzioni di terze parti e soluzioni di caricamento personalizzate per caricare i dati.

  5. Azure offre molte soluzioni di archiviazione dati gestite:

  6. I servizi di Azure usano il livello dati modernizzato per il calcolo, l'analisi, l'archiviazione e la rete.

  7. Le applicazioni client usano anche il livello dati modernizzato.

Componenti

Archiviazione di dati

  • database SQL fa parte della famiglia SQL di Azure. È progettato per il cloud e offre tutti i vantaggi di una piattaforma completamente gestita e sempreverdi come servizio. database SQL fornisce anche funzionalità automatizzate basate sull'intelligenza artificiale che ottimizzano le prestazioni e la durabilità. Le opzioni di calcolo serverless e di archiviazione Hyperscale ridimensionano automaticamente le risorse su richiesta.
  • Database di Azure per PostgreSQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database PostgreSQL open source.
  • Azure Cosmos DB è un database NoSQL multimodellodistribuito a livello globale.
  • Database di Azure per MySQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database MySQL open source.
  • Database di Azure per MariaDB è un servizio di database relazionale basato sul cloud. Si basa sul motore di database MariaDB Community Edition.
  • Istanza gestita di SQL è un servizio di database cloud intelligente e scalabile che offre tutti i vantaggi di una piattaforma distribuita come servizio completamente gestita e sempreverdi. Istanza gestita di SQL ha una compatibilità quasi del 100% con il motore di database di SQL Server Enterprise Edition più recente. Fornisce anche un'implementazione di rete virtuale nativa che risolve i problemi di sicurezza comuni.
  • Azure Data Lake Archiviazione è un repository di archiviazione che contiene grandi quantità di dati nel formato nativo e non elaborato. Gli archivi data lake sono ottimizzati per la scalabilità fino a terabyte e petabyte di dati. I dati provengono in genere da più origini eterogenee. Può essere strutturato, semistrutturato o non strutturato.

Calcolo

  • Data Factory integra i dati in ambienti di rete diversi usando un runtime di integrazione (IR), che è un'infrastruttura di calcolo. Data Factory copia i dati tra archivi dati cloud e archivi dati in reti locali usando IR self-hosted.
  • Azure Macchine virtuali offre risorse di calcolo su richiesta e scalabili. Una macchina virtuale di Azure offre la flessibilità della virtualizzazione, ma elimina le richieste di manutenzione dell'hardware fisico. Le macchine virtuali di Azure offrono un'ampia scelta di sistemi operativi, tra cui Windows e Linux.

Integratori di dati

  • Azure Data Factory è un servizio di integrazione dei dati ibrido. In questa soluzione, un connettore personalizzato di Azure Data Factory usa il componente client file host di Host Integration Server per convertire i set di dati mainframe. Con una configurazione minima, è possibile usare un connettore personalizzato per convertire il set di dati mainframe esattamente come si userà qualsiasi altro connettore di Azure Data Factory.
  • AzCopy è un'utilità della riga di comando che sposta BLOB o file all'esterno degli account di archiviazione.
  • SQL Server Integration Services è una piattaforma per la creazione di soluzioni di integrazione e trasformazione dei dati a livello aziendale. È possibile usarlo per risolvere problemi aziendali complessi:
    • Copia o download di file.
    • Caricamento di data warehouse.
    • Pulizia e data mining.
    • Gestione di oggetti e dati di SQL Server.
  • Le tecnologie e gli strumenti host di Integration Server consentono di integrare sistemi host, programmi, messaggi e dati IBM esistenti con applicazioni Azure. Il componente client file host offre flessibilità per i dati convertiti da EBCDIC a ASCII. Ad esempio, è possibile generare JSON/XML dai dati convertiti.
  • Azure Synapse riunisce l'integrazione dei dati, il data warehousing aziendale e l'analisi dei Big Data. La soluzione di conversione di Azure Synapse usata in questa architettura è basata su Apache Spark ed è un buon candidato per la conversione di carichi di lavoro del set di dati mainframe di grandi dimensioni. Supporta un'ampia gamma di destinazioni e strutture di dati mainframe e richiede un impegno minimo di codifica.

Altri strumenti

  • SQL Server Migration Assistant per Db2 automatizza la migrazione da Db2 ai servizi di database Microsoft. Quando viene eseguito in una macchina virtuale, questo strumento converte gli oggetti di database Db2 in oggetti di database di SQL Server e crea tali oggetti in SQL Server.
  • provider di dati per i file host è un componente di Host Integration Server che usa connessioni offline, SNA o TCP/IP.
    • Con le connessioni offline, provider di dati legge e scrive i record in un file binario locale.
    • Con le connessioni SNA e TCP/IP, provider di dati legge e scrive i record archiviati in set di dati z/OS remoti (IBM Z Series Mainframe) o in file fisici i5/OS remoti (sistemi IBM AS/400 e iSeries). Solo i5/sistemi operativi usano TCP/IP.
  • I servizi di Azure offrono ambienti, strumenti e processi per lo sviluppo e la scalabilità di nuove applicazioni nel cloud pubblico.

Dettagli dello scenario

Soluzioni moderne di archiviazione dei dati come la piattaforma dati di Azure offrono una migliore scalabilità e prestazioni rispetto ai sistemi mainframe e midrange. Modernizzando i sistemi, è possibile sfruttare questi vantaggi. Tuttavia, l'aggiornamento della tecnologia, dell'infrastruttura e delle procedure è complesso. Il processo prevede un'analisi completa delle attività aziendali e di progettazione. La gestione dei dati è una considerazione quando si modernizzano i sistemi. È anche necessario esaminare la visualizzazione e l'integrazione dei dati.

Le modernizzazioni riuscite usano una strategia data-first. Quando si usa questo approccio, ci si concentra sui dati anziché sul nuovo sistema. La gestione dei dati non è più solo un elemento nell'elenco di controllo per la modernizzazione. I dati sono invece il centro. Le soluzioni di dati coordinate orientate alla qualità sostituiscono quelle frammentate e mal regolate.

Questa soluzione usa i componenti della piattaforma dati di Azure in un approccio basato su dati. In particolare, la soluzione prevede:

  • Conversione di oggetti. Conversione delle definizioni di oggetti dall'archivio dati di origine a oggetti corrispondenti nell'archivio dati di destinazione.
  • Inserimento dati. Connessione all'archivio dati di origine ed estrarre i dati.
  • Trasformazione dei dati. Trasformazione dei dati estratti in strutture appropriate dell'archivio dati di destinazione.
  • Archiviazione dei dati. Caricamento di dati dall'archivio dati di origine all'archivio dati di destinazione, inizialmente e continuamente.

Potenziali casi d'uso

Le organizzazioni che usano sistemi mainframe e midrange possono trarre vantaggio da questa soluzione, soprattutto quando vogliono raggiungere questi obiettivi:

  • Modernizzare i carichi di lavoro cruciali.
  • Acquisire business intelligence per migliorare le operazioni e ottenere un vantaggio competitivo.
  • Rimuovere i costi elevati e la rigidità associati agli archivi dati mainframe e midrange.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, un set di set di principi guida che è possibile usare per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Framework ben progettato di Microsoft Azure. Quando si usa il provider di dati per il client di File host per convertire i dati, attivare il pool di connessioni per ridurre il tempo di avvio della connessione. Quando si usa Data Factory per estrarre i dati, ottimizzare le prestazioni dell'attività di copia.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per altre informazioni, vedere Panoramica del pilastro della sicurezza.

  • Tenere presenti le differenze tra identità client locali e identità client in Azure. È necessario compensare eventuali differenze.
  • Usare le identità gestite per i flussi di dati da componente a componente.
  • Quando si usa provider di dati per i file host per convertire i dati, seguire le indicazioni riportate in provider di dati per la sicurezza e la protezione dei file host.

Ottimizzazione dei costi

L'ottimizzazione dei costi riguarda la riduzione delle spese non necessarie e il miglioramento dell'efficienza operativa. Per altre informazioni, vedere Panoramica del pilastro di ottimizzazione dei costi.

  • SQL Server Migration Assistant è uno strumento gratuito e supportato che semplifica la migrazione del database da Db2 a SQL Server, database SQL e Istanza gestita di SQL. SQL Server Migration Assistant automatizza tutti gli aspetti della migrazione, tra cui l'analisi della valutazione della migrazione, la conversione dello schema e delle istruzioni SQL e la migrazione dei dati.
  • La soluzione basata su Spark di Azure Synapse è basata su librerie open source. Elimina il carico finanziario degli strumenti di conversione delle licenze.
  • Per stimare il costo di implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure.

Efficienza prestazionale

L'efficienza delle prestazioni è la capacità di dimensionare il carico di lavoro per soddisfare in modo efficiente le richieste poste dagli utenti. Per altre informazioni, vedere Panoramica dell'efficienza delle prestazioni.

  • I pilastri chiave dell'efficienza delle prestazioni sono la gestione delle prestazioni, la pianificazione della capacità, la scalabilità e la scelta di un modello di prestazioni appropriato.
  • È possibile aumentare il numero di istanze del runtime di integrazione self-hosted associando l'istanza logica a più computer locali in modalità attiva-attiva.
  • database SQL di Azure offre la possibilità di ridimensionare dinamicamente i database. In un livello serverless può ridimensionare automaticamente le risorse di calcolo. Il pool elastico, che consente ai database di condividere le risorse in un pool, può essere ridimensionato solo manualmente.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

Altri contributori:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi

Esaminare le Guide alla migrazione del database di Azure. Per altre informazioni, contattare Azure Ingegneria dei dati - Mainframe e modernizzazione midrange.

Vedere i seguenti articoli: