Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Rocket® Data Replicate and Sync (RDRS), in precedenza tcVISION, è una soluzione di replica dei dati sviluppata da Rocket Software. RDRS offre una soluzione di integrazione mainframe IBM per la replica dei dati mainframe, la sincronizzazione dei dati, la migrazione dei dati e change data capture (CDC) per diversi servizi della piattaforma dati di Azure.
Rocket® Data Replicate and Sync è un marchio della sua azienda. Nessuna verifica dell'autenticità è implicita nell'uso di questo marchio.
Architettura
Scaricare un file di Visio di questa architettura.
Flusso di dati
Il flusso di dati seguente corrisponde al diagramma precedente:
La soluzione di replica dei dati RDRS supporta CDC da molti database basati su mainframe, tra cui IBM Db2, IBM Information Management System (IMS) DB, Adabas for Software AG, CA Datacom e Computer Associates Integrated Gestione dati System (CA IDMS). RDRS fornisce agenti CDC basati su log per acquisire i dati delle modifiche a livello di record. Questo CDC basato su log ha un impatto minimo sui database di origine di produzione.
RDRS supporta CDC dai file del metodo di accesso all'archiviazione virtuale.
Un'attività viene avviata nel mainframe. Le attività avviate o i controller di sicurezza vengono creati nel mainframe come parte dell'installazione del software RDRS. Due controller di sicurezza cruciali sono:
Agente di acquisizione, che acquisisce i dati modificati dall'origine.
L'agente apply, che usa le API specifiche del sistema di gestione dei database (DBMS) per scrivere in modo efficiente i dati modificati nella destinazione.
Nota
Per Db2 z/OS, RDRS fornisce anche una soluzione CDC senza agente tramite un tipo definito dall'utente Db2 che non necessita di controller di sicurezza.
OPM (Open Platform Manager) funge da server di replica. Questo server contiene utilità per il mapping automatico dei dati per generare metadati per origini e destinazioni. Contiene anche il set di regole per estrarre i dati dall'origine. Il server trasforma ed elabora i dati per i sistemi di destinazione e scrive i dati nelle destinazioni. È possibile installare questo componente nei sistemi operativi Linux, Unix e Windows (LUW).
L'agente di applicazione rdrs usa API specifiche di DBMS. Queste API implementano in modo efficiente modifiche ai dati in tempo reale in combinazione con la tecnologia CDC. Le modifiche vengono applicate dall'origine ai servizi dati di Azure di destinazione, ovvero il database e i file.
RDRS supporta lo streaming diretto dei dati modificati in Hub eventi di Azure o Kafka. Quindi App per la logica di Azure, una funzione o una soluzione personalizzata nella macchina virtuale elabora questi eventi.
Le destinazioni della piattaforma dati di Azure supportate da RDRS includono Database SQL di Azure, Database di Azure per PostgreSQL, Database di Azure per MySQL, Azure Cosmos DB e Azure Data Lake Storage.
I dati inseriti nella piattaforma dati di Azure vengono usati dai servizi di Azure o da altre piattaforme autorizzate a visualizzarli. Queste piattaforme includono Power BI, servizi di Azure o applicazioni personalizzate.
RdRS può sincronizzare in modo inverso le modifiche apportate da una piattaforma di database di Azure, ad esempio database SQL, Database di Azure per MySQL, Database di Azure per PostgreSQL o Data Lake Storage. RdRS può quindi scrivere di nuovo tali modifiche nel livello dati mainframe.
Il backup e lo scaricamento dei file del database mainframe vengono copiati in una macchina virtuale di Azure usando RDRS per l'elaborazione del caricamento bulk.
Il caricamento bulk rdrs esegue un caricamento iniziale del database di destinazione usando i dati di origine mainframe. I dati di origine possono essere letti direttamente dall'archivio dati mainframe o da un backup mainframe o un file di scaricamento. Il processo di caricamento bulk converte automaticamente i tipi di dati mainframe, ad esempio i campi interscambio decimali codificati binari estesi. Per ottenere prestazioni ottimali, usare il backup o scaricare i dati anziché leggere direttamente il database mainframe. Evitare letture dirette perché lo spostamento di dati di scaricamento o backup nella macchina virtuale di Azure RDRS necessaria e l'uso di caricatori di database nativi riduce al minimo l'input/output di rete e riduce i tempi di caricamento.
Modificare la replica dei dati da Db2 z/OS a un database SQL nativo di Microsoft Fabric tramite RDRS
L'architettura seguente offre una panoramica del modo in cui i dati vengono replicati da Db2 z/OS a un database SQL nativo di Fabric quasi in tempo reale.
Scaricare un file di Visio di questa architettura.
Caricamento iniziale dei dati
Db2 installato in un mainframe IBM nel data center del cliente funge da origine dei dati per la replica nel cloud di Azure.
Per creare una copia completa, l'agente di acquisizione RDRS recupera i dati Db2 eseguendo query SELECT nel database Db2 di origine. Se le dimensioni dei dati sono di grandi dimensioni, è possibile inviare un backup di copia immagine dei dati dal mainframe alla macchina virtuale Capture LUW in formato binario.
OPM funge da server di replica. Questo server contiene utilità per il mapping automatico dei dati per generare metadati per origini e destinazioni. Contiene il set di regole per estrarre i dati dall'origine. Il server trasforma ed elabora i dati per i sistemi di destinazione e scrive i dati nelle destinazioni. È possibile installare questo componente nei sistemi operativi LUW.
L'agente di acquisizione e applicazione rdrs riceve i dati da Db2, come output delle query SELECT o di una copia dell'immagine. Dopo aver applicato l'agente RDRS, le trasformazioni configurate vengono scritti nel database SQL nativo dell'infrastruttura di destinazione.
L'agente di applicazione rdrs usa Microsoft ODBC Driver con l'autenticazione MICROSOFT Entra ID per SQL di Azure per scrivere in modo efficiente i dati nel database SQL nativo di Fabric di destinazione.
I dati vengono inseriti nel database SQL nativo di Fabric.
Dopo che i dati vengono inseriti nel database SQL nativo di Fabric, i servizi di Azure o altre entità autorizzate lo usano, ad esempio Analisi infrastruttura, Power BI o applicazioni personalizzate.
CDC
A. Db2 installato in un mainframe IBM nel data center del cliente funge da origine dei dati per la replica nel cloud di Azure. RDRS offre la possibilità di recuperare i dati delle modifiche basati su log da Db2.
B. RDRS definisce il processo definito dall'utente db2 per leggere i log db2. L'UDT viene eseguito nell'ambiente IBM Workload Manager ed è gestito da Db2 DBMS. Il tipo definito dall'utente legge i dati di log e li archivia in memoria per la trasmissione.
C. OPM funge da server di replica, dotato di utilità per il mapping automatico dei dati per generare metadati per origini e destinazioni. Include set di regole per estrarre i dati dall'origine, trasformare ed elaborare i dati per i sistemi di destinazione e scriverli nelle destinazioni. È possibile installare questo componente nei sistemi operativi LUW. L'agente di acquisizione e applicazione rdrs riceve i dati dal processo definito dall'utente. Dopo che l'agente apply configura le trasformazioni, scrive i dati nel database SQL dell'infrastruttura di destinazione.
D. L'interfaccia del dashboard RDRS consente l'amministrazione, l'operazione, il controllo e il monitoraggio dei processi di scambio di dati. Le utilità della riga di comando RDRS consentono di automatizzare i processi di scambio dei dati e gestire le operazioni automatiche del processo di sincronizzazione dei dati.
E. L'agente di applicazione rdRS usa Microsoft ODBC Driver con l'autenticazione MICROSOFT Entra ID per Azure SQL per eseguire query sul linguaggio di manipolazione dei dati nel database SQL nativo di Fabric di destinazione.
F. Dopo che i dati vengono inseriti nel database SQL nativo dell'infrastruttura, nei servizi di Azure o in altre entità autorizzate lo usano, tra cui Analisi infrastruttura, Power BI o applicazioni personalizzate.
G. RdRS offre anche funzionalità per scrivere dati acquisiti come JSON in Hub eventi o Kafka.
H. Hub eventi funge da piattaforma di archiviazione per i messaggi di dati CDC.
I. App per la logica, Funzioni di Azure o un'infrastruttura come soluzione logica personalizzata basata su servizi in una macchina virtuale di Azure può usare messaggi provenienti da Hub eventi per eseguire l'elaborazione personalizzata.
Componenti
Questa soluzione usa i componenti seguenti.
Componenti di rete e identità
Questa architettura si riferisce ai seguenti servizi di rete che è possibile usare singolarmente o in combinazione per migliorare la sicurezza.
Un gateway VPN di Azure è un tipo specifico di gateway di rete virtuale che invia traffico crittografato tra una rete virtuale di Azure e una posizione locale tramite Internet pubblico. In questa architettura il gateway VPN di Azure offre un'opzione di connettività alternativa ad Azure ExpressRoute per la comunicazione sicura tra il mainframe e Azure.
ExpressRoute è un servizio che estende le reti locali in Microsoft Cloud tramite una connessione privata gestita da un provider di connettività. È possibile usare ExpressRoute per stabilire connessioni altamente sicure e affidabili ai servizi cloud, ad esempio Microsoft Azure e Microsoft 365. In questa architettura ExpressRoute fornisce una connessione privata e sicura per la replica dei dati tra l'ambiente mainframe e i servizi di Azure.
Microsoft Entra ID è un servizio di gestione delle identità e degli accessi che è possibile sincronizzare con una directory locale. In questa architettura, Microsoft Entra ID fornisce l'autenticazione e il controllo di accesso per le risorse rdrs e di Azure, inclusa l'autenticazione del driver ODBC per Azure SQL.
Componenti di calcolo
Funzioni di Azure è un servizio cloud che è possibile usare per eseguire piccole parti di codice, note come funzioni, senza la necessità di gestire o configurare l'infrastruttura dell'applicazione sottostante. È possibile usare Funzioni di Azure per automatizzare le attività, elaborare i dati, integrare i sistemi e creare applicazioni scalabili. L'infrastruttura cloud fornisce i server up-todata necessari per mantenere l'applicazione in esecuzione su larga scala. In questa architettura Funzioni di Azure può usare i messaggi di Hub eventi per eseguire l'elaborazione personalizzata dei dati delle modifiche.
Le macchine virtuali di Azure sono risorse di calcolo su richiesta e scalabili. Una macchina virtuale di Azure offre la flessibilità della virtualizzazione ed elimina le richieste di manutenzione dell'hardware fisico. Le macchine virtuali di Azure operano su sistemi Windows e Linux. In questa architettura, le macchine virtuali di Azure ospitano OPM rdrs e possono eseguire soluzioni personalizzate per l'elaborazione di messaggi di Hub eventi o l'elaborazione del caricamento bulk.
App per la logica è un servizio cloud che crea ed esegue attività e processi ricorrenti automatizzati in base a una pianificazione. È possibile chiamare i servizi all'interno e all'esterno di Azure, ad esempio endpoint HTTP o HTTPS, inviare messaggi a servizi di Azure come Archiviazione di Azure e bus di servizio di Azure o caricare file in una condivisione file. In questa architettura Le app per la logica possono elaborare eventi da Hub eventi per eseguire l'elaborazione personalizzata dei dati CDC.
Componenti di archiviazione e database
Questa architettura illustra la migrazione dei dati a database scalabili e più sicuri per l'archiviazione cloud e i database gestiti flessibili e intelligenti in Azure.
Azure Cosmos DB è un servizio di database NoSQL completamente gestito che offre distribuzione globale e scalabilità elastica. In questa architettura Azure Cosmos DB funge da piattaforma di destinazione per origini dati mainframe non relazionali.
Azure SQL è una famiglia di servizi completamente gestiti basati sulla tecnologia SQL Server. È possibile eseguire la migrazione dei dati relazionali e usarli in modo efficiente con altri componenti di Azure, tra cui Istanza gestita di SQL di Azure, database SQL e SQL Server in macchine virtuali di Azure, oltre a opzioni di integrazione come Database di Azure per PostgreSQL e Database di Azure per MySQL. In questa architettura, Azure SQL funge da piattaforma di destinazione per la replica dei dati mainframe e supporta sia operazioni CDC in tempo reale che operazioni di caricamento bulk.
Archiviazione di Azure è un servizio di archiviazione cloud che offre soluzioni di archiviazione gestita come Archiviazione BLOB di Azure, Archiviazione tabelle di Azure, Archiviazione code di Azure e File di Azure. File di Azure è particolarmente utile per soluzioni mainframe ricreate e offre un componente aggiuntivo efficace con l'archiviazione SQL gestita. In questa architettura i servizi di archiviazione archiviano i file di backup e forniscono spazio di archiviazione per i dati mainframe durante il processo di replica.
Il database SQL in Fabric è la piattaforma principale che supporta i carichi di lavoro di elaborazione delle transazioni online e semplifica la configurazione e la gestione. Ha un sistema che replica automaticamente i dati in OneLake quasi in tempo reale, che lo rende ideale per le attività di analisi. L'integrazione con framework di sviluppo e strumenti di analisi consente di garantire compatibilità e flessibilità per varie applicazioni. Il database SQL in Fabric consente di eseguire query nello stesso modo del database SQL e include un editor basato sul Web a cui è possibile accedere tramite il portale di Fabric. In questa architettura, il database SQL in Fabric funge da destinazione per la replica dei dati in tempo reale da Db2 z/OS con integrazione automatica in OneLake per l'analisi.
Componenti di monitoraggio
Monitoraggio di Azure è un servizio di monitoraggio completo che offre una soluzione per la raccolta, l'analisi e l'azione sui dati di telemetria da ambienti cloud e locali. In questa architettura Monitoraggio di Azure offre funzionalità di monitoraggio per i processi di replica RDRS e le risorse di Azure.
Application Insights è una funzionalità di Monitoraggio di Azure che fornisce il monitoraggio delle prestazioni dell'applicazione raccogliendo e analizzando i dati di telemetria dell'applicazione. In questa architettura Application Insights fornisce monitoraggio e diagnostica per i componenti rdrs e i processi di replica dei dati.
Log di Monitoraggio di Azure è una funzionalità di Monitoraggio di Azure che raccoglie e organizza i dati di log e prestazioni dalle risorse monitorate. È possibile consolidare i dati da più origini, ad esempio i log della piattaforma dai servizi di Azure, i dati di log e prestazioni degli agenti delle macchine virtuali e i dati sull'utilizzo e sulle prestazioni delle applicazioni, in un'unica area di lavoro da analizzare insieme usando un linguaggio di query sofisticato che può eseguire query su milioni di record. In questa architettura, i log di Monitoraggio di Azure consolidano i dati di monitoraggio dai componenti RDRS e dai servizi di Azure per l'analisi.
Log Analytics è uno strumento nel portale di Azure che consente di usare le query di log per ottenere informazioni dettagliate dai dati raccolti nei log di Monitoraggio di Azure. Log Analytics usa un linguaggio di query avanzato in modo da poter unire dati da più tabelle, aggregare set di dati di grandi dimensioni ed eseguire operazioni complesse con codice minimo. In questa architettura Log Analytics offre funzionalità di query per l'analisi dei log delle operazioni RDRS e dei dati sulle prestazioni.
Dettagli dello scenario
I mainframe sono server che elaborano un numero elevato di transazioni. Le applicazioni mainframe producono e utilizzano grandi quantità di dati ogni giorno. I cloud pubblici offrono elasticità, ottimizzazione dei costi, facilità d'uso e facile integrazione. Molte applicazioni x86 e mainframe passano al cloud, quindi le organizzazioni devono avere una strategia di integrazione e migrazione dei dati da mainframe a cloud ben progettata.
Questo scenario integra un livello di dati mainframe IBM Z con la piattaforma dati cloud di Azure usando RDRS fornito da Rocket Software .
Potenziali casi d'uso
Questa soluzione è ideale per le migrazioni di dati su larga scala alla piattaforma dati di Azure. Prendere in considerazione questo scenario per i casi d'uso seguenti:
Migrazione completa di un livello dati mainframe: In questo caso d'uso, un cliente vuole spostare tutti i dati Db2, IMS, IDMS, file e altri dati da un mainframe alla piattaforma dati di Azure.
Coesistenza di applicazioni basate su mainframe e Azure: In questo caso d'uso, un cliente richiede il supporto per una sincronizzazione bidirezionale tra un mainframe e la piattaforma dati di Azure.
Archivistico: In questo caso d'uso, un cliente vuole archiviare i dati per scopi di controllo e conformità, ma non vuole accedere frequentemente a questi dati. L'archiviazione offre una soluzione a basso costo per archiviare i dati di archiviazione.
Considerazioni
Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Well-Architected Framework.
Affidabilità
L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni assunti dai clienti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'affidabilità.
Configurare OPM rdr nelle macchine virtuali di Azure distribuite in zone di disponibilità separate per offrire disponibilità elevata. Se si verifica un errore, viene attivato un OPM di RDRS secondario e comunica il proprio indirizzo IP con la gestione mainframe RDRS. Il mainframe comunica quindi con il nuovo OPM rdrs che continua a elaborare al successivo punto di riavvio logico usando una combinazione di unità logica di lavoro e di riavvio dei file.
Progettare i servizi di database di Azure per supportare la ridondanza della zona in modo che possano eseguire il failover in un nodo secondario in caso di interruzione o di una finestra di manutenzione pianificata.
Usare i log di Monitoraggio di Azure e Application Insights per monitorare l'integrità di una risorsa di Azure. È possibile impostare avvisi per la gestione proattiva.
Sicurezza
La sicurezza offre garanzie contro attacchi intenzionali e l'uso improprio dei dati e dei sistemi preziosi. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per la sicurezza.
Controllare l'autenticazione e l'accesso per RDRS usando Microsoft Entra ID.
Crittografare i trasferimenti di dati tra prodotti RDRS, ad esempio i trasferimenti da mainframe ad Azure, usando Transport Layer Security (TLS).
Usare ExpressRoute o una VPN da sito a sito per una connessione più privata ed efficiente ad Azure da un ambiente locale.
Autenticare le risorse di Azure usando Microsoft Entra ID e gestire le autorizzazioni usando il controllo degli accessi in base al ruolo.
Usare i servizi di database in Azure per supportare varie opzioni di sicurezza, ad esempio Transparent Data Encryption per i dati inattivi, TLS per i dati in transito e la crittografia dei dati durante l'elaborazione per garantire che i dati siano sempre crittografati. Per altre informazioni, vedere la documentazione sulla sicurezza di Azure e le baseline di sicurezza per Azure.
Ottimizzazione costi
L'ottimizzazione dei costi è incentrata sui modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.
Per stimare il costo di implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure.
Efficienza delle prestazioni
L'efficienza delle prestazioni si riferisce alla capacità del carico di lavoro di ridimensionarsi per soddisfare in modo efficiente le esigenze degli utenti. Per altre informazioni, vedere Elenco di controllo per l'efficienza delle prestazioni.
Scalabilità
Configurare il ridimensionamento RDRS per l'elaborazione CDC eseguendo più flussi di replica parallela. Analizzare prima di tutto i file inclusi nelle transazioni logiche. Questi file devono essere elaborati insieme in sequenza. Il processo CDC di RDRS garantisce l'integrità di ogni transazione logica. Ad esempio, i set di tabelle che non partecipano alle transazioni comuni possono essere suddivisi in attività parallele creando più script di elaborazione.
RdRS può eseguire simultaneamente l'elaborazione simultanea del caricamento bulk in una singola macchina virtuale di Azure o in più macchine virtuali di Azure, che offre scalabilità orizzontale. Eseguire operazioni di caricamento bulk rapido per tabelle di grandi dimensioni suddividendo il processo in più attività, usando intervalli arbitrari o filtri di riga. Il filtro delle righe può usare una chiave, una chiave di partizione, una data e altri filtri.
Il livello di calcolo serverless database SQL offre un'opzione di ridimensionamento automatico basata sul carico di lavoro. È possibile aumentare e ridurre le prestazioni di altri database di Azure usando l'automazione per soddisfare le esigenze del carico di lavoro. Per altre informazioni, vedere Procedure consigliate per la scalabilità automatica in Azure.
Collaboratori
Microsoft gestisce questo articolo. I collaboratori seguenti hanno scritto questo articolo.
Autori principali:
- Sandip Kndelwal | Senior Engineering Architect
Altri contributori:
- Liz Casey | Sviluppatore di contenuti senior
Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.
Passaggi successivi
- Guide alla migrazione del database di Azure
- Guida alla migrazione: SQL Server al database SQL di Azure
- Training: Progettare una piattaforma dati in Azure
- Training: Progettare una strategia di migrazione di SQL Server