Rocket® Data Replication and Sync (RDRS), anciennement tcVISION, est une solution de réplication de données développée par Rocket Software. Il s’agit d’une solution d’intégration d’ordinateur mainframe IBM pour la réplication de données, la synchronisation de données, la migration de données et la capture de changements de données (CDC) dans plusieurs services de plateforme de données Azure.
Architecture
Téléchargez un fichier Visio de cette architecture.
Workflow
La solution de réplication des données RDRS prend en charge la capture des changements (CDC) de données à partir de nombreuses bases de données sur ordinateur mainframe, notamment IBM Db2, IBM Information Management System (IMS) DB, Adabas for Software AG, CA Datacom et Computer Associates Integrated Data Management System (CA IDMS). RDRS fournit des agents CDC basés sur des journaux pour capturer les données modifiées au niveau des enregistrements. Cette capture des changements de données basée sur des journaux n’impose qu’une surcharge négligeable aux bases de données sources de production.
RDRS prend en charge la CDC à partir de fichiers VSAM (Virtual Storage Access Method).
Une tâche démarre sur l’ordinateur mainframe. Des tâches démarrées (STC) sont créées sur l’ordinateur mainframe dans le cadre de l’installation du logiciel RDRS. Voici deux STC vitales :
- Agent de capture, qui capture les données modifiées à partir de la source.
- Appliquer l’agent, qui utilise des API spécifiques au système de gestion de base de données (SGBD) pour écrire efficacement les données modifiées sur la cible.
Remarque
Pour Db2 z/OS, RDRS offre également une solution CDC sans agent au moyen d’un type défini par l’utilisateur (UDT) Db2 qui n’a pas besoin de STC.
Open Platform Manager (OPM) agit comme un serveur de réplication. Ce serveur contient des utilitaires pour le mappage automatique des données afin de générer des métadonnées pour les sources et les cibles. Il contient également l’ensemble de règles permettant d’extraire les données de la source. Le serveur transforme et traite les données pour les systèmes cibles, et les écrit dans les cibles. Vous pouvez installer ce composant dans des systèmes d’exploitation Linux, Unix et Windows.
Le tableau de bord RDRS permet de contrôler l’administration, l’examen, la conduite, le contrôle et la surveillance des processus d’échange de données. Les utilitaires en ligne de commande RDRS permettent d’automatiser les processus d’échange de données et de gérer les opérations sans assistance du processus de synchronisation des données.
L’agent d’application RDRS utilise des API spécifiques au SGBD. Ces API implémentent efficacement les changements de données en temps réel, en combinaison avec la technologie CDC à la source, vers les services de données Azure cibles, c’est-à-dire la base de données et les fichiers.
RDRS prend en charge la diffusion en continu directe des données modifiées dans Azure Event Hubs ou Kafka. Ces événements sont ensuite traités par Azure Logic Apps, une fonction ou une solution personnalisée dans la machine virtuelle (VM).
Les cibles de la plateforme de données Azure qui sont prises en charge par RDRS incluent Azure SQL Database, Azure Database pour PostgreSQL et Azure Database pour MySQL, Azure Cosmos DB, Azure Data Lake Storage, etc.
Les données qui arrivent dans la plateforme de données Azure sont utilisées par les services Azure ou d’autres plateformes autorisés à les voir. Il peut s’agir, par exemple, de Power BI, d’Azure Synapse Analytics ou d’applications personnalisées.
RDRS peut inverser la synchronisation de la capture des modifications à partir d’une plateforme de base de données Azure (notamment SQL Database, Azure Database pour MySQL, Azure Database pour PostgreSQL ou Data Lake Storage) et les réécrire dans la couche Données de l’ordinateur mainframe.
Les fichiers de sauvegarde et de déchargement de base de données d’ordinateur mainframe sont copiés sur une machine virtuelle Azure avec RDRS à des fins de traitement de chargement en masse.
Le chargement en bloc RDRS effectue une charge initiale de base de données cible à l’aide de données sources d’ordinateur mainframe. Les données sources peuvent être lues directement à partir du magasin de données d’ordinateur mainframe, ou à partir d’une sauvegarde ou d’un fichier de déchargement d’ordinateur mainframe. Le chargement en bloc produit une traduction automatique des types de données d’ordinateur mainframe, tels que des champs compressés EBCDIC. Pour des performances optimales, utilisez les données de sauvegarde ou de déchargement plutôt qu’une lecture directe de la base de données d’ordinateur mainframe. La raison de ne pas lire directement est que la migration des données de déchargement ou de sauvegarde vers la machine virtuelle Azure RDRS requise, ainsi que l’utilisation des chargeurs de base de données natifs, réduisent les entrée/sortie (E/S) réseau et raccourcissent le temps de chargement.
Composants
Cette solution utilise les composants suivants :
Composants de mise en réseau et d’identité
- Azure ExpressRoute : ExpressRoute vous permet d’étendre vos réseaux locaux dans le Microsoft Cloud via une connexion privée gérée par un fournisseur de connectivité. Vous pouvez utiliser ExpressRoute pour établir des connexions à des services cloud comme Microsoft Azure et Microsoft 365.
- Passerelle VPN Azure : une passerelle VPN est un type spécifique de passerelle de réseau virtuel qui achemine du trafic chiffré entre un réseau virtuel Azure et un emplacement local via l’Internet public.
- Microsoft Entra ID : Microsoft Entra ID est un service de gestion des identités et des accès que vous pouvez synchroniser avec un répertoire local.
Composants d’application
- Logic Apps : Logic Apps permet de créer et d’exécuter des tâches et des processus récurrents automatisés selon un calendrier. Vous pouvez appeler des services à l’intérieur et à l’extérieur d’Azure, notamment des points de terminaison HTTP ou HTTPS, poster des messages sur des services Azure comme Azure Storage et Azure Service Bus, ou charger des fichiers dans un partage de fichiers.
- Azure Functions : Azure Functions vous permet d’exécuter de petits morceaux de code, appelés « fonctions », sans vous préoccuper de l’infrastructure de l’application. Lorsque vous utilisez Azure Functions, l’infrastructure cloud fournit tous les serveurs à jour dont vous avez besoin pour que votre application continue de s’exécuter à grande échelle.
- Machines virtuelles Azure : les machines virtuelles Azure fournissent des ressources de calcul à la demande et évolutives. Une machine virtuelle Azure offre la flexibilité de la virtualisation, sans les exigences de maintenance du matériel physique. Les machines virtuelles Azure fonctionnent sur les systèmes Windows et Linux.
Composants de stockage
- Stockage : Storage fournit des solutions de stockage non gérées telles que stockage Blob Azure, le stockage de tables Azure, le stockage file d’attente Azure et Azure Files. Azure Files est particulièrement utile pour les solutions mainframe réorganisées et fournit un module complémentaire efficace avec le stockage SQL managé.
- Azure SQL : Azure SQL est une plateforme en tant que service (PaaS) entièrement gérée pour SQL Server à partir d’Azure. Les données relationnelles peuvent être migrées et utilisées efficacement avec d’autres composant Azure, notamment Azure SQL Managed Instance, machines virtuelles Azure SQL, Azure Database pour PostgreSQL, Azure Database pour MariaDB, Azure Database pour MySQL.
- Azure Cosmos DB : Azure Cosmos DB est une offre non SQL que vous pouvez utiliser pour migrer des données non tabulaires à partir de l’ordinateur mainframe.
Composants de surveillance
- Azure Monitor : Azure Monitor offre une solution complète pour collecter, analyser et exploiter les données de télémétrie de vos environnements cloud et locaux.
- Application Insights : Application Insights analyse et présente la télémétrie de l’application.
- Journaux Azure Monitor : les journaux Azure Monitor sont une fonctionnalité de Monitor qui collecte et organise les données de performances et de journal issues de ressources supervisées. Vous pouvez consolider les données provenant de plusieurs sources, telles que les journaux de plateforme issus des services Azure, les données de journal et de performances issues des agents de machines virtuelles et les données d’utilisation et de performances issues des applications dans un espace de travail unique pour pouvoir être analysées ensemble à l’aide d’un langage de requête sophistiqué à même d’analyser rapidement des millions d’enregistrements.
- Log Analytics : Log Analytics est un outil du portail Azure. Vous pouvez utiliser des requêtes de journal pour obtenir des informations à partir des données collectées dans les journaux Azure Monitor. Log Analytics utilise un puissant langage de requête, qui vous permet de joindre des données provenant de plusieurs tables, d’agréger des jeux de données volumineux et d’effectuer des opérations complexes avec un minimum de code.
Considérations
Ces considérations implémentent les piliers d’Azure Well-Architected Framework qui est un ensemble de principes directeurs qui permettent d’améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Microsoft Azure Well-Architected Framework.
Optimisation des coûts
L’optimisation des coûts consiste à examiner les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez Vue d’ensemble du pilier d’optimisation des coûts. Utilisez la Calculatrice de prix Azure pour estimer le coût de l’implémentation de cette solution.
Fiabilité
La fiabilité permet de s’assurer que votre application tient vos engagements auprès de vos clients. Pour en savoir plus, consultez Liste de contrôle de l'examen de la conception pour la fiabilité.
- Configurez RDRS OPM sur des machines virtuelles Azure déployées dans des zones de disponibilité distinctes afin d’assurer une haute disponibilité. En cas de défaillance, un OPM RDRS secondaire est activé et celui-ci communique son adresse IP au gestionnaire de l’ordinateur central RDRS. L’ordinateur mainframe commence alors à communiquer avec le nouvel OPM RDRS qui continue de traiter à son prochain point de redémarrage logique, à l’aide d’une combinaison d’unité logique de travail (LUW) et de fichiers de redémarrage.
- Concevez les services de base de données Azure pour prendre en charge la redondance de zone, afin qu’ils puissent basculer vers un nœud secondaire en cas de panne ou vers une fenêtre de maintenance planifiée.
- Utilisez les journaux Azure Monitor et Application Insights pour superviser l’intégrité d’une ressource Azure. Pour une gestion proactive, vous pouvez définir des alertes.
Évolutivité
- Configurez la mise à l’échelle de RDRS pour le traitement CDC en exécutant plusieurs flux de réplication parallèles. Commencez par analyser les fichiers inclus dans les transactions logiques. Ces fichiers doivent être traités ensemble dans une séquence. Le processus CDC RDRS garantit l’intégrité de chaque transaction logique. Par exemple, des ensembles de tables qui ne participent pas à des transactions courantes peuvent être divisés en tâches parallèles en créant plusieurs scripts de traitement.
- RDRS peut exécuter simultanément un traitement de chargement en masse sur une seule machine virtuelle Azure ou sur plusieurs machines virtuelles Azure, ce qui offre une scalabilité horizontale. Réalisez des opérations de chargement en bloc rapide de tables volumineuses en fractionnant le processus en plusieurs tâches, soit par intervalles arbitraires, soit au moyen d’un filtrage de lignes. Un filtrage de lignes peut utiliser une clé, une clé de partition, une date, et d’autres filtres.
- Le niveau de calcul serverless de SQL Database fournit une option de mise à l’échelle automatique basée sur la charge de travail. D’autres bases de données Azure peuvent subir un scale-up ou un scale-down à l’aide d’une automatisation pour répondre aux demandes de charge de travail.
- Pour plus d’informations, consultez Meilleures pratiques de mise à l’échelle automatique dans Azure.
Sécurité
La sécurité fournit des garanties contre les attaques délibérées, et contre l’utilisation abusive de vos données et systèmes importants. Pour en savoir plus, consultez Liste de contrôle de l'examen de la conception pour la sécurité.
- Contrôlez l’authentification et l’accès pour RDRS à l’aide de Microsoft Entra ID.
- Chiffrez les transferts de données entre produits RDRS (de l’ordinateur mainframe vers Azure) en utilisant le protocole Transport Layer Security (TLS).
- Utilisez ExpressRoute ou un VPN de site à site pour une connexion privée et efficace à Azure à partir d’un environnement local.
- Authentifiez les ressources Azure à l’aide de Microsoft Entra ID et gérez les autorisations avec le contrôle d’accès en fonction du rôle (RBAC).
- Utilisez les services de base de données dans Azure pour prendre en charge diverses options de sécurité telles que le chiffrement des données au repos (TDE), le chiffrement des données en transit (TLS) et le chiffrement des données lors du traitement, afin qu’elles soient toujours chiffrées.
- Pour obtenir des conseils sur la façon de concevoir des solutions sécurisées, consultez la documentation sur la sécurité Azure.
- Pour connaître votre ligne de base de sécurité, consultez Lignes de base de sécurité pour Azure.
Détails du scénario
Les ordinateurs mainframe sont des serveurs qui traitent un grand nombre de transactions. Les applications d’ordinateur mainframe génèrent et consomment de grandes quantités de données quotidiennement. Les clouds publics offrent une élasticité, une optimisation des coûts, une facilité d’utilisation et une intégration simplifiée. De nombreuses applications x86 et mainframe migrent vers le cloud. Les entreprises doivent donc disposer d’une stratégie d’intégration et de migration de données d’ordinateur mainframe vers le cloud bien conçue.
Ce scénario intègre une couche de données IBM Z (ordinateur mainframe) avec la plateforme de données cloud Azure à l’aide de RDRS fourni par Rocket Software.
Cas d’usage potentiels
Cette solution est idéale pour les migrations de données à grande échelle vers une plateforme de données Azure. Pensez à ce scénario pour les cas d’usage suivants :
- Migration complète d’une couche Données d’ordinateur mainframe : dans ce cas d’usage, un client souhaite migrer l’ensemble de ses Db2, IMS, IDMS, fichiers, et autres données d’un ordinateur mainframe vers la plateforme de données Azure.
- Co-existence d’applications d’ordinateur mainframe et d’applications basées sur Azure : dans ce cas d’usage, un client a souvent besoin de prendre en charge une synchronisation bidirectionnelle entre un ordinateur mainframe et une plateforme de données Azure.
- Archivage : dans ce cas d’usage, un client souhaite stocker des données à des fins d’audit et de conformité, mais ne souhaite pas accéder à ces données fréquemment. Storage fournit une solution à faible coût pour stocker des données d’archivage.
Contributeurs
Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.
Auteurs principaux :
- Sandip Khandelwal | Architecte d’ingénierie senior
Autres contributeurs :
- Liz Casey | Développeur de contenus senior
Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.
Étapes suivantes
- Formation : concevoir une plateforme de données dans Azure
- Contactez l’équipe d’ingénieurs de données Azure
- Guides de migration de base de données Azure
- Formation : concevoir une stratégie de migration SQL Server
- Guide de migration : de SQL Server vers Azure SQL Database