Partager via

Utiliser Qlik pour répliquer des données mainframe et milieu de gamme sur Azure

Azure Event Hubs
Azure Data Lake
Azure Databricks

Cette solution utilise une instance locale de Qlik pour répliquer les sources de données locales sur Azure en temps réel.

Remarque

Prononcez « Qlik » comme « clic ».

Apache® et Apache Kafka® sont des marques déposées ou des marques commerciales de l’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.

Architecture

Schéma d’une architecture qui utilise Qlik pour migrer des données vers Azure.

Téléchargez un fichier Visio de cette architecture.

Flux de travail

  1. Agent hôte : L’agent hôte sur le système sur site capture les informations du journal des modifications à partir des magasins de données Db2, IMS (Information Management System) et VSAM (Virtual Storage Access Method) et les transmet au serveur de réplication Qlik.

  2. Serveur de réplication : Le logiciel du serveur de réplication Qlik transmet les informations du journal des modifications à Kafka et Azure Event Hubs. Dans cet exemple, Qlik est local, mais vous pouvez le déployer sur une machine virtuelle dans Azure.

  3. Ingestion de flux : Kafka et Event Hubs fournissent des agents de messages pour recevoir et stocker les informations du journal des modifications.

  4. Kafka Connect : L’API Kafka Connect reçoit des données de Kafka pour mettre à jour les magasins de données Azure tels qu’Azure Data Lake Storage, Azure Databricks et Azure Synapse Analytics.

  5. Stockage dans le lac de données : Data Lake Storage est une zone de transit pour les données du journal des modifications.

  6. Azure Databricks : Azure Databricks traite les données du journal des modifications et met à jour les fichiers correspondants sur Azure.

  7. Services de données Azure : Azure fournit les services de stockage de données efficaces suivants.

    • Services de bases de données relationnelles :

      • SQL Server sur les machines virtuelles Azure
      • Azure SQL Database
      • Azure SQL Managed Instance (Instance gérée Azure SQL)
      • Base de données Azure pour PostgreSQL
      • Azure Database pour MySQL
      • Base de données Azure Cosmos DB

      De nombreux facteurs doivent être pris en compte lorsque vous choisissez un service de stockage de données. Tenez compte du type de charge de travail, des requêtes entre bases de données, des exigences de validation en deux phases, de la capacité d’accéder au système de fichiers, de la quantité de données, du débit requis et de la latence.

    • Azure Cosmos DB : Azure Cosmos DB est une base de données NoSQL qui offre une réponse rapide, une évolutivité automatique et une vitesse garantie à n’importe quelle échelle.

    • Azure Synapse Analytics : Azure Synapse Analytics est un service d’analytique qui combine l’intégration de données, l’entreposage de données d’entreprise et l’analytique du Big Data. Utilisez-le pour interroger des données à l’aide de ressources sans serveur ou dédiées à grande échelle.

    • Fabric Microsoft : Microsoft Fabric est une solution d’analyse tout-en-un pour les entreprises. Il couvre tout, du mouvement des données à la science des données, en passant par l’analyse en temps réel et la veille économique. Il fournit une suite complète de services, notamment le lac de données, l’ingénierie des données et l’intégration de données.

Composants

Cette architecture se compose de plusieurs services cloud Azure et est divisée en quatre catégories de ressources : mise en réseau et identité, application, stockage et surveillance. Les sections suivantes décrivent les services de chaque ressource et leurs rôles.

Mise en réseau et identité

Lorsque vous concevez une architecture d’application, il est essentiel de hiérarchiser les composants de mise en réseau et d’identité afin de garantir la sécurité, les performances et la facilité de gestion lors des interactions sur l’Internet public ou les connexions privées.

  • Azure ExpressRoute étend vos réseaux locaux aux services cloud fournis par Microsoft via une connexion privée d’un fournisseur de connectivité. Utilisez ExpressRoute pour établir des connexions à des services cloud tels qu’Azure et Microsoft 365.

  • La passerelle VPN Azure est un type spécifique de passerelle de réseau virtuel qui envoie le trafic chiffré entre un réseau virtuel Azure et un emplacement local sur l’Internet public.

  • Microsoft Entra ID est un service de gestion des identités et des accès qui peut se synchroniser avec un annuaire Active Directory local.

Application

Azure fournit des services managés qui prennent en charge un déploiement d’applications plus sécurisé, évolutif et efficace. Cette architecture utilise des services de couche application qui peuvent vous aider à optimiser l’architecture de votre application.

  • Event Hubs est une plateforme de streaming de Big Data et un service d’ingestion d’événements qui peut stocker des messages de données de modification Db2, IMS et VSAM. Il peut recevoir et traiter des millions de messages par seconde. Vous pouvez transformer et stocker les données du hub d’événements à l’aide d’un fournisseur d’analyse en temps réel ou d’un adaptateur personnalisé.

  • Apache Kafka est une plate-forme de streaming d’événements distribuée open source utilisée pour les pipelines de données hautes performances, l’analyse en continu, l’intégration de données et les applications critiques. Il peut être facilement intégré à l’intégration de données Qlik pour stocker les données de modification Db2.

  • Data Lake Storage fournit un lac de données pour stocker les données du journal des modifications traitées sur site.

  • Azure Databricks est un outil d’ingénierie de données basé sur le cloud et basé sur Apache Spark. Il peut traiter et transformer d’énormes quantités de données. Vous pouvez explorer les données à l’aide de modèles d’apprentissage automatique. Les tâches peuvent être écrites en R, Python, Java, Scala et Spark SQL.

Stockage et bases de données

Cette architecture prend en charge un stockage cloud évolutif et plus sécurisé ainsi que des bases de données gérées pour une gestion flexible et intelligente des données.

Supervision

Les outils de surveillance fournissent une analyse complète des données et des informations précieuses sur les performances des applications.

  • Azure Monitor est une solution complète pour la collecte, l’analyse et l’action sur les données de télémétrie à partir d’environnements cloud et locaux. Elle comprend :

    • Application Insights, pour l’analyse et la présentation de la télémétrie.

    • Azure Monitor Logs, qui collecte et organise les données de journal et de performances à partir des ressources surveillées. Vous pouvez combiner des données provenant de sources telles que les journaux de la plateforme Azure, les agents de machine virtuelle et les performances des applications dans un seul espace de travail à des fins d’analyse. Le langage de requête permet l’analyse de vos enregistrements.

    • Log Analytics, qui peut interroger les journaux Azure Monitor. Un langage de requête puissant vous permet de joindre des données provenant de plusieurs tables, d’agréger de grands ensembles de données et d’effectuer des opérations complexes avec un minimum de code.

Alternatives

  • Le diagramme précédent montre Qlik installé sur site. Cette approche est recommandée pour maintenir Qlik à proximité des sources de données locales. Une alternative consiste à installer Qlik dans le cloud sur une machine virtuelle Azure.

  • Qlik Data Integration peut fournir des données directement à Azure Databricks sans passer par Kafka ou un hub d’événements.

  • Qlik Data Integration ne peut pas répliquer les données directement dans Azure Cosmos DB, mais vous pouvez intégrer Azure Cosmos DB à un hub d’événements à l’aide de l’architecture d’approvisionnement en événements.

Détails du scénario

De nombreuses entreprises utilisent des systèmes mainframe et milieu de gamme pour exécuter des charges de travail exigeantes et critiques. La plupart des applications utilisent des bases de données partagées, souvent sur plusieurs systèmes. Dans cet environnement, la modernisation vers le cloud signifie que les données locales doivent être fournies aux applications basées sur le cloud. Par conséquent, la réplication des données devient une tactique de modernisation importante.

La plateforme Qlik Data Integration inclut Qlik Replicate, qui effectue la réplication des données. Il utilise la capture des données modifiées pour répliquer les magasins de données locaux en temps réel vers Azure. Les données de modification peuvent provenir des journaux de modifications Db2, IMS et VSAM. Cette technique de réplication élimine les chargements en masse par lots peu pratiques. Cette solution utilise une instance locale de Qlik pour répliquer les sources de données locales sur Azure en temps réel.

Cas d’usage potentiels

Cette solution peut convenir pour :

  • Environnements hybrides qui nécessitent la réplication des modifications de données d’un système mainframe ou milieu de gamme vers des bases de données Azure.

  • Migration de base de données en ligne de Db2 vers une base de données SQL Azure avec peu de temps d’arrêt.

  • Réplication des données à partir de divers magasins de données locaux vers Azure à des fins de consolidation et d’analyse.

Considérations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework, un ensemble de principes directeurs que vous pouvez utiliser pour améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Well-Architected Framework.

Fiabilité

La fiabilité permet de s’assurer que votre application peut respecter les engagements que vous prenez à vos clients. Pour en savoir plus, consultez Liste de contrôle de l'examen de la conception pour la fiabilité.

  • Qlik Data Integration peut être configuré dans un cluster à haute disponibilité.

  • Les services de base de données Azure prennent en charge la redondance de zone et peuvent être conçus pour basculer vers un nœud secondaire pendant une fenêtre de maintenance ou en cas de panne.

Sécurité

La sécurité offre des garanties contre les attaques délibérées et l’utilisation abusive de vos données et systèmes précieux. Pour en savoir plus, consultez Liste de contrôle de l'examen de la conception pour la sécurité.

  • ExpressRoute fournit une connexion privée et efficace à Azure à partir d’un site local, mais vous pouvez utiliser un VPN de site à site à la place.

  • Les ressources Azure peuvent être authentifiées à l’aide de Microsoft Entra ID, et les autorisations sont gérées par le biais d’un contrôle d’accès basé sur les rôles.

  • Les services de base de données Azure prennent en charge diverses options de sécurité, telles que :

    • Chiffrement des données au repos.

    • Masquage dynamique des données.

    • Bases de données toujours chiffrées.

  • Pour plus d’informations, consultez la documentation sur la sécurité Azure.

Optimisation des coûts

L’optimisation des coûts se concentre sur les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d'informations, consultez Liste de contrôle de la révision de la conception pour l'optimisation des coûts.

Utilisez la calculatrice de prix Azure pour estimer les coûts de votre implémentation.

Excellence opérationnelle

L’excellence opérationnelle couvre les processus opérationnels qui déploient une application et la maintiennent en production. Pour plus d’informations, consultez la Liste de contrôle de l'examen de la conception pour l'excellence opérationnelle.

Vous pouvez combiner les fonctionnalités d’Application Insights et de Log Analytics pour surveiller l’intégrité des ressources Azure. Vous pouvez définir des alertes afin de pouvoir gérer les problèmes de manière proactive.

Efficacité des performances

L’efficacité des performances fait référence à la capacité de votre charge de travail à mettre à l’échelle pour répondre efficacement aux demandes des utilisateurs. Pour en savoir plus, consultez Liste de vérification de l'examen de la conception pour l'efficacité des performances

Azure Databricks, Data Lake Storage et d’autres services de base de données Azure disposent de fonctionnalités de mise à l’échelle automatique. Pour plus d’informations, consultez Mise à l’échelle automatique.

Contributeurs

Microsoft gère cet article. Les contributeurs suivants ont écrit cet article.

Auteurs principaux :

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes