Modifier

Partager via


Traitement par lots d’un grand volume de transactions

Azure Kubernetes Service (AKS)
Azure Service Bus
Machines virtuelles Azure

L’architecture utilise AKS pour implémenter les clusters de calcul des applications qui traitent des lots de transactions très volumineux. Les applications reçoivent les transactions dans des messages de rubriques ou de files d’attente Service Bus. Les rubriques et les files d’attente peuvent se trouver dans des centres de données Azure dans différentes régions géographiques, et plusieurs clusters AKS peuvent lire leurs entrées.

Notes

Cette architecture est adaptée à un type de traitement transactionnel par lots qui, sur les ordinateurs mainframe IBM, est souvent implémenté à l’aide de la famille IBM MQ de l’intergiciel orienté messages.

Architecture

Diagram of an architecture implemented by using AKS and Service Bus.

Téléchargez un fichier Visio de cette architecture.

Workflow

Les cercles numérotés dans le diagramme correspondent aux étapes numérotées dans la liste suivante.

  1. L’architecture utilise des rubriques et des files d’attente Service Bus pour organiser l’entrée de traitement par lots et la transmettre en aval pour le traitement.
  2. Azure Load Balancer, un équilibreur de charge (TCP, UDP) de couche 4, répartit le trafic entrant entre des instances saines de services définies dans un jeu à charge équilibrée. L’équilibrage de charge et la gestion des connexions optimisent le traitement.
  3. Les nœuds Worker du cluster AKS écoutent les points de terminaison Service Bus pour l’entrée.
  4. Les nœuds Java utilisent Java Message Service pour se connecter à Service Bus, ils utilisent également des interfaces Java, comme Java Database Connectivity, pour se connecter à d’autres sources de données. Ils utilisent d’autres API Java en fonction des besoins.
  5. Les transactions récupérables s’exécutent en même temps que le code d’entreprise pour chaque étape de traitement par lots.
  6. L’infrastructure de traitement par lots utilise les performances réseau accélérées Azure pour la vitesse.
  7. Azure Cache pour Redis, Azure Cosmos DB et Azure Stream Analytics fournissent au besoin le stockage opérationnel.
  8. La couche de données permanente utilise Azure Data Factory pour l’intégration de données, ainsi qu’Azure SQL Managed Instance, le niveau de performances vital pour l’entreprise, pour une haute disponibilité. Le stockage permanent est faiblement couplé pour faciliter la commutation vers d’autres technologies de base de données et pour optimiser l’organisation du stockage (à l’aide d’étendues ou de partitions, par exemple).
  9. Les solutions de données (transitoires et permanentes) utilisent l’option de stockage géoredondant Stockage Azure (GRS) pour vous protéger des défaillances catastrophiques.

Components

L’architecture utilise les composants suivants :

  • Le réseau virtuel Azure fournit un réseau privé sécurisé dans le cloud. Il peut connecter des machines virtuelles les unes aux autres, à Internet et à des réseaux locaux.
  • Azure ExpressRoute fournit des connexions privées entre des centres de données Azure et des infrastructures locales.
  • Azure Bastion fournit un accès RDP et SSH privé et complètement managé aux machines virtuelles.
  • Les machines virtuelles Azure offrent une flexibilité de la virtualisation sans avoir à fournir et à maintenir le matériel qui l’héberge. Le système d’exploitation peut être Windows ou Linux.
  • Une machine virtuelle avec des performances réseau accélérées utilise une virtualisation d’E/S d’une racine unique (SR-IOV), ce qui améliore considérablement les performances de mise en réseau. Pour plus d’informations, consultez Créer une machine virtuelle Windows avec des performances réseau accélérées à l’aide d’Azure PowerShell et Vue d’ensemble de la virtualisation d’E/S d’une racine unique (SR-IOV).
  • Une interface réseau Azure connecte une machine virtuelle à Internet, ainsi qu’à des ressources Azure et des ressources locales. Comme indiqué dans cette architecture, vous pouvez attribuer à chaque machine virtuelle enfant sa propre interface réseau et sa propre adresse IP. Pour plus d’informations sur les interfaces réseau, consultez Créer, modifier ou supprimer une interface réseau.
  • Lesdisques managés Azure sont un stockage de bloc offrant de hautes performances et une durabilité élevée pour les machines virtuelles. Il existe quatre options de stockage sur disque pour le cloud : disques de stockage Ultra, SSD Premium, SSD Standard et HDD Standard.
  • Azure Kubernetes Service (AKS) est un service complètement managé qui sert au déploiement et à la gestion d’applications conteneurisées.
  • Service Bus fournit un service MaaS (Messaging As a service) fiable dans le cloud et l’intégration hybride simple.
  • Les services d’équilibrage de charge Azure fournissent une mise à l’échelle pour une haute disponibilité et de hautes performances. Cette architecture utilise Load Balancer. Il fournit des fonctionnalités d’équilibrage de charge (TCP, UDP) de couche 4 à faible latence pour équilibrer le trafic entre les machines virtuelles et dans les applications hybrides à plusieurs niveaux.
  • Azure Cache pour Redis est un service de mise en cache en mémoire très rapide et complètement managé pour le partage de données et de l’état entre les ressources de calcul.
  • Azure Cosmos DB est une base de données NoSQL rapide avec des API ouvertes pour n’importe quelle échelle.
  • Azure Stream Analytics fournit une analyse en temps réel des flux de données rapides provenant d’applications et d’appareils.
  • Azure Databricks est un service analytique de Big Data rapide, simple et collaboratif basé sur Apache SparkTM.
  • Azure SQL est une famille de bases de données cloud SQL qui offre une expérience unifiée pour l’ensemble de votre portefeuille SQL, ainsi qu’un large éventail d’options de déploiement de la périphérie dans le cloud.
  • Azure SQL Managed Instance, qui fait partie du portefeuille de services Azure SQL, est une instance SQL managée, sécurisée et toujours à jour dans le cloud.
  • Data Factory est une solution d’intégration de données complètement managée et serverless pour la préparation et la transformation de toutes vos données à grande échelle.
  • Data Factory prend en charge le format de données de fichier Parquet. Pour plus d’informations, consultez Format Parquet dans Azure Data Factory.
  • Log Analytics est un outil du portail Azure permettant de modifier et d’exécuter des requêtes de journaux sur des journaux Azure Monitor. Pour plus d’informations, consultez Vue d’ensemble de Log Analytics dans Azure Monitor.
  • L’option de stockage géoredondant (GRS) de Stockage Azure copie vos données de manière synchrone trois fois dans un seul emplacement physique de la région primaire, puis les copie de manière asynchrone dans un seul emplacement physique de la région secondaire. Pour plus d’informations, consultez Redondance de Stockage Azure.
  • Stockage Blob Azure est un stockage d’objets basé sur REST hautement évolutif et sécurisé pour les charges de travail, les archives, les lacs de données, l’informatique hautes performances et le Machine Learning natifs cloud.
  • Azure Files offre des partages de fichiers de qualité professionnelle simples, sécurisés et serverless dans le cloud. Vous utilisez les protocoles standard SMB et NFS pour accéder aux partages.

Détails du scénario

Sur Azure, vous pouvez implémenter le traitement transactionnel par lots, comme la publication de paiements dans des comptes, à l’aide d’une architecture basée sur Microsoft Azure Service Kubernetes (AKS) et Azure Service Bus. Ce type d’architecture fournit la vitesse, la mise à l’échelle et la fiabilité du traitement transactionnel requises pour le traitement par lots de gros volumes.

En règle générale, un message reste en file d’attente jusqu’à ce que sa transaction soit terminée, ce qui permet une récupération en cas de défaillance. En outre, vous pouvez répliquer des rubriques et des files d’attente dans d’autres régions pour partager des charges de travail et poursuivre le traitement, même en cas de défaillance d’une région.

Cas d’usage potentiels

La solution est idéale pour les secteurs des finances, de l’éducation et des sciences. Cette architecture est destinée au traitement des lots de transactions de grand volume, en particulier les transactions indépendantes qui peuvent être traitées en parallèle. Elle peut par conséquent être potentiellement utilisée dans la migration des traitements par lots du mainframe. Les applications possibles sont les suivantes :

  • Traitement des transactions financières, telles que les salaires, les commandes et les paiements.
  • Traitement des données expérimentales recueillies par des instruments scientifiques.
  • Autres traitements par lots du mainframe.

Considérations

Les considérations suivantes, basées sur Azure Well-Architected Framework, s’appliquent à cette solution :

Disponibilité

  • Le service de récupération d’urgenceAzure Site Recovery offre une protection contre les pannes majeures. Il est fiable, économique et facile à déployer.
  • Les groupes à haute disponibilité pour les machines virtuelles veillent à ce que suffisamment de machines virtuelles soient disponibles pour répondre aux besoins stratégiques de traitement par lots.
  • Service Bus, AKS et Azure SQL Managed Instance offrent une haute disponibilité et capacité de récupération dans les régions géographiques.

En fonctionnement

  • Les modèles Azure Resource Manager (modèles ARM) fournissent un langage de configuration pour décrire vos ressources dans des modèles que vous pouvez utiliser pour le déploiement scripté. Les modèles fournissent également des fonctionnalités de surveillance et d’alerte.

Efficacité des performances

  • L’architecture est conçue pour prendre en charge le traitement parallèle des transactions indépendantes.
  • Service Bus, AKS et d’autres fonctionnalités Azure PaaS offrent des performances élevées pour les traitements transactionnels, le calcul et le stockage des données.

Scalabilité

  • Service Bus, AKS et d’autres fonctionnalités Azure PaaS mettent dynamiquement à l’échelle en fonction des besoins.

Sécurité

  • Tous les composants de l’architecture par lot Service Bus fonctionnent avec des composants de sécurité Azure, tels que Microsoft Entra ID, Réseau virtuel et le chiffrement.

Optimisation des coûts

Pour estimer le coût de votre implémentation de cette solution, utilisez la Calculatrice de prix.

Les fonctionnalités de mise à l’échelle automatique des clusters AKS, ainsi que d’autres fonctionnalités Azure PaaS qui fournissent une mise à l’échelle à la demande, réduisent les coûts au minimum.

Voici les considérations relatives à la tarification pour des composants spécifiques :

  • La plupart des entreprises disposent déjà d’une implémentation Microsoft Active Directory. Si ce n’est pas le cas, Microsoft Entra ID P1 ou P2 est économique.
  • La tarification des machines virtuelles Windows et la tarification des machines virtuelles Linux dépendent de votre capacité de calcul.
  • Pour connaître les tarifs des disques de stockage gérés SSD Premium ou Ultra, consultez la section Tarifs des disques gérés.
  • Il n’y a aucuns frais initiaux pour Azure SQL Database ; vous payez les ressources utilisées.
  • Pour ExpressRoute, vous payez des frais de port mensuels et des frais de transferts de données sortantes.
  • Les coûts de Stockage Azure dépendent des options de redondance et du volume des données.
  • La tarification Azure Files dépend de nombreux facteurs : volume des données, redondance des données, volume des transactions et nombre de serveurs de synchronisation de fichiers que vous utilisez.
  • Pour la tarification des disques managés SSD, consultez la tarification des disques managés.
  • Pour Site Recovery, vous payez chaque instance protégée.
  • Ces services sont gratuits avec votre abonnement Azure, seuls l’utilisation et le trafic sont facturés :

Étapes suivantes