Editar

Partilhar via


Processamento de transações em lote de alto volume

Azure Kubernetes Service (AKS)
Azure Service Bus
Azure Virtual Machines

A arquitetura usa AKS para implementar clusters de computação dos aplicativos que processam lotes de alto volume de transações. Os aplicativos recebem as transações em mensagens de tópicos ou filas do Service Bus. Os tópicos e filas podem estar em datacenters do Azure em diferentes regiões geográficas, e vários clusters AKS podem ler a entrada deles.

Nota

Essa arquitetura se adequa a um tipo de processamento de transações em lote que, em mainframes IBM, geralmente é implementado usando a família IBM MQ de middleware orientado a mensagens.

Arquitetura

Diagram of an architecture implemented by using AKS and Service Bus.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de trabalho

Os círculos numerados no diagrama correspondem às etapas numeradas na lista a seguir.

  1. A arquitetura usa tópicos e filas do Service Bus para organizar a entrada de processamento em lote e passá-la downstream para processamento.
  2. O Azure Load Balancer, um balanceador de carga de Camada 4 (TCP, UDP), distribui o tráfego de entrada entre instâncias íntegras de serviços definidos em um conjunto com balanceamento de carga. O balanceamento de carga e o gerenciamento de conexões otimizam o processamento.
  3. Os nós de trabalho do cluster AKS escutam os pontos de extremidade da fila do Service Bus para entrada.
  4. Os nós Java usam o Java Message Service para se conectar ao Service Bus e interfaces Java como Java Database Connectivity para se conectar a outras fontes de dados. Eles usam outras APIs Java conforme necessário.
  5. As transações recuperáveis são executadas junto com o código comercial para cada etapa do lote.
  6. A infraestrutura em lote usa a rede acelerada do Azure para velocidade.
  7. O Cache do Azure para Redis, o Azure Cosmos DB e o Azure Stream Analytics fornecem armazenamento funcional, se necessário.
  8. A camada de dados permanente usa o Azure Data Factory para integração de dados e a Instância Gerenciada SQL do Azure, camada de desempenho crítica para os negócios, para alta disponibilidade. O armazenamento permanente é acoplado de forma flexível para facilitar a comutação para outras tecnologias de banco de dados e para otimizar a organização do armazenamento (usando fragmentos ou partições, por exemplo).
  9. As soluções de dados (transitórias e permanentes) usam a opção de armazenamento com redundância geográfica (GRS) do Armazenamento do Azure para proteger contra falhas catastróficas.

Componentes

A arquitetura usa estes componentes:

  • A Rede Virtual do Azure fornece uma rede privada segura na nuvem. Ele pode conectar máquinas virtuais (VMs) entre si, à Internet e a redes locais.
  • O Azure ExpressRoute fornece conexões privadas entre datacenters do Azure e infraestrutura local.
  • O Azure Bastion fornece acesso RDP e SSH privado e totalmente gerenciado a VMs.
  • As Máquinas Virtuais do Azure fornecem a flexibilidade da virtualização sem ter que fornecer e manter o hardware que a hospeda. As opções de sistema operacional incluem Windows e Linux.
  • Uma VM criada com rede acelerada usa virtualização de E/S de raiz única (SR-IOV), melhorando consideravelmente seu desempenho de rede. Para obter mais informações, consulte Criar uma VM do Windows com rede acelerada usando o Azure PowerShell e Visão geral da virtualização de E/S de raiz única (SR-IOV).
  • Uma interface de rede do Azure conecta uma VM à Internet e aos recursos do Azure e locais. Conforme mostrado nessa arquitetura, você pode dar a cada VM filho sua própria interface de rede e endereço IP. Para obter mais informações sobre interfaces de rede, consulte Criar, alterar ou excluir uma interface de rede.
  • Os Managed Disks do Azure são armazenamento em bloco de alto desempenho e durabilidade para VMs. Existem quatro opções de armazenamento em disco para a nuvem: Ultra Disk Storage, Premium SSD, Standard SSD e Standard HDD.
  • O Serviço Kubernetes do Azure (AKS) é um serviço Kubernetes totalmente gerenciado para implantar e gerenciar aplicativos em contêineres.
  • O Service Bus fornece mensagens como serviço (MaaS) na nuvem confiáveis e integração híbrida simples.
  • Os serviços de balanceamento de carga do Azure fornecem dimensionamento para alta disponibilidade e alto desempenho. Essa arquitetura usa o Load Balancer. Ele fornece recursos de balanceamento de carga de camada 4 (TCP, UDP) de baixa latência para equilibrar o tráfego entre VMs e entre aplicativos híbridos de várias camadas.
  • O Cache Redis do Azure é um serviço de cache na memória extremamente rápido e totalmente gerenciado para compartilhar dados e estado entre recursos de computação.
  • O Azure Cosmos DB é um banco de dados NoSQL rápido com APIs abertas para qualquer escala.
  • O Azure Stream Analytics fornece análises em tempo real sobre fluxos rápidos de dados de aplicativos e dispositivos.
  • O Azure Databricks é um serviço de análise de big data rápido, fácil e colaborativo baseado no Apache SparkTM.
  • O Azure SQL é uma família de bancos de dados de nuvem SQL que fornece uma experiência unificada para todo o seu portfólio SQL e uma ampla gama de opções de implantação da borda à nuvem.
  • A Instância Gerenciada SQL do Azure, parte do portfólio de serviços SQL do Azure, é uma instância SQL gerenciada, segura e sempre atualizada na nuvem.
  • O Data Factory é uma solução de integração de dados totalmente gerenciada e sem servidor para preparar e transformar todos os seus dados em escala.
  • O Data Factory suporta o formato de dados do arquivo Parquet. Para obter mais informações, consulte Formato Parquet no Azure Data Factory.
  • O Log Analytics é uma ferramenta no portal do Azure usada para editar e executar consultas de log nos logs do Azure Monitor . Para obter mais informações, consulte Visão geral do Log Analytics no Azure Monitor.
  • A opção de armazenamento com redundância geográfica (GRS) do Armazenamento do Azure copia seus dados de forma síncrona três vezes em um único local físico na região primária e, em seguida, copia-os de forma assíncrona para um único local físico na região secundária. Para obter mais informações, consulte Redundância do Armazenamento do Azure.
  • O Armazenamento de Blobs do Azure é massivamente escalável e seguro armazenamento de objetos baseado em REST para cargas de trabalho nativas da nuvem, arquivos, data lakes, computação de alto desempenho e aprendizado de máquina.
  • O Azure Files fornece compartilhamentos de arquivos de nível empresarial simples, seguros e sem servidor na nuvem. Você usa os protocolos SMB (Server Message Block) e NFS (Network File System) padrão do setor para acessar os compartilhamentos.

Detalhes do cenário

No Azure, você pode implementar o processamento de transações em lote, como o lançamento de pagamentos em contas, usando uma arquitetura baseada no Serviço Kubernetes do Microsoft Azure (AKS) e no Barramento de Serviço do Azure. Esse tipo de arquitetura fornece a velocidade de processamento de transações, o dimensionamento e a confiabilidade necessários para o processamento em lote de alto volume.

Normalmente, uma mensagem permanece na fila até que sua transação seja concluída, permitindo a recuperação se houver uma falha. Além disso, você pode replicar tópicos e filas para outras regiões, compartilhar cargas de trabalho e continuar o processamento mesmo se uma região falhar.

Potenciais casos de utilização

A solução é ideal para as indústrias de finanças, educação e ciência. Essa arquitetura é para o processamento de alto volume de lotes de transações, especialmente transações independentes que podem ser processadas em paralelo. É, portanto, um provável candidato para uso na migração do processamento em lote de mainframe. As aplicações possíveis são:

  • Processamento de transações financeiras, como folha de pagamento, pedidos e pagamentos.
  • Processamento de dados experimentais recolhidos por instrumentos científicos.
  • Outro processamento em lote de mainframe.

Considerações

As seguintes considerações, com base no Azure Well-Architected Framework, aplicam-se a esta solução:

Disponibilidade

  • O serviço de recuperação de desastres do Azure Site Recovery protege contra grandes interrupções. É confiável, econômico e fácil de implantar.
  • Os conjuntos de disponibilidade para VMs garantem que VMs suficientes estejam disponíveis para atender às necessidades de processos em lote de missão crítica.
  • O Service Bus, o AKS e a Instância Gerenciada SQL do Azure fornecem alta disponibilidade e capacidade de recuperação entre regiões geográficas.

Operacional

Eficiência de desempenho

  • A arquitetura é projetada para acomodar o processamento paralelo de transações independentes.
  • O Service Bus, o AKS e outros recursos de PaaS do Azure fornecem alto desempenho para processamento de transações, computação e armazenamento de dados.

Escalabilidade

  • Barramento de Serviço, AKS e outros recursos de PaaS do Azure são dimensionados dinamicamente conforme necessário.

Segurança

  • Todos os componentes dentro da arquitetura em lote do Service Bus funcionam com componentes de segurança do Azure, como ID do Microsoft Entra, Rede Virtual e criptografia.

Otimização de custos

Para estimar os custos da implementação desta solução, utilize a Calculadora de preços.

Os recursos de dimensionamento automático dos clusters AKS — e outros recursos da Plataforma Azure como Serviço (PaaS) que fornecem dimensionamento sob demanda — mantêm os custos no mínimo.

Aqui estão as considerações de preços para componentes específicos:

  • A maioria das empresas já tem uma implementação do Microsoft Ative Directory. Caso contrário, o Microsoft Entra ID P1 ou P2 é de baixo custo.
  • Os preços das VMs do Windows e das VMs do Linux dependem da sua capacidade de computação.
  • Para obter os preços de SSD Premium ou discos de armazenamento gerenciado Ultra, consulte Preços de discos gerenciados.
  • Não há custos iniciais para o Banco de Dados SQL do Azure, você paga pelos recursos conforme usados.
  • Para a Rota Expressa, você paga uma taxa de porta mensal e taxas de transferência de dados de saída.
  • Os custos do Armazenamento do Azure dependem das opções de redundância de dados e do volume.
  • O preço dos Arquivos do Azure depende de muitos fatores: volume de dados, redundância de dados, volume de transações e o número de servidores de sincronização de arquivos que você usa.
  • Para obter os preços dos discos geridos SSD, consulte Preços dos discos geridos.
  • Para a Recuperação de Site, você paga por cada instância protegida.
  • Esses serviços são gratuitos com sua assinatura do Azure, mas você paga pelo uso e tráfego:

Próximos passos