O Rocket® Data Replicate and Sync (RDRS), anteriormente tcVISION, é uma solução de replicação de dados desenvolvida pela Rocket Software. O RDRS fornece uma solução de integração de mainframe da IBM para replicação de dados de mainframe, sincronização de dados, migração de dados e captura de dados de alteração (CDC) para vários serviços da plataforma de dados do Azure.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Workflow
A solução de replicação de dados RDRS oferece suporte a CDC de muitos bancos de dados baseados em mainframe, incluindo IBM Db2, IBM Information Management System (IMS) DB, Adabas for Software AG, CA Datacom e Computer Associates Integrated Data Management System (CA IDMS). O RDRS fornece agentes CDC baseados em log para capturar os dados de alteração no nível de registro. Essa CDC baseada em log coloca uma sobrecarga insignificante nos bancos de dados de origem de produção.
O RDRS oferece suporte a CDC a partir de arquivos VSAM (Virtual Storage Access Method).
Uma tarefa é iniciada no mainframe. As tarefas iniciadas, ou STCs, são criadas no mainframe como parte da instalação do software RDRS. Dois STCs vitais são:
- Agente de captura, que captura dados alterados da origem.
- Aplique o agente, que usa APIs específicas do sistema de gerenciamento de banco de dados (DBMS) para gravar com eficiência os dados alterados no destino.
Observação
No Db2 z/OS, o RDRS também oferece uma solução CDC sem agente por um tipo definido pelo usuário (UDT) Db2 que não precisa de tarefas iniciadas.
O OPM (Open Platform Manager) atua como um servidor de replicação. Esse servidor contém utilitários para mapeamento automático de dados para gerar metadados para fontes e destinos. Ele também contém o conjunto de regras para extrair dados da origem. O servidor transforma e processa os dados nos sistemas de destino e grava os dados nos destinos. Você pode instalar esse componente nos sistemas operacionais Linux, Unix e Windows.
O painel RDRS fornece administração, revisão, operação, controle e monitoramento dos processos de troca de dados. Os utilitários de linha de comando RDRS automatizam os processos de troca de dados e a gerenciar as operações autônomas do processo de sincronização de dados.
O agente de aplicação do RDRS usa APIs específicas do DBMS. Essas APIs implementam com eficiência as alterações de dados em tempo real em combinação com a tecnologia CDC na origem para os serviços de dados do Azure de destino, como no banco de dados e nos arquivos.
O RDRS dá suporte ao streaming direto dos dados alterados nos Hubs de Eventos do Azure ou no Kafka. Em seguida, os Aplicativos Lógicos do Azure, uma função ou uma solução personalizada na máquina virtual, processa esses eventos.
Os destinos da plataforma de dados do Azure que são compatíveis com o RDRS incluem o Banco de Dados do SQL do Azure, Banco de Dados do Azure para PostgreSQL, Banco de Dados do Azure para MySQL, Azure Cosmos DB, Azure Data Lake Storage, e outros.
Os dados que chegam à plataforma de dados do Azure são consumidos pelos serviços do Azure ou por outras plataformas que têm permissão para vê-los. Os exemplos incluem o Power BI, Azure Synapse Analytics ou aplicativos personalizados.
O RDRS pode sincronizar de forma reversa as alterações de captura de uma plataforma de banco de dados do Azure (como o Banco de Dados SQL do Azure, MySQL, PostgreSQL ou Data Lake Storage) e gravá-las de volta na camada de dados do mainframe.
Os arquivos de backup e descarregamento do banco de dados do mainframe são copiados para uma VM do Azure usando o RDRS para processamento de carga em massa.
O carregamento em massa do RDRS executa um carregamento inicial do banco de dados de destino usando dados de origem do mainframe. Os dados de origem podem ser lidos diretamente do armazenamento de dados do mainframe ou de um arquivo de backup ou descarregamento. O carregamento em massa fornece uma tradução automática dos tipos de dados de mainframe, como campos compactados com código de intercâmbio decimal codificado binário estendido (EBCDIC). Use os dados de backup ou descarregamento para obter o melhor desempenho em vez de uma leitura direta do banco de dados do mainframe. Você não deve ler o banco de dados diretamente porque mover os dados de descarregamento ou backup para a VM do Azure RDRS necessária e usar carregadores de banco de dados nativos minimiza a Entrada/Saída da rede e reduz o tempo de carga.
Componentes
A solução usa os componentes a seguir.
Componentes de rede e identidade
- Azure ExpressRoute: o ExpressRoute permite que você estenda suas redes locais até a nuvem da Microsoft por uma conexão privada que é tratada por um provedor de conectividade. Você pode usar o ExpressRoute para estabelecer conexões com serviços de nuvem, como o Microsoft Azure e o Microsoft 365.
- Gateway de VPN do Azure: um tipo específico de Gateway de rede virtual que envia tráfegos criptografados entre uma rede virtual do Azure e o local pela Internet pública.
- ID do Microsoft Entra: a ID do Microsoft Entra é um serviço de gerenciamento de identidade e acesso que pode sincronizar com o diretório local.
Componentes do aplicativo
- Aplicativos Lógicos: os Aplicativos Lógicos ajudam a criar e executar tarefas e processos automatizados recorrentes em um agendamento. Você pode chamar os serviços dentro e fora do Azure, como pontos de extremidade HTTP ou HTTPS, postar mensagens em serviços do Azure, como o Armazenamento do Azure e o Barramento de Serviço do Azure, ou carregar arquivos em um compartilhamento de arquivos.
- Azure Functions: o Azure Functions permite executar pequenos trechos de código, chamados funções, sem se preocupar com a infraestrutura do aplicativo. Quando você usa o Functions, a infraestrutura de nuvem fornece todos os servidores atualizados de que você precisa para manter seu aplicativo em execução em escala.
- Máquinas Virtuais do Azure: as VMs do Azure são recursos de computação escalonáveis e sob demanda. Uma VM do Azure oferece a flexibilidade da virtualização e elimina as demandas de manutenção do hardware físico. As VMs do Azure operam em sistemas Windows e Linux.
Componentes de armazenamento
- Armazenamento: o armazenamento oferece soluções de armazenamento não gerenciado, como Armazenamento de Blobs do Azure, Armazenamento de Tabela do Azure, Armazenamento de Filas do Azure e Arquivos do Azure. Os Arquivos do Azure são especialmente úteis para soluções de mainframe reprojetadas e fornecem um complemento eficaz com armazenamento SQL gerenciado.
- SQL do Azure: o SQL do Azure é uma plataforma como serviço (PaaS) totalmente gerenciada para SQL Server do Azure. Os dados relacionais podem ser migrados e usados eficientemente com outros componentes do Azure, como a Instância Gerenciada de SQL do Azure, VM do SQL do Azure, Banco de Dados do Azure para PostgreSQL, Banco de Dados do Azure para MariaDB e Banco de Dados do Azure para MySQL.
- Azure Cosmos DB: o Azure Cosmos DB é uma oferta não SQL que você pode usar para migrar os dados não tabulares do mainframe.
Componentes de monitoramento
- Azure Monitor: o Azure Monitor oferece uma solução abrangente para coleta, análise e ação com base na telemetria dos ambientes de nuvem e locais.
- Application Insights: o Application Insights analisa e apresenta a telemetria do aplicativo.
- Logs do Azure Monitor: os Logs do Azure Monitor são um recurso do Azure Monitor que coleta e organiza os dados de log e desempenho dos recursos monitorados. Você pode consolidar dados de diversas fontes, como logs de plataforma de serviços do Azure, dados de log e desempenho de agentes de VM e dados de uso e desempenho de aplicativos, em um único espaço de trabalho para serem analisados em conjunto usando uma linguagem de consulta sofisticada capaz de analisar rapidamente milhões de registros.
- Análise de Logs: a Análise de Logs é uma ferramenta disponível no portal do Azure. Você pode usar consultas de log para obter insights dos dados coletados nos Logs do Azure Monitor. A Análise de Logs usa uma linguagem de consulta eficiente permite unir dados de várias tabelas, agregar grandes conjuntos de dados e executar operações complexas com o mínimo de códigos.
Considerações
Estas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.
Otimização de custo
A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo. Use a Calculadora de preços do Azure para estimar o custo da implantação dessa solução.
Confiabilidade
A confiabilidade garante que seu aplicativo possa cumprir os compromissos que você assume com seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para confiabilidade.
- Configure o RDRS OPM em VMs do Azure implantadas em zonas de disponibilidade separadas para fornecer alta disponibilidade. Em caso de falhas, um OPM RDRS secundário é ativado e o OPM RDRS secundário comunica seu endereço IP ao Gerenciador de Mainframe RDRS. Em seguida, o mainframe começa a se comunicar com o novo OPM RDRS que continua o processamento no seu próximo ponto de reinicialização lógica, usando uma combinação de unidade lógica de trabalho (LUW) e arquivos de reinicialização.
- Projete serviços de banco de dados do Azure para permitir redundância de zona, de forma que eles possam fazer failover em um nó secundário se houver uma interrupção ou durante uma janela de manutenção.
- Use os Logs do Azure Monitor e o Application Insights para monitorar a integridade de um recurso do Azure. É possível definir alertas para o gerenciamento proativo.
Escalabilidade
- Configure o dimensionamento do RDRS para processamento CDC executando vários fluxos de replicação paralela. Primeiro, analise os arquivos inclusos nas transações lógicas. Esses arquivos devem ser processados juntos em sequência. O processo CDC do RDRS garante a integridade de cada transação lógica. Por exemplo, os conjuntos de tabelas que não participam de transações comuns podem ser divididos em tarefas paralelas criando vários scripts de processamento.
- O RDRS pode executar o processamento paralelo e simultâneo de carregamento em massa em uma única VM do Azure ou em várias VMs do Azure, o que proporciona escalabilidade horizontal. Execute operações rápidas de carregamento em massa dividindo o processo em várias tarefas, por intervalos arbitrários ou pela filtragem de linhas. A filtragem de linhas pode usar uma chave, chave de partição, data e outros filtros.
- A camada de computação sem servidor do Banco de Dados SQL fornece uma opção de dimensionamento automático com base na carga de trabalho. Outros bancos de dados do Azure podem ser ampliados ou reduzidos usando a automação para atender às demandas da carga de trabalho.
- Para obter mais informações, consulte Práticas recomendadas do dimensionamento automático.
Segurança
A segurança fornece garantias contra ataques deliberados e o abuso de seus dados e sistemas valiosos. Para obter mais informações, consulte Lista de verificação de revisão de design para segurança.
- Controlar a autenticação e o acesso para o RDRS usando a ID do Microsoft Entra.
- Criptografe a transferências de dados entre os produtos RDRS (mainframe para o Azure) usando segurança de camada de transporte (TLS).
- Use o ExpressRoute ou VPN site a site na conexão privada e eficiente com o Azure de um ambiente local.
- Autentique os recursos do Azure usando a ID do Microsoft Entra e gerencie permissões com controle de acesso baseado em função (RBAC).
- Use os serviços de banco de dados no Azure para dar suporte a várias opções de segurança, como criptografia de dados em repouso (TDE), criptografia de dados em trânsito (TLS) e criptografia de dados durante o processamento, para que seus dados estejam sempre criptografados.
- Para obter as diretrizes sobre como projetar soluções seguras, consulte a Documentação de segurança do Azure.
- Para descobrir sua linha de base de segurança, consulte linhas de base de segurança do Azure.
Detalhes do cenário
Mainframes são servidores que processam um grande número de transações. Os aplicativos mainframe geram e consomem grandes quantidades de dados todos os dias. As nuvens públicas fornecem flexibilidade, otimização de custos, facilidade de uso e fácil integração. Muitos aplicativos x86 e mainframe estão migrando para a nuvem, portanto, as organizações precisam de uma estratégia de migração e integração de dados de mainframe para nuvem bem projetada.
Esse cenário integra uma camada de dados IBM Z (mainframe) com a plataforma de dados em nuvem do Azure usando RDRS fornecido pela Rocket Software.
Possíveis casos de uso
Essa solução é ideal para migrações de dados em larga escala para a plataforma de dados do Azure. Considere este cenário para os casos de uso a seguir:
- Migração completa de uma camada de dados de mainframe: nesse caso de uso, um cliente quer mover todos os seus arquivos Db2, IMS, IDMS, e assim por diante de um mainframe para a plataforma de dados do Azure.
- Coexistência de mainframe e aplicativos baseados no Azure: nesse caso de uso, um cliente geralmente tem a necessidade de suportar uma sincronização bidirecional entre o mainframe e a plataforma de dados do Azure.
- Arquivamento: nesse caso de uso, um cliente quer armazenar dados para auditoria e conformidade, mas não quer acessar esses dados com frequência. O armazenamento fornece uma solução de baixo custo para armazenar dados de arquivo morto.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Principais autores:
- Sandip Khandelwal | Arquiteto de Engenharia Sênior
Outros colaboradores:
- Liz Casey | Desenvolvedor de Conteúdo Sênior
Para ver perfis não públicos do LinkedIn, entre no LinkedIn.
Próximas etapas
- Treinamento: arquitetar uma plataforma de dados no Azure
- Entre em contato com a Equipe de Engenharia de Dados do Azure.
- Guias de migração de Banco de Dados do Azure
- Treinamento: criar uma estratégia de migração do SQL Server
- Guia de migração: SQL Server para o Banco de Dados SQL do Azure