Apache®, Apache Spark e o logotipo da chama são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.
Este artigo descreve um plano de modernização completo para fontes de dados de mainframe e midrange.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
O fluxo de dados a seguir descreve um processo para modernizar uma camada de dados de mainframe. Ele corresponde ao diagrama anterior.
Sistemas mainframe e midrange armazenam dados em fontes de dados, como sistemas de arquivos (VSAM, arquivo simples, LTFS), bancos de dados relacionais (Db2 para z/OS, Db2 para IBM i, Db2 para Linux UNIX e Windows) ou bancos de dados não relacionais (IMS, ADABAS, IDMS).
O processo de conversão de objeto extrai definições de objeto dos objetos de origem. Em seguida, as definições são convertidas nos objetos correspondentes no armazenamento de dados de destino.
- O Assistente de Migração do SQL Server (SSMA) para Db2 migra esquemas e dados de bancos de dados IBM Db2 para bancos de dados do Azure.
- O Provedor de Dados Gerenciados para Host Files converte os objetos:
- Analisando layouts de registro COBOL e RPG ou copybooks.
- Mapeando os copybooks para objetos C# que os aplicativos .NET usam.
- Ferramentas de terceiros executam a conversão automatizada de objetos em bancos de dados não relacionais, sistemas de arquivos e outros armazenamentos de dados.
Os dados são ingeridos e transformados. Os sistemas mainframe e midrange armazenam os dados de sistema de arquivos no formato codificado por EBCDIC em formatos de arquivo como:
Os copybooks de linguagem COBOL, PL/I e assembly definem a estrutura de dados desses arquivos.
a. O FTP transfere os conjuntos de dados do sistema de arquivos mainframe e midrange com layouts únicos e campos descompactados em formato binário e o copybook correspondente para o Azure.
b. Os dados são convertidos. O conector personalizado do Azure Data Factory é uma solução que foi desenvolvida usando o componente de cliente Host File do Host Integration Server para converter conjuntos de dados de mainframe.
O Host Integration Server integra os sistemas host, programas, mensagens e dados IBM existentes aos aplicativos do Azure. O Host Integration Server é um componente de cliente Host File que você pode usar para desenvolver uma solução personalizada para a conversão de conjuntos de dados.
O conector personalizado do Azure Data Factory é baseado na estrutura Spark de código aberto e é executado no Azure Synapse Analytics. Como outras soluções, ele pode analisar o copybook e converter os dados. Gerencie o serviço para conversão de dados usando o conector Parse Host File Contents dos Aplicativos Lógicos do Azure.
c. Os dados de bancos de dados relacionais são migrados.
Os sistemas mainframe e midrange da IBM armazenam dados em bancos de dados relacionais, como estes:
Estes serviços migram os dados de banco de dados:
- O Data Factory usa um conector Db2 para extrair e integrar dados dos bancos de dados.
- O SQL Server Integration Services processa várias tarefas de ETL de dados.
d. Os dados de bancos de dados não relacionais são migrados.
Os sistemas mainframe e midrange da IBM armazenam dados em bancos de dados não relacionais, como estes:
- IDMS, um sistema de gerenciamento de banco de dados (DBMS) de modelo de rede
- IMS, um DBMS de modelo hierárquico
- Adabas
- Datacom
Produtos de terceiros integram dados desses bancos de dados.
Serviços do Azure, como o Data Factory e o AzCopy carregam dados nos bancos de dados e no armazenamento de dados do Azure. Também é possível usar soluções de terceiros e soluções de carregamento personalizadas para carregar os dados.
O Azure fornece muitas soluções de armazenamento de dados gerenciados:
Os serviços do Azure usam a camada de dados modernizada para computação, análise, armazenamento e sistema de rede.
Os aplicativos cliente também usam a camada de dados modernizada.
Componentes
Armazenamento de dados
- O Banco de Dados SQL faz parte da família SQL do Azure. Ele foi criado para a nuvem e propicia todos os benefícios de uma plataforma como serviço totalmente gerenciada e permanente. O Banco de Dados SQL também fornece recursos automatizados da plataforma AI que otimizam o desempenho e a durabilidade. As opções de armazenamento de Hiperescala e de computação sem servidor dimensionam automaticamente os recursos sob demanda.
- O Banco de Dados do Azure para PostgreSQL é um serviço de banco de dados relacional totalmente gerenciado, baseado na edição da comunidade do mecanismo de banco de dados PostgreSQL de código aberto.
- O Azure Cosmos DB é um banco de dados multimodeloNoSQL distribuído globalmente.
- O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional totalmente gerenciado, baseado na edição da comunidade do mecanismo de banco de dados MySQL de código aberto.
- O Banco de Dados do Azure para MariaDB é um serviço de banco de dados relacional baseado em nuvem. Ele é baseado no mecanismo de banco de dados MariaDB edição Community.
- A Instância Gerenciada de SQL é um serviço de banco de dados de nuvem inteligente e escalonável que oferece todos os benefícios de uma plataforma como serviço totalmente gerenciada e permanente. A Instância Gerenciada de SQL é quase totalmente compatível com o mecanismo de banco de dados mais recente do SQL Server Enterprise Edition. Esse serviço também fornece uma implementação de rede virtual nativa que aborda preocupações comuns de segurança.
- O Azure Data Lake Storage é um repositório de armazenamento que contém grandes quantidades de dados em seu formato nativo bruto. Os repositórios Data lake são otimizados para dimensionamento para terabytes e petabytes de dados. Normalmente, os dados são provenientes de várias fontes heterogêneas. Eles podem ser estruturados, semiestruturados ou não estruturados.
Computação
- O Data Factory integra dados entre diferentes ambientes de rede usando um integration runtime (IR), que é uma infraestrutura de computação. O Data Factory copia dados entre armazenamentos de dados em nuvem e armazenamentos de dados em redes locais usando IRs auto-hospedados.
- As Máquinas Virtuais do Azure fornecem recursos de computação escalonáveis sob demanda. Uma máquina virtual (VM) do Azure oferece a flexibilidade da virtualização, mas elimina as demandas de manutenção do hardware físico. As VMs do Azure oferecem opções de sistemas operacionais, incluindo Windows e Linux.
Integradores de dados
- O Azure Data Factory é um serviço híbrido de integração de dados. Nesta solução, um conector personalizado do Azure Data Factory usa o componente de cliente Host File do Host Integration Server para converter conjuntos de dados de mainframe. Com uma configuração mínima, você pode usar um conector personalizado para converter seu conjunto de dados de mainframe da mesma maneira que usaria qualquer outro conector do Azure Data Factory.
- O AzCopy é um utilitário de linha de comando que move blobs ou arquivos para dentro e para fora das contas de armazenamento.
- O SQL Server Integration Services é uma plataforma para criar soluções de transformação e integração de dados de nível empresarial. Você pode usá-lo para resolver problemas de negócios complexos:
- Copiando ou baixando arquivos.
- Carregando data warehouses.
- Limpando e minerando dados.
- Gerenciando objetos e dados do SQL Server.
- As tecnologias e ferramentas do Host Integration Server permitem integrar sistemas host, programas, mensagens e dados IBM existentes a aplicativos do Azure. O componente cliente Host File fornece flexibilidade para dados convertidos de EBCDIC para ASCII. Por exemplo, você pode gerar JSON/XML a partir dos dados convertidos.
- O Azure Synapse combina integração de dados, armazenamento de dados corporativo e análise de Big Data. A solução de conversão do Azure Synapse usada nessa arquitetura é baseada no Apache Spark e é uma boa candidata para a conversão de cargas de trabalho de conjuntos de dados de mainframe grandes. Ele é compatível com uma ampla gama de destinos e estruturas de dado de mainframe e requer esforço mínimo de codificação.
Outras ferramentas
- O Assistente de Migração do SQL Server para Db2 automatiza a migração do Db2 para os serviços de banco de dados da Microsoft. Quando executada em uma VM, essa ferramenta converte objetos de banco de dados Db2 em objetos de banco de dados SQL Server e cria esses objetos no SQL Server.
- O Provedor de Dados para Host Files é um componente do Host Integration Server que usa conexões offline, SNA ou TCP/IP.
- Com conexões offline, o Provedor de Dados lê e grava registros em um arquivo binário local.
- Com conexões SNA e TCP/IP, o Provedor de Dados lê e grava registros armazenados em conjuntos de dados z/OS remotos (Mainframe IBM série z) remotos ou em arquivos físicos remotos do i5/OS (sistemas IBM AS/400 e iSeries). Somente os sistemas i5/OS usam TCP/IP.
- Os serviços do Azure fornecem ambientes, ferramentas e processos para desenvolver e dimensionar novos aplicativos na nuvem pública.
Detalhes do cenário
Soluções de armazenamento de dados modernas, como a plataforma de dados do Azure, oferecem escalabilidade e desempenho melhores do que os sistemas mainframe e midrange. Modernizando seus sistemas, você pode aproveitar esses benefícios. No entanto, o processo de atualização da tecnologia, da infraestrutura e das práticas é complexo. Ele envolve uma investigação exaustiva das atividades de negócios e de engenharia. O gerenciamento de dados é um ponto a ser considerado na modernização dos sistemas. Você também precisa examinar a visualização e a integração de dados.
As modernizações bem-sucedidas usam uma estratégia data-first. Usando essa abordagem, você se concentra nos dados, e não no novo sistema. O gerenciamento de dados deixou de ser apenas um item na lista de verificação da modernização. Em vez disso, os dados são o ponto central. Soluções de dados coordenadas e voltadas para a qualidade substituem as soluções fragmentadas e mal geridas.
Esta solução usa componentes da plataforma de dados do Azure em uma abordagem data-first. Especificamente, a solução envolve:
- Conversão de objetos. Converter definições de objeto do armazenamento de dados de origem em objetos correspondentes no armazenamento de dados de destino.
- Ingestão de dados. Conectar-se ao armazenamento de dados de origem e extrair dados.
- Transformação de dados. Transformar dados extraídos em estruturas de armazenamento de dados de destino apropriadas.
- Armazenamento de dados. Carregar dados do armazenamento de dados de origem para o armazenamento de dados de destino, inicial e continuamente.
Possíveis casos de uso
As organizações que usam sistemas mainframe e midrange podem se beneficiar desta solução, principalmente se desejam atingir estas metas:
- Modernizar cargas de trabalho críticas.
- Adquirir business intelligence para melhorar as operações e obter uma vantagem competitiva.
- Eliminar os altos custos e a rigidez associados aos armazenamentos de dados de mainframe e midrange.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, um conjunto de princípios orientadores que você poderá usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework. Ao usar o Provedor de Dados para o cliente Host Files para converter dados, ative o pool de conexões para reduzir o tempo de inicialização da conexão. Ao usar o Data Factory para extrair dados, ajuste o desempenho da atividade de cópia.
Segurança
A segurança fornece garantias contra ataques deliberados e o abuso de seus dados e sistemas valiosos. Para saber mais, confira Visão geral do pilar de segurança.
- Considere as diferenças entre identidades de cliente locais e identidades de cliente no Azure. Você precisa compensar quaisquer diferenças.
- Use identidades gerenciadas para fluxos de dados de componente para componente.
- Ao usar o Provedor de Dados para Host Files para converter dados, siga as recomendações em Provedores de Dados para segurança e proteção do Host Files.
Otimização de custo
A otimização de custos consiste em reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.
- O Assistente de Migração do SQL Server é uma ferramenta gratuita e compatível que simplifica a migração de banco de dados do Db2 para o SQL Server, Banco de Dados SQL e Instância Gerenciada de SQL. O Assistente de Migração do SQL Server automatiza todos os aspectos da migração, incluindo a análise de avaliação da migração, a conversão de esquemas e instruções SQL e a migração de dados.
- A solução baseada no Azure Synapse Spark foi criada a partir de bibliotecas de código aberto. Ela elimina o ônus financeiro das ferramentas de conversão de licenciamento.
- Use a Calculadora de preços do Azure para estimar o custo da implantação dessa solução.
Eficiência de desempenho
A eficiência do desempenho é a capacidade de dimensionar a carga de trabalho para atender às demandas exigidas pelos usuários de maneira eficiente. Para obter mais informações, consulte a Visão geral do pilar de eficiência de desempenho.
- Os principais pilares da eficiência de desempenho são o gerenciamento do desempenho, o planejamento da capacidade, a escalabilidade e a escolha de um padrão de desempenho apropriado.
- Para escalar horizontalmente o IR auto-hospedado, é possível associar a instância lógica a vários computadores locais no modo ativo-ativo.
- O Banco de Dados SQL do Azure oferece a capacidade de dimensionar os bancos de dados de maneira dinâmica. Em uma camada sem servidor, ele pode dimensionar os recursos de computação automaticamente. O Pool Elástico, que permite que os bancos de dados compartilhem recursos em um pool, só pode ser dimensionado manualmente.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Ashish Khandelwal | Gerente de Arquitetura de Engenharia Principal
Outros colaboradores:
- Mick Alberts | Escritor Técnico
- Nithish Aruldoss | Arquiteto de Engenharia
Para ver perfis não públicos do LinkedIn, entre no LinkedIn.
Próximas etapas
Revise os Guias de Migração de Banco de Dados do Azure. Entre em contato com Engenharia de Dados do Azure – Modernização de Mainframe & Midrange para obter mais informações.
Consulte estes artigos:
- Cargas de trabalho IBM no Azure
- Reosting do mainframe em máquinas virtuais do Azure
- Cargas de trabalho de mainframe compatíveis com Azure
- Mover a computação do mainframe para o Azure