Modernizar dados de mainframe e midrange
Apache®, Spark e o logotipo da chama são marcas registradas ou marcas comerciais do Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso do Apache Software Foundation está implícito com o uso dessas marcas.
Este artigo descreve um plano de modernização de ponta a ponta para fontes de dados de mainframe e midrange. A modernização ajuda a melhorar a escalabilidade e o desempenho de suas cargas de trabalho críticas.
Arquitetura
Baixe um arquivo do Visio dessa arquitetura.
Fluxo de dados
O fluxo de dados a seguir corresponde ao diagrama anterior:
Os sistemas mainframe e midrange armazenam dados nas fontes de dados a seguir.
Sistemas de arquivos:
- Método de acesso ao armazenamento virtual (VSAM)
- Arquivos simples
- Sistema de arquivos de fita linear
Bancos de dados relacionais:
- Db2 para z/OS
- Db2 para IBM i
- Db2 para Linux UNIX e Windows
Bancos de dados não relacionais:
- Sistema de Gerenciamento de Informações (IMS)
- Adabas
- IDMS (Sistema integrado de gerenciamento de banco de dados)
O processo de conversão de objeto extrai definições de objeto de objetos de origem. Em seguida, as definições são convertidas em objetos correspondentes no armazenamento de dados de destino.
O Assistente de Migração do SQL Server para Db2 migra esquemas e dados de bancos de dados IBM Db2 para bancos de dados do Azure.
O Provedor de Dados Gerenciados para Arquivos de Host converte objetos por:
- Analisando layouts comuns de registro de COBOL (linguagem orientada a negócios) e gerador de programas de relatório ou copybooks.
- Mapeando os copybooks para objetos C# que os aplicativos .NET usam.
A ferramenta Db2toAzurePostgreSQL migra objetos de banco de dados do Db2 para o Banco de Dados do Azure para PostgreSQL.
As ferramentas de parceiros executam a conversão automatizada de objetos em bancos de dados não relacionais, sistemas de arquivos e outros armazenamentos de dados.
Os dados são ingeridos e transformados. Os sistemas mainframe e midrange armazenam seus dados do sistema de arquivos no formato codificado em EBCDIC em formatos de arquivo como:
COBOL, Linguagem de Programação Um e cópias de linguagem de assembly definem a estrutura de dados desses arquivos.
um. O FTP (Protocolo de Transferência de Arquivo) transfere conjuntos de dados do sistema de arquivos de mainframe e midrange e seus copybooks correspondentes para o Azure. Esses conjuntos de dados têm layouts únicos e campos descompactados no formato binário.
b. A conversão de dados é realizada desenvolvendo programas personalizados usando o componente de arquivo host do Host Integration Server ou usando o conector interno para arquivos de host IBM nos Aplicativos Lógicos do Azure.
O conversor do Notebook Spark é desenvolvido usando estruturas spark de software livre. Ele é compatível com ambientes do Spark, como Microsoft Fabric, Azure Synapse Analytics e Azure Databricks.
c. Os dados do banco de dados relacional são migrados.
Os sistemas ibm mainframe e midrange armazenam dados em bancos de dados relacionais, como:
Os seguintes serviços migram os dados do banco de dados:
- O Azure Data Factory usa um conector Db2 para extrair e integrar dados dos bancos de dados.
- O SQL Server Integration Services manipula várias tarefas de extração, transformação e carregamento de dados.
- O Fabric Data Factory usa o conector IBM Db2 para migrar dados Db2.
d. Dados de banco de dados não relacionais são migrados.
Os sistemas ibm mainframe e midrange armazenam dados em bancos de dados não relacionais, como:
- IDMS, um DBMS (sistema de gerenciamento de banco de dados de modelo de rede ).
- IMS, um modelo hierárquico DBMS.
- Adabas.
- Datacom.
Os produtos parceiros integram dados desses bancos de dados.
Ferramentas do Azure, como o Azure Data Factory e o AzCopy , carregam dados nos bancos de dados do Azure e no armazenamento de dados do Azure. Você também pode usar soluções de parceiros e soluções de carregamento personalizadas para carregar dados.
O Azure fornece vários serviços de banco de dados, incluindo serviços de banco de dados relacional totalmente gerenciados, como o Banco de Dados SQL do Azure e opções noSQL, como o Azure Cosmos DB. Esses serviços são projetados para escalabilidade, flexibilidade e distribuição global.
O Azure também fornece uma variedade de soluções de armazenamento, incluindo o Armazenamento de Blobs do Azure para dados não estruturados e arquivos do Azure para compartilhamentos de arquivos totalmente gerenciados.
Os serviços do Azure usam a camada de dados modernizada para computação, análise, armazenamento e rede.
Os aplicativos cliente também usam a camada de dados modernizada.
Componentes
Essa arquitetura usa os seguintes componentes.
Armazenamento de dados
Essa arquitetura descreve como migrar dados para o armazenamento em nuvem escalonável e mais seguro e bancos de dados gerenciados para gerenciamento de dados flexíveis e inteligentes no Azure.
O Banco de Dados SQL faz parte da família SQL do Azure. Ele foi projetado para a nuvem e fornece todos os benefícios de uma paaS (plataforma como serviço) totalmente gerenciada e evergreen. O Banco de Dados SQL também fornece recursos automatizados da plataforma AI que otimizam o desempenho e a durabilidade. As opções de computação e armazenamento de Hiperescala sem servidor dimensionam automaticamente os recursos sob demanda.
O Banco de Dados do Azure para PostgreSQL é um serviço de banco de dados relacional totalmente gerenciado com base na edição da comunidade do mecanismo de banco de dados PostgreSQL de software livre.
O Azure Cosmos DB é um banco de dados NoSQLde vários modelos distribuído globalmente.
O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional totalmente gerenciado com base na edição da comunidade do mecanismo de banco de dados MySQL de software livre.
A Instância Gerenciada de SQL é um serviço de banco de dados de nuvem inteligente e escalonável que fornece todos os benefícios de um PaaS totalmente gerenciado e sempre verde. A Instância Gerenciada de SQL tem compatibilidade quase completa com o mecanismo de banco de dados mais recente do SQL Server Enterprise Edition. Esse serviço também fornece uma implementação de rede virtual nativa que aborda preocupações comuns de segurança.
O Azure Data Lake Storage é um repositório de armazenamento que contém grandes quantidades de dados em seu formato nativo e bruto. Os repositórios de data lake são otimizados para dimensionamento para terabytes e petabytes de dados. Normalmente, os dados são provenientes de várias fontes heterogêneas. Ele pode ser estruturado, semiestruturado ou não estruturado.
O banco de dados SQL no Microsoft Fabric é um banco de dados transacional amigável para desenvolvedores baseado no Banco de Dados SQL. Use-o para criar facilmente seu banco de dados operacional no Fabric. Um banco de dados SQL no Fabric usa o mesmo mecanismo de banco de dados SQL que o Banco de Dados SQL.
Microsoft Fabric Lakehouse é uma plataforma de arquitetura de dados para armazenar, gerenciar e analisar dados estruturados e não estruturados em um único local.
Computação
O Azure Data Factory integra dados em diferentes ambientes de rede usando um IR (integration runtime), que é uma infraestrutura de computação. O Azure Data Factory copia dados entre armazenamentos de dados de nuvem e armazenamentos de dados em redes locais usando IRs auto-hospedadas.
O gateway de dados local é um aplicativo cliente windows instalado localmente que atua como uma ponte entre suas fontes de dados locais e serviços no Microsoft Cloud.
As Máquinas Virtuais do Azure fornecem recursos de computação escalonáveis sob demanda. Uma VM (máquina virtual) do Azure fornece a flexibilidade da virtualização, mas elimina as demandas de manutenção do hardware físico. As VMs do Azure fornecem uma opção de sistemas operacionais, incluindo Windows e Linux.
Integradores de dados
Essa arquitetura descreve várias ferramentas de migração nativas do Azure que você usa dependendo dos dados de origem do mainframe e do banco de dados de destino.
a do Azure Data Factory é um serviço de integração de dados híbridos. Nesta solução, o Azure Data Factory migra dados de fontes Db2 para destinos de banco de dados do Azure usando conectores nativos.
O AzCopy é um utilitário de linha de comando que move blobs ou arquivos para dentro e para fora das contas de armazenamento.
O SQL Server Integration Services é uma plataforma para criar soluções de transformação e integração de dados de nível empresarial. Você pode usá-lo para resolver problemas de negócios complexos:
- Copiando ou baixando arquivos.
- Carregando data warehouses.
- Limpar e minerar dados.
- Gerenciando objetos e dados do SQL Server.
As ferramentas e tecnologias do Host Integration Server podem integrar sistemas de host, programas, mensagens e dados existentes da IBM com aplicativos do Azure. O componente cliente de arquivo de host fornece flexibilidade para os dados que foram convertidos de EBCDIC para ASCII. Por exemplo, você pode gerar dados no formato JSON ou XML a partir dos dados que foram convertidos.
O Azure Synapse Analytics combina integração de dados, armazenamento de dados corporativos e análise de Big Data. Essa arquitetura usa a solução de conversão do Azure Synapse Analytics. Ele é baseado no Apache Spark e é um bom candidato para conversão de carga de trabalho de conjunto de dados de mainframe grande. Ele dá suporte a uma ampla gama de estruturas e destinos de dados de mainframe e requer um esforço mínimo de codificação.
O Microsoft Fabric é uma plataforma de análise de ponta a ponta pronta para a empresa. Ele unifica a movimentação de dados, o processamento de dados, a ingestão, a transformação, o roteamento de eventos em tempo real e a criação de relatórios. Ele dá suporte a esses recursos usando os seguintes serviços integrados:
- Engenheiro de dados do Fabric
- Fábrica de Dados do Fabric
- Ciência de dados do Fabric
- Fabric Real-Time Intelligence
- Fabric Data Warehouse
- Bancos de Dados do Fabric
Outras ferramentas
O Assistente de Migração do SQL Server para Db2 automatiza a migração do Db2 para os serviços de banco de dados da Microsoft. Quando essa ferramenta é executada em uma VM, ela converte objetos de banco de dados Db2 em objetos de banco de dados do SQL Server e cria esses objetos no SQL Server.
O Provedor de Dados para Arquivos de Host é um componente do Host Integration Server que usa conexões offline, SNA ou TCP/IP.
- Com conexões offline, o Provedor de Dados lê e grava registros em um arquivo binário local.
- Com conexões SNA e TCP/IP, o Provedor de Dados lê e grava registros armazenados em conjuntos de dados z/OS remotos (mainframe da série IBM Z) ou arquivos físicos remotos de i5/OS (sistemas IBM AS/400 e iSeries). Somente sistemas de i5/SO usam TCP/IP.
Os serviços do Azure fornecem ambientes, ferramentas e processos para desenvolver e dimensionar novos aplicativos na nuvem pública.
Detalhes do cenário
Soluções modernas de armazenamento de dados, como a plataforma de dados do Azure, fornecem melhor escalabilidade e desempenho do que sistemas de mainframe e midrange. Ao modernizar seus sistemas, você pode aproveitar esses benefícios. No entanto, a atualização da tecnologia, da infraestrutura e das práticas é complexa. O processo envolve uma investigação exaustiva das atividades de negócios e engenharia. O gerenciamento de dados é uma consideração ao modernizar seus sistemas. Você também precisa examinar a visualização e a integração de dados.
As modernizações bem-sucedidas usam uma estratégia de primeiro dados. Ao usar essa abordagem, você se concentra nos dados em vez do novo sistema. O gerenciamento de dados não é mais apenas um item na lista de verificação de modernização. Em vez disso, os dados são a peça central. Soluções de dados coordenadas e orientadas à qualidade substituem as fragmentadas e mal governadas.
Essa solução usa componentes da plataforma de dados do Azure em uma abordagem de primeiro dados. Especificamente, a solução envolve:
Conversão de objeto. Converta definições de objeto do armazenamento de dados de origem em objetos correspondentes no armazenamento de dados de destino.
Ingestão de dados. Conecte-se ao armazenamento de dados de origem e extraia dados.
Transformação de dados. Transforme dados extraídos em estruturas apropriadas de armazenamento de dados de destino.
Armazenamento de dados. Carregue dados do armazenamento de dados de origem para o armazenamento de dados de destino, inicialmente e continuamente.
Possíveis casos de uso
As organizações que usam sistemas de mainframe e midrange podem se beneficiar dessa solução, especialmente quando desejarem:
Modernizar cargas de trabalho críticas de missão.
Adquira business intelligence para melhorar as operações e obter uma vantagem competitiva.
Remova os altos custos e a rigidez associados aos armazenamentos de dados de mainframe e midrange.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.
Segurança
A segurança fornece garantias contra ataques deliberados e o uso indevido de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design para segurança.
Lembre-se das diferenças entre identidades de cliente locais e identidades de cliente no Azure. Você precisa compensar as diferenças.
Use identidades gerenciadas para fluxos de dados componente a componente.
Ao usar o Provedor de Dados para Arquivos de Host para converter dados, siga as recomendações em Provedores de Dados para segurança e proteção de Arquivos de Host.
Otimização de custos
A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design para otimização de custos.
O Assistente de Migração do SQL Server é uma ferramenta gratuita e com suporte que simplifica a migração de banco de dados do Db2 para o SQL Server, o Banco de Dados SQL e a Instância Gerenciada de SQL. O Assistente de Migração do SQL Server automatiza todos os aspectos da migração, incluindo análise de avaliação de migração, conversão de esquema e instrução SQL e migração de dados.
A solução baseada em Spark do Azure Synapse Analytics é criada a partir de bibliotecas de software livre. Elimina a carga financeira das ferramentas de conversão de licenciamento.
Use a Calculadora de preços do Azure para estimar o custo da implantação dessa solução.
Eficiência de desempenho
A Eficiência de Desempenho refere-se à capacidade da carga de trabalho de dimensionar para atender às demandas do usuário com eficiência. Para obter mais informações, consulte Lista de verificação de revisão de design para eficiência de desempenho.
Os principais pilares da Eficiência de Desempenho são gerenciamento de desempenho, planejamento de capacidade, escalabilidade e escolha de um padrão de desempenho apropriado.
Você pode escalar horizontalmente o IR auto-hospedado associando a instância lógica a vários computadores locais no modo ativo-ativo.
Use o Banco de Dados SQL para dimensionar dinamicamente seus bancos de dados. A camada sem servidor pode dimensionar automaticamente os recursos de computação. Os pools elásticos permitem que os bancos de dados compartilhem recursos em um pool e só podem ser dimensionados manualmente.
Ao usar o cliente Provedor de Dados para Arquivos de Host para converter dados, ative o pool de conexões para reduzir o tempo de inicialização da conexão. Quando você usa o Azure Data Factory para extrair dados, ajuste o desempenho da atividade de cópia.
Contribuidores
A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.
Autor principal:
Outros colaboradores:
- Nithish Aruldoss | Arquiteto de Engenharia
Para ver perfis não públicos no LinkedIn, entre no LinkedIn.
Próximas etapas
Revise os Guias de Migração de Banco de Dados do Azure. Entre em contato com a Engenharia de Dados do Azure – Mainframe &Midrange Modernization para obter mais informações.
Veja os artigos a seguir:
- Cargas de trabalho da IBM no Azure
- Mudança de hospedagem de mainframe em VMs do Azure
- Cargas de trabalho de mainframe compatíveis com Azure
- Mover a computação do mainframe para o Azure