Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Azure Cosmos DB
Azure Data Lake
Banco de Dados SQL do Azure
Instância Gerenciada do Azure SQL
Armazenamento do Azure
Ideias de soluções
Este artigo descreve uma ideia de solução. Seu arquiteto de nuvem pode usar essa orientação para ajudar a visualizar os principais componentes para uma implementação típica dessa arquitetura. Use este artigo como ponto de partida para projetar uma solução bem arquitetada que se alinhe aos requisitos específicos da sua carga de trabalho.
Este artigo descreve um plano de modernização de ponta a ponta para fontes de dados mainframe e midrange. A modernização ajuda a melhorar a escalabilidade e o desempenho de cargas de trabalho críticas.
Apache®, Spark e o logotipo da chama são marcas registradas ou marcas comerciais do Apache Software Foundation no Estados Unidos e/ou em outros países. Nenhum endosso do Apache Software Foundation está implícito com o uso dessas marcas.
Architecture
Carrege um arquivo Visio desta arquitetura.
Fluxo de dados
O fluxo de dados a seguir corresponde ao diagrama anterior:
Os sistemas mainframe e midrange armazenam dados nas fontes de dados a seguir.
Sistemas de arquivos:
Método de acesso ao armazenamento virtual (VSAM)
Arquivos simples
Sistema de arquivos de fita linear
Bancos de dados relacionais:
Db2 para z/OS
Db2 para IBM i
Db2 para Linux, Unix e Windows
Bancos de dados não relacionais:
Sistema de Gerenciamento de Informações (IMS)
Adabas
IDMS (Sistema integrado de gerenciamento de banco de dados)
O processo de conversão de objeto extrai definições de objeto de objetos de origem. O processo converte as definições em objetos correspondentes no armazenamento de dados de destino.
Assistente de Migração do Microsoft SQL Server para Db2 migra esquemas e dados de bancos de dados IBM Db2 para bancos de dados Azure.
O provedor de dados gerenciado para arquivos de host converte objetos. Provedor de Dados Gerenciados para Host Files:
Analisa layouts de registro do COBOL e do Gerador de Programas de Relatório ou copybooks.
Mapeia os copybooks para objetos C# que os aplicativos .NET usam.
A ferramenta de conversão de esquema Db2toAzurePostgreSQL, com tecnologia de IA, do Db2 para PostgreSQL migra objetos de banco de dados do Db2 para o Banco de Dados do Azure para PostgreSQL.
As ferramentas de parceiros executam a conversão automatizada de objetos em bancos de dados não relacionais, sistemas de arquivos e outros armazenamentos de dados.
Os dados são ingeridos e transformados. Os sistemas mainframe e midrange armazenam seus dados do sistema de arquivos no formato codificado em EBCDIC em formatos de arquivo como:
Arquivos VSAM indexados.
Arquivos não indexados de Grupo de Dados de Geração (GDG).
Arquivos simples
Os copybooks de linguagem COBOL, PL/I e assembly definem a estrutura de dados desses arquivos.
a. FTP transfere conjuntos de dados de sistemas de arquivos de mainframes e computadores de médio porte e seus copybooks correspondentes para o Azure. Esses conjuntos de dados têm layouts únicos e campos descompactados no formato binário.
b. A conversão de dados usa programas personalizados que dependem do componente de arquivos de host do Host Integration Server ou do conector nativo para arquivos de host IBM nos Aplicativos Lógicos do Azure.
O conversor do Notebook Spark usa estruturas spark de software livre e funciona com ambientes Spark, como Microsoft Fabric e Azure Databricks.
c. A solução migra dados de banco de dados relacionais.
Os sistemas ibm mainframe e midrange armazenam dados em bancos de dados relacionais, como:
Os seguintes serviços migram os dados do banco de dados:
Azure Data Factory usa um conector Db2 para extrair e integrar dados dos bancos de dados.
SQL Server Integration Services gerencia tarefas de extração, transformação e carregamento de dados.
O Fabric Data Factory usa o conector IBM Db2 para migrar dados Db2.
d. Dados de banco de dados não relacionais são migrados.
Os sistemas de mainframe e de médio porte da IBM armazenam dados em bancos de dados não relacionais, incluindo:
IDMS, um DBMS (sistema de gerenciamento de banco de dados de modelo de rede ).
IMS, um modelo hierárquico DBMS.
Os produtos parceiros integram dados desses bancos de dados.
Ferramentas Azure como Azure Data Factory e AzCopy carregam dados em bancos de dados do Azure e armazenamento de dados do Azure. Você também pode usar soluções de parceiros e soluções de carregamento personalizadas para carregar dados.
Azure fornece vários serviços de banco de dados, incluindo serviços de banco de dados relacionais totalmente gerenciados, como Banco de Dados SQL do Azure e opções de NoSQL, como Azure Cosmos DB. Esses serviços são projetados para escalabilidade, flexibilidade e distribuição global.
Azure também fornece uma variedade de soluções de armazenamento, incluindo Armazenamento de Blobs do Azure para dados não estruturados e Arquivos do Azure para compartilhamentos de arquivos totalmente gerenciados.
Azure serviços usam a camada de dados modernizada para computação, análise, armazenamento e rede.
Os aplicativos cliente também usam a camada de dados modernizada.
Components
Essa arquitetura usa os seguintes componentes.
Armazenamento de dados
O Azure Cosmos DB é um banco de dados de vários modelos distribuído globalmente. Nessa arquitetura, Azure Cosmos DB serve como um destino de NoSQL escalonável para modernização do banco de dados de mainframe não relacional.
Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional totalmente gerenciado com base na edição da comunidade do mecanismo de banco de dados MySQL de software livre. Nessa arquitetura, Banco de Dados do Azure para MySQL fornece outra opção de destino de banco de dados relacional para dados de mainframe migrados.
Banco de Dados do Azure para PostgreSQL é um serviço de banco de dados relacional totalmente gerenciado com base na edição da comunidade do mecanismo de banco de dados PostgreSQL de software livre. Nessa arquitetura, Banco de Dados do Azure para PostgreSQL fornece um banco de dados de destino alternativo para a migração de dados relacionais do mainframe.
O Banco de Dados SQL é uma plataforma totalmente gerenciada e baseada em nuvem como um serviço. O Banco de Dados SQL fornece recursos automatizados alimentados por IA que otimizam o desempenho e a durabilidade. Opções de computação sem servidor e de armazenamento Hyperscale escalam recursos automaticamente sob demanda. Nessa arquitetura, o Banco de Dados SQL serve como um banco de dados de destino para dados relacionais migrados de sistemas Db2 de mainframe.
Instância Gerenciada de SQL do Azure é um serviço de banco de dados de nuvem totalmente gerenciado. Instância Gerenciada de SQL dá suporte à maioria dos recursos do SQL Server Enterprise e fornece uma implementação de rede virtual nativa que aborda preocupações comuns de segurança. Nessa arquitetura, o Instância Gerenciada de SQL atua como um destino para os dados do mainframe que exigem compatibilidade com SQL Server e recursos corporativos.
Azure Data Lake Storage é um repositório de armazenamento que contém grandes quantidades de dados nativos e brutos. Os repositórios Data lake são otimizados para dimensionamento para terabytes e petabytes de dados. Normalmente, os dados são provenientes de várias fontes heterogêneas e podem ser estruturados, semiestruturados ou não estruturados. Nessa arquitetura, Data Lake Storage fornece armazenamento escalonável para dados convertidos do sistema de arquivos mainframe e serve como uma área de preparo para transformação de dados.
Um Fabric lakehouse é uma plataforma de arquitetura de dados para armazenamento, gerenciamento e análise de dados estruturados e não estruturados em um único local. Nessa arquitetura, um Fabric Lakehouse serve como uma plataforma de análise unificada para dados de mainframe brutos e conjuntos de dados processados.
O banco de dados SQL no Fabric é um banco de dados transacional amigável ao desenvolvedor com base no Banco de Dados SQL. Você pode usá-lo para criar seu banco de dados operacional no Fabric. O banco de dados SQL no Fabric usa o mesmo mecanismo de banco de dados que o Banco de Dados SQL. Nessa arquitetura, um banco de dados SQL no Fabric fornece uma opção de banco de dados transacional moderna para dados operacionais de mainframe migrados.
Computação
Azure Data Factory é um serviço de integração de dados baseado em nuvem que integra dados em diferentes ambientes de rede usando um IR (integration runtime), que é uma infraestrutura de computação. Azure Data Factory copia dados entre armazenamentos de dados na nuvem e armazenamentos de dados em redes locais usando IRs que são hospedadas localmente. Nessa arquitetura, Azure Data Factory gerencia a migração de dados de fontes de mainframe para destinos Azure.
O gateway de dados local é um aplicativo cliente Windows instalado localmente que serve como uma ponte entre fontes de dados locais e serviços de Microsoft Cloud. Nessa arquitetura, o gateway de dados local estabelece conectividade segura entre sistemas de mainframe e serviços de Azure.
Máquinas Virtuais do Azure é uma IaaS (infraestrutura como serviço) que fornece recursos de computação sob demanda e escalonáveis. Azure VMs (máquinas virtuais) fornecem flexibilidade de virtualização, mas eliminam as demandas de manutenção do hardware físico. Azure VMs são compatíveis com sistemas operacionais como Windows e Linux. Nessa arquitetura, Máquinas Virtuais hospeda ferramentas de migração, como Assistente de Migração do SQL Server para Db2 e aplicativos de conversão personalizados.
Integradores de dados
Azure Data Factory é um serviço de integração de dados híbridos. Azure Data Factory migra dados de fontes Db2 para destinos de banco de dados Azure usando conectores nativos. Nessa arquitetura, Azure Data Factory serve como o serviço de integração de dados primário para fluxos de trabalho de migração de dados de mainframe.
AzCopy é um utilitário de linha de comando que move blobs ou arquivos para dentro e para fora das contas de armazenamento. Nessa arquitetura, AzCopy transfere grandes volumes de dados do sistema de arquivos mainframe para Armazenamento do Azure durante o processo de migração.
SQL Server Integration Services é uma plataforma para criar soluções de integração e transformação de dados de nível empresarial. Nesta arquitetura, use-a para executar tarefas de transformação de dados durante a migração de mainframe, como:
Copiando ou baixando arquivos.
Carregamento do armazém de dados.
Limpeza de dados e mineração de dados.
Gerenciamento de SQL Server objetos e dados.
Host Integration Server tecnologias e ferramentas podem integrar sistemas de host, programas, mensagens e dados existentes da IBM com aplicativos Azure. O componente cliente de arquivo de host fornece flexibilidade para dados convertidos de EBCDIC para ASCII. Por exemplo, você pode gerar dados no formato JSON ou XML a partir dos dados convertidos. Nessa arquitetura, o Host Integration Server converte dados de mainframe codificados em EBCDIC em formato ASCII para consumo Azure.
O Azure Databricks é uma plataforma de análise de dados. Azure Databricks se baseia no sistema de processamento distribuído de software livre do Apache Spark e é otimizado para a plataforma de nuvem Azure. Em um fluxo de trabalho de análise, o Azure Databricks lê dados de várias fontes e usa o Spark para fornecer insights.
Fabric é uma plataforma de análise de ponta a ponta pronta para a empresa. Ele unifica a movimentação de dados, o processamento de dados, a ingestão, a transformação, o roteamento de eventos em tempo real e a criação de relatórios. Fabric dá suporte a esses recursos usando os seguintes serviços integrados:
Engenharia de dados do Fabric
Fábrica de Dados do Fabric
Ciência de dados do Fabric
Fabric Inteligência em Tempo Real
Armazém de Dados Fabric
Bancos de dados do Fabric
Nessa arquitetura, o Fabric fornece uma plataforma de análise abrangente para modernização de dados de mainframe de ponta a ponta e business intelligence.
Outras ferramentas
Assistente de Migração do SQL Server para Db2 automatiza a migração do Db2 para os serviços de banco de dados da Microsoft. Em uma VM, Assistente de Migração do SQL Server para Db2 converte objetos de banco de dados Db2 em objetos de banco de dados SQL Server e cria esses objetos em SQL Server. Nessa arquitetura, o Assistente de Migração do SQL Server for Db2 converte automaticamente esquemas e objetos de bancos de dados Db2 de mainframe em destinos de banco de dados do Azure.
Provedor de Dados para Arquivos do Host é um componente do Host Integration Server que usa conexões off-line, SNA (Arquitetura de Rede de Sistemas) ou TCP/IP.
Conexões offline. Provedor de Dados lê e grava registros em um arquivo binário local.
Conexões SNA. Provedor de Dados lê e grava registros armazenados em conjuntos de dados z/OS remotos (mainframe da série IBM Z) ou arquivos físicos remotos de i5/OS (sistemas IBM AS/400 e iSeries).
Conexões TCP/IP. Somente sistemas de i5/SO usam conexões TCP/IP.
Nesta arquitetura, o Provedor de Dados for Host Files fornece conectividade e acesso a dados entre sistemas de arquivos de mainframe e aplicativos do Azure.
Azure serviços fornecem ambientes, ferramentas e processos para desenvolvimento e dimensionamento de novos aplicativos na nuvem pública. Nessa arquitetura, os serviços Azure fornecem a plataforma de nuvem de destino para aplicativos de mainframe modernizados e cargas de trabalho de análise de dados.
Detalhes do cenário
Soluções modernas de armazenamento de dados, como a plataforma de dados Azure, fornecem melhor escalabilidade e desempenho do que sistemas de mainframe e midrange. Você pode acessar esses benefícios se atualizar seu sistema, mas pode ser complicado atualizar tecnologia, infraestrutura e procedimentos. Realize uma investigação completa das atividades de negócios e engenharia da sua organização. Considere os procedimentos de gerenciamento de dados, visualização de dados e integração de dados.
As modernizações bem-sucedidas usam uma estratégia de dados primeiro. Essa abordagem se concentra nos dados em vez do novo sistema, o que torna o gerenciamento de dados a peça central de sua estratégia de modernização. Substitua soluções de dados fragmentadas e mal governadas por uma estratégia coordenada e orientada à qualidade.
Essa solução utiliza componentes da plataforma de dados do Azure em uma abordagem orientada a dados. Especificamente, a solução envolve:
- Conversão de objeto. Converta definições de objeto do armazenamento de dados de origem em objetos correspondentes no armazenamento de dados de destino.
- Ingestão de dados. Conecte-se ao armazenamento de dados de origem e extraia dados.
- Transformação de dados. Transforme dados extraídos em estruturas apropriadas de armazenamento de dados de destino.
- Armazenamento de dados. Carregar dados inicialmente e continuamente do armazenamento de dados de origem para o armazenamento de dados de destino.
Possíveis casos de uso
Você pode se beneficiar dessa solução se quiser:
- Modernizar cargas de trabalho comercialmente críticas.
- Adquira business intelligence para melhorar as operações e obter uma vantagem competitiva.
- Remova os altos custos e a rigidez associados aos armazenamentos de dados de mainframe e midrange.
Contributors
A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.
Autor principal:
- Ashish Khandelwal | Gerente do Arquiteto de Engenharia Principal
Outros colaboradores:
- Nithish Aruldoss | Arquiteto de Engenharia
- Rodrigo Rodríguez | Arquiteto sênior de soluções de nuvem, IA &Quantum
Para ver perfis de LinkedIn não públicos, entre em LinkedIn.