Ideias de soluções
Esse artigo é uma ideia de solução. Caso deseje que ampliemos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações sobre implementação ou diretrizes de preços, fale conosco enviando seus comentários no GitHub.
Quando você migra um aplicativo midrange ou mainframe local para o Azure, a transferência dos dados torna-se uma consideração principal. Vários cenários de modernização exigem a replicação rápida de arquivos para o Azure ou a manutenção da sincronização entre arquivos locais e arquivos do Azure.
Este artigo descreve diversos processos para transferir arquivos para o Azure, converter e transformar dados de arquivo e armazenar os dados no local e no Azure.
Arquitetura
O diagrama a seguir mostra algumas das opções para replicar e sincronizar arquivos locais com o Azure:
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
Transferir arquivos para o Azure:
A maneira mais fácil de transferir arquivos para o local ou para o Azure é usando o FTP (File Transfer Protocol). Você pode hospedar um servidor FTP em uma máquina virtual (VM) do Azure. Uma JCL (linguagem de controle de trabalho FTP) simples envia arquivos para o Azure em formato binário, o que é essencial para preservar a computação de mainframe e midrange e os tipos de dados binários. Você pode armazenar arquivos transmitidos em discos locais, armazenamento de arquivos de VM do Azure ou Armazenamento de Blobs do Azure.
Você também pode carregar arquivos locais no Armazenamento de Blobs usando ferramentas como AzCopy.
O conector FTP/SFTP do Azure Data Factory também pode ser usado para transferir dados do sistema mainframe para o Armazenamento de Blobs. Esse método também requer uma VM intermediária na qual esteja instalado um Integration Runtime (SHIR) auto-hospedado.
Você também pode encontrar ferramentas de terceiros no Azure Marketplace para transferir arquivos de mainframes para o Azure.
Orquestrar, converter e transformar dados:
O Azure não pode ler arquivos de página de código EBCDIC (Código de Intercâmbio) Binário Estendido Coded Decimal (EBCDIC) em discos de VM do Azure ou Armazenamento de Blobs. Para tornar esses arquivos compatíveis com o Azure, o Servidor de Integração de Host (HIS) os converte do formato EBCDIC para o ASCII (American Standard Code for Information Interchange).
Os copybooks definem a estrutura de dados dos arquivos COBOL, PL/I e linguagem assembly. HIS converte esses arquivos em ASCII com base nos layouts do copybook.
Antes de transferir os dados para o armazenamentos de dados do Azure, talvez seja necessário transformá-los ou usá-los para análise. O Data Factory pode gerenciar essas atividades de ETL (extract-transform-load) e ELT (extract-load-transform) e armazenar os dados diretamente no Azure Data Lake Storage.
Para integrações de Big Data, o Azure Databricks e o Azure Synapse Analytics podem executar todas as atividades de transformação de forma rápida e eficaz usando o mecanismo Apache Spark para realizar cálculos na memória.
Armazenamento de dados:
Você pode armazenar os dados transferidos em um dos vários modos de armazenamento persistente do Azure disponíveis, dependendo de suas necessidades.
Se não houver necessidade de análise, o Azure Data Factory poderá armazenar dados diretamente em uma ampla variedade de opções de armazenamento, como Armazenamento de Data Lake e Armazenamento de Blobs.
O Azure hospeda vários bancos de dados, que atendem a diferentes necessidades:
- Os bancos de dados relacionais incluem a família SQL Server e bancos de dados de código aberto como PostgreSQL e MySQL.
- Os bancos de dados não relacionais incluem o Azure Cosmos DB, um banco de dados NoSQL rápido, multimodelo e distribuído globalmente.
Revisar análises e a business intelligence:
O Microsoft Fabric é uma solução de análise completa que sua organização pode usar para estudar a movimentação de dados, experimentar a ciências de dados e revisar as análises e a business intelligence em tempo real. Ele oferece um conjunto abrangente de recursos, incluindo data lake, engenharia de dados e integração de dados.
Componentes
Vários cenários de transferência, integração e armazenamento de arquivos usam componentes diferentes. Veja a calculadora de preços do Azure para estimar custos dos recursos do Azure.
Rede
Um gateway de dados local é um software de ponte que conecta dados locais a serviços de nuvem. Você pode instalar o gateway em uma máquina virtual local dedicada.
Integração de dados e transformação
O Provedor de Dados para Arquivos de Host é um componente do HIS que converte arquivos de página de código EBCDIC em ASCII. O provedor pode ler e gravar os registros offline em um arquivo binário local ou usar a Arquitetura de Rede de Sistemas (SNA) ou o protocolo TCP/IP (Transmission Control Protocol/Internet Protocol) para ler e gravar os registros em conjuntos de dados de mainframe IBM z/OS remotos ou arquivos físicos do i5/OS. Os conectores HIS estão disponíveis para o BizTalk e os Aplicativos Lógicos do Azure.
O Azure Data Factory é um serviço de integração de dados híbrido que você pode usar para criar, agendar e orquestrar fluxos de trabalho de ETL e ELT.
O Azure Databricks é uma plataforma de análise com base no Apache Spark otimizada para o Azure. Você pode usar o Databricks para correlacionar dados de entrada e enriquecê-los com outros dados armazenados no Databricks.
O Azure Synapse Analytics é um data warehouse de nuvem rápido e flexível com uma arquitetura de processamento massivamente paralela (MPP), que você pode usar para escalar, computar e armazenar dados de forma elástica e independente.
Bancos de dados
O Banco de Dados SQL do Azure é um serviço de banco de dados em nuvem, relacional e escalonável. O Banco de Dados SQL do Azure é perene e está sempre atualizado, com recursos automatizados e da plataforma IA que otimizam o desempenho e a durabilidade. As opções de armazenamento de Hiperescala e de computação sem servidor dimensionam automaticamente os recursos sob demanda. Com o Benefício Híbrido do Azure, você pode usar suas licenças locais existentes do SQL Server na nuvem sem custo extra.
A Instância Gerenciada de SQL do Azure combina a mais ampla compatibilidade de mecanismo de banco de dados do SQL Server com todos os benefícios de uma PaaS (plataforma como serviço) perene e totalmente gerenciada. Com a Instância Gerenciada do SQL, você pode modernizar seus aplicativos existentes em escala com ferramentas, habilidades e recursos familiares.
O SQL Server em Máquinas Virtuais do Azure eleva e transfere suas cargas de trabalho do SQL Server para a nuvem a fim de combinar a conectividade híbrida e a flexibilidade do Azure com desempenho, a segurança e a análise do SQL Server. Você pode acessar as atualizações e versões mais recentes do SQL Server com 100% de compatibilidade de código.
O Banco de Dados do Azure para PostgreSQL é um serviço de banco de dados relacional totalmente gerenciado, baseado na edição da comunidade do mecanismo de banco de dados PostgreSQL de código aberto.
O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional totalmente gerenciado, baseado na edição da comunidade do mecanismo de banco de dados MySQL de código aberto.
O Azure Cosmos DB é um serviço de banco de dados NoSQL multi-modelo, totalmente gerenciado para criar aplicativos escalonáveis de alto desempenho. O Azure Cosmos DB dimensiona a taxa de transferência e o armazenamento de forma elástica e independente entre regiões geográficas e garante latências de um dígito milissegundo com disponibilidade de percentil 99 em qualquer lugar do mundo.
Outros armazenamentos de dados
Armazenamento de blobs armazena grandes quantidades de dados não estruturados, como texto ou dados binários, que você pode acessar de qualquer lugar via HTTP ou HTTPS. Você pode usar o armazenamento de Blob para expor dados publicamente para o mundo ou para armazenar dados do aplicativo de forma privada.
O Data Lake Storage é um repositório de armazenamento que contém uma grande quantidade de dados em seu formato nativo e bruto. O Data Lake Storage fornece escalonamento para cargas de trabalho de análise de Big Data com terabytes e petabytes de dados. Normalmente, os dados vêm de várias fontes heterogêneas, podendo ser estruturados, semi-estruturados ou não estruturados.
Possíveis casos de uso
Os casos de uso de sincronização e replicação de arquivos locais incluem:
Dependências downstream ou upstream, por exemplo, se os aplicativos que estiverem sendo executados no mainframe e os aplicativos que estiverem sendo executados no Azure precisarem trocar dados por meio de arquivos.
Teste paralelo de aplicativos rehospedados ou reprojetados no Azure com aplicativos locais.
Aplicativos locais fortemente acoplados em sistemas que não podem ser imediatamente corrigidos ou modernizados.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Principais autores:
- Ashish Khandelwal | Gerente de Arquitetura de Engenharia Principal
- Nithish Aruldoss | Arquiteto de Engenharia
Para ver perfis não públicos do LinkedIn, entre no LinkedIn.
Próximas etapas
- Para obter mais informações, entre em contato com a equipe de engenharia de dados do Microsoft SQL.
- Guias de migração de Banco de Dados do Azure