Esta arquitetura de referência mostra como mover dados de sistemas mainframe e midrange para o Azure. Nessa arquitetura, os dados arquivados são atendidos e usados apenas no sistema de mainframe. O Azure é usado apenas como um meio de armazenamento.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Para decidir qual método usar para mover dados entre o sistema de mainframe e o armazenamento do Azure, considere a frequência de recuperação de dados e a quantidade de dados. Soluções da Microsoft e de terceiros estão disponíveis:
Soluções Microsoft.
- O conector FTP do Azure Data Factory.
- A atividade de cópia do Data Factory, que pode copiar dados para qualquer solução de armazenamento do Azure.
- JCL de mainframe para Blob do Azure usando Java, uma solução personalizada para mover dados do sistema de mainframe para o Azure por meio da JCL (Job Control Language). Para obter mais informações, contacte datasqlninja@microsoft.com.
Soluções de arquivamento de terceiros. Soluções que você pode integrar facilmente com sistemas de mainframe, sistemas midrange e serviços do Azure.
Fluxo de Trabalho
O conector FTP do Azure Data Factory move dados do sistema de mainframe para o Armazenamento de Blobs do Azure. Esta solução requer uma máquina virtual (VM) intermediária na qual um tempo de execução de integração auto-hospedado está instalado.
A atividade de cópia do Data Factory se conecta ao banco de dados DB2 para copiar dados para o armazenamento do Azure. Essa solução também requer uma VM intermediária na qual um tempo de execução de integração auto-hospedado está instalado.
A JCL de mainframe da Microsoft para o Blob do Azure usando a solução personalizada Java move dados entre o sistema de mainframe e o Armazenamento de Blob e vice-versa. Esta solução é baseada em Java e roda em Unix System Services no mainframe. Pode obter esta solução contactando datasqlninja@microsoft.com.
Você precisa concluir uma configuração única da solução. Essa configuração envolve obter as chaves de acesso do Armazenamento de Blob e mover os artefatos necessários para o sistema de mainframe.
Um envio JCL move arquivos de e para o mainframe e o armazenamento de Blob.
Os arquivos são armazenados em formato binário no Azure. Você pode configurar a solução personalizada para converter EBCDIC em ASCII para tipos de dados simples.
Opcionalmente, o Azure Data Box pode ajudá-lo a transferir fisicamente dados de mainframe para o Azure. Esta opção é adequada quando é necessário migrar uma grande quantidade de dados e os métodos de transmissão em linha são demasiado longos. (Por exemplo, se a migração demorar semanas.)
A fácil interação com o ambiente de mainframe ou midrange é fornecida por soluções de arquivamento de terceiros.
Essas soluções interagem com o mainframe e lidam com vários parâmetros de mainframe, como tipos de dados, tipos de registro, tipos de armazenamento e métodos de acesso. Eles servem como uma ponte entre o Azure e o mainframe. Algumas soluções de terceiros conectam uma unidade de armazenamento ao mainframe e ajudam a transferir dados para o Azure.
Os dados são periodicamente sincronizados e arquivados através da solução de arquivamento de terceiros. Depois que os dados estiverem disponíveis por meio da solução de terceiros, a solução poderá enviá-los facilmente para o Azure usando conectores disponíveis.
Os dados são armazenados no Azure.
Conforme necessário, os dados são recuperados do Azure de volta para os sistemas de mainframe ou midrange.
Componentes
- O armazenamento do Azure fornece armazenamento em nuvem altamente escalável e altamente seguro para seus dados, aplicativos e cargas de trabalho. O Azure Files fornece compartilhamentos de arquivos na nuvem simples e seguros sem servidor. Esses componentes são usados para sincronização e retenção de dados.
- O Azure Data Factory é um serviço de integração de dados híbrido que você pode usar para criar, agendar e orquestrar seus fluxos de trabalho ETL e ELT.
- O Azure Data Box é um dispositivo físico que você pode usar para mover dados locais para o Azure.
Alternativas
Você pode usar o método clássico de mover os dados para fora do mainframe ou do sistema midrange via FTP. O Data Factory fornece um conector FTP que você pode usar para arquivar os dados no Azure.
Detalhes do cenário
Os sistemas mainframe e midrange geram, processam e armazenam grandes quantidades de dados. Quando esses dados ficam velhos, normalmente não são úteis. No entanto, as regras de conformidade e regulatórias às vezes exigem que esses dados sejam armazenados por um determinado número de anos, portanto, arquivá-los é fundamental. Ao arquivar esses dados, você pode reduzir custos e otimizar recursos. O arquivamento de dados também ajuda com a análise de dados e fornece um histórico de seus dados.
Potenciais casos de utilização
O arquivamento de dados na nuvem pode ajudá-lo a:
- Libere recursos de armazenamento em mainframe e sistemas midrange.
- Otimize o desempenho de consultas armazenando apenas dados relevantes no sistema ativo.
- Reduza os custos operacionais armazenando dados de forma mais econômica.
- Use dados arquivados para análise para criar novas oportunidades e tomar melhores decisões de negócios.
Recomendações
Dependendo de como você usa os dados, convém convertê-los em ASCII de binário e, em seguida, carregá-los no Azure. Isso facilita a análise no Azure.
Considerações
- Tipos de dados complexos no mainframe devem ser manipulados durante o arquivamento.
- Os especialistas no assunto do aplicativo podem identificar quais dados precisam ser arquivados.
- Para determinar a quantidade de tempo entre as sincronizações, considere fatores como a criticidade dos negócios, as necessidades de conformidade e a frequência de acesso aos dados.
Soluções de arquivamento de terceiros
Algumas soluções de terceiros estão disponíveis no Azure Marketplace. Cada uma dessas soluções requer uma configuração exclusiva. Configurar essas soluções é uma das principais tarefas da implementação dessa arquitetura.
Armazenamento do Azure
O Azure tem uma variedade de opções para diferentes requisitos técnicos e de aplicativos, como acesso frequente versus pouco frequente e dados estruturados versus não estruturados. Você pode configurar várias configurações de ciclo de vida de armazenamento no armazenamento do Azure. Você pode definir as regras para gerenciar o ciclo de vida. Para obter uma visão geral, consulte Configurar uma política de gerenciamento do ciclo de vida.
Recolha de dados
A recuperação de dados arquivados é um aspeto importante das soluções de arquivamento. Poucas das soluções de terceiros fornecem uma experiência perfeita para recuperar dados arquivados. É tão simples como executar um comando no local. O agente de terceiros obtém automaticamente os dados do Azure e os ingere de volta no sistema de mainframe.
Otimização de custos
Use a calculadora de preços do Azure para estimar o custo de implementação dessa solução.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Pratim Dasgupta - Brasil | Arquiteto de Engenharia
Outros contribuidores:
- Mick Alberts - Brasil | Redator Técnico
- Ashish Khandelwal - Brasil | Gerente de Arquitetura de Engenharia Sênior
- Ramanath Nayak - Brasil | Arquiteto de Engenharia
Próximos passos
Para obter mais informações, entre em contato com Azure Data Engineering - Mainframe/Midrange Modernization.
Consulte estes recursos:
- Guias de Migração de Base de Dados do Azure
- O que é o Azure Data Factory?
- Introdução ao Armazenamento do Azure
- O que são os Ficheiros do Azure?
- O que é o Azure Data Box?
- Explore os serviços de Armazenamento do Azure