Editar

Compartilhar via


Mover os dados de arquivos de sistemas mainframe para o Azure

Fábrica de dados do Azure
Armazenamento do Azure
Arquivos do Azure
Armazenamento do Blobs do Azure
Azure Data Box

Esta arquitetura de referência mostra como mover dados de sistemas mainframe e midrange para o Azure. Nela, os dados arquivados são fornecidos e usados apenas no sistema mainframe. O Azure é usado somente como mídia de armazenamento.

Arquitetura

Diagrama que mostra uma arquitetura para arquivamento de dados de mainframe no Azure.

Baixe um Arquivo Visio dessa arquitetura.

Para decidir qual método usar para mover dados entre o sistema mainframe e o armazenamento do Azure, considere a frequência de recuperação de dados e a quantidade de dados. Soluções da Microsoft e de terceiros estão disponíveis:

  • Soluções da Microsoft.

    • O conector FTP do Azure Data Factory.
    • A atividade de cópia do Data Factory, que pode copiar dados para qualquer solução de armazenamento do Azure.
    • JCL de mainframe para Blob do Azure usando Java, uma solução personalizada para mover dados do sistema mainframe para o Azure via JCL (Job Control Language). Para obter mais informações, entre em contato com datasqlninja@microsoft.com.
  • Soluções de arquivamento de terceiros. Soluções que você pode integrar facilmente a sistemas mainframe e midrange e a serviços do Azure.

Workflow

  1. O conector FTP do Azure Data Factory move dados do sistema mainframe para o Armazenamento de Blobs do Azure. Esta solução requer uma máquina virtual (VM) intermediária na qual esteja instalado um Integration Runtime auto-hospedado.

  2. A atividade de cópia do Data Factory se conecta ao banco de dados Db2 para copiar dados para o armazenamento do Azure. Esta solução também requer uma VM intermediária na qual esteja instalado um Integration Runtime auto-hospedado.

  3. A solução personalizada JCL de mainframe da Microsoft para Blob do Azure usando Java move dados entre o sistema mainframe e o Armazenamento de Blobs e vice-versa. Esta solução é baseada em Java e executada no Unix System Services no mainframe. Você pode obter esta solução entrando em contato com datasqlninja@microsoft.com.

    1. Você precisa fazer uma configuração única da solução. Essa configuração envolve obter as chaves de acesso do Armazenamento de Blobs e mover os artefatos necessários para o sistema mainframe.

    2. Enviar uma JCL move arquivos de/para o mainframe e o Armazenamento de Blobs.

    3. Os arquivos são armazenados em formato binário no Azure. Você pode configurar a solução personalizada para converter EBCDIC em ASCII para tipos de dados simples.

  4. Se preferir, o Azure Data Box pode ajudar você a transferir fisicamente os dados do mainframe para o Azure. Essa opção é apropriada quando há uma grande quantidade de dados que precisa ser migrada e os métodos de transmissão online levam muito tempo. (Por exemplo, se a migração demorar semanas.)

  5. A interação fácil com o ambiente de mainframe ou midrange é propiciada por soluções de arquivamento de terceiros .

    Essas soluções interagem com o mainframe e lidam com vários parâmetros dele, como tipos de dados, tipos de registro, tipos de armazenamento e métodos de acesso. Elas atuam como uma ponte entre o Azure e o mainframe. Algumas soluções de terceiros conectam uma unidade de armazenamento ao mainframe e ajudam a transferir dados para o Azure.

  6. Os dados são sincronizados periodicamente e arquivados por meio da solução de arquivamento de terceiros. Depois que os dados ficam disponíveis por meio da solução de terceiros, a solução pode enviá-los facilmente para o Azure usando os conectores disponíveis.

  7. Os dados são armazenados no Azure.

  8. Conforme necessário, os dados são recuperados do Azure de volta para os sistemas mainframe ou midrange.

Componentes

  • O armazenamento do Azure fornece armazenamento em nuvem altamente seguro e massivamente escalonável para seus dados, aplicativos e cargas de trabalho. Os Arquivos do Azure fornecem: compartilhamentos de arquivos em nuvem sem servidor, simples e seguros. Esses componentes são usados para sincronização e retenção de dados.
  • O Azure Data Factory é um serviço de integração de dados híbrido que você pode usar para criar, agendar e orquestrar fluxos de trabalho de ETL e ELT.
  • O Azure Data Box é um dispositivo físico que você pode usar para mover dados locais para o Azure.

Alternativas

Você pode usar o método clássico de mover os dados do sistema mainframe ou midrange via FTP. O Data Factory fornece um conector FTP que você pode usar para arquivar os dados no Azure.

Detalhes do cenário

Sistemas mainframe e midrange geram, processam e armazenam enormes quantidades de dados. Quando esses dados envelhecem, normalmente deixam de ser úteis. No entanto, muitas vezes as regras de conformidade e regulamentação exigem que eles fiquem armazenados por um determinado número de anos, por isso o arquivamento é fundamental. Arquivando esses dados, você pode reduzir custos e otimizar recursos. O arquivamento de dados também ajuda na análise de dados e fornece um histórico dos dados.

Possíveis casos de uso

O arquivamento de dados na nuvem pode ajudar você a:

  • Liberar recursos de armazenamento em sistemas mainframe e midrange.
  • Otimizar o desempenho de consultas armazenando apenas dados relevantes no sistema ativo.
  • Reduzir custos operacionais armazenando dados de um modo mais econômico.
  • Usar dados arquivados para análise a fim de criar novas oportunidades e tomar decisões melhores para os negócios.

Recomendações

Dependendo de como você usa os dados, convém convertê-los para ASCII de binário e, depois, carregá-los no Azure. Isso facilita a análise no Azure.

Considerações

  • Os tipos de dados complexos no mainframe devem ser processados durante o arquivamento.
  • Os especialistas em aplicativos podem identificar quais dados precisam ser arquivados.
  • Para determinar o tempo entre as sincronizações, considere fatores como importância para os negócios, necessidades de conformidade e frequência de acesso aos dados.

Soluções de arquivamento de terceiros

Algumas soluções de terceiros estão disponíveis no Azure Marketplace. Cada uma dessas soluções requer uma configuração exclusiva. Configurá-las é uma das principais tarefas da implementação dessa arquitetura.

Armazenamento do Azure

O Azure tem uma variedade de opções para diferentes requisitos técnicos e de aplicativo, como acesso frequente ou pouco frequente e dados estruturados ou não estruturados. Você pode definir várias configurações de ciclo de vida do armazenamento no armazenamento do Azure. Você pode definir as regras para gerenciar o ciclo de vida. Para obter uma visão geral, consulte Configurar uma política de gerenciamento do ciclo de vida.

Recall de dados

O recall de dados arquivados é um aspecto importante das soluções de arquivamento. Poucas soluções de terceiros oferecem uma experiência perfeita de recall de dados arquivados. É tão simples quanto executar um comando local. O agente de terceiros obtém os dados do Azure automaticamente e os ingere de volta no sistema mainframe.

Otimização de custo

Use a Calculadora de preços do Azure para estimar o custo da implantação dessa solução.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Autor principal:

Outros colaboradores:

Próximas etapas

Para obter mais informações, entre em contato com Engenharia de Dados do Azure – Modernização de Mainframe/Midrange.

Confira os seguintes recursos: