Compartilhar via

Migração de dados

Um aspecto fundamental da migração de computação de alto desempenho é garantir a migração de dados perfeita. Mover dados mais próximos dos nós de computação do ambiente na nuvem é essencial para atender às necessidades de taxa de transferência e IOPS. A migração tranquila de dados requer uma abordagem estratégica e utilitários confiáveis para assegurar que os dados sejam transferidos de maneira segura e confiável.

Sua estratégia de migração de dados deve:

  • Manter toda a estrutura de arquivos e diretórios existente da origem para o destino.
  • Manter todos os metadados relacionados aos arquivos, incluindo propriedade de usuário e grupo, permissões, tempo de modificação e tempo de acesso.
  • Relatar os resultados da ferramenta de migração ou cópia de dados.
  • Implementar um processo de reinicialização da migração de dados.

Esta parte do guia aborda as necessidades, as ferramentas, os serviços e as práticas recomendadas associadas à migração de dados.

Defina as necessidades da migração de dados

  • Integridade dos dados:

    • Garanta que todos os arquivos e diretórios mantenham sua estrutura e metadados originais durante o processo de migração.

  • Segurança:

    • Mantenha a segurança dos dados durante todo o processo de migração usando métodos de transferência criptografados e controles de acesso seguros.

  • Desempenho:

    • Otimize o processo de migração de dados para lidar com grandes volumes de dados de forma eficiente, minimizando o tempo de inatividade e interrupções.

Ferramentas e serviços

  • Azure Data Box:

    • Use o Azure Data Box para transferências de dados offline em grande escala.
    • Implantar o dispositivo Azure Data Box para transferir grandes quantidades de dados para o Azure de forma rápida e segura.
    • Configure e gerencie transferências de dados através do portal Azure.

  • AzCopy:

    • Use o AzCopy para transferência de dados via linha de comando.
    • Realize transferências de dados de alto desempenho e confiáveis entre armazenamento local e Armazenamento de Blobs do Azure, Arquivos do Azure e Armazenamento de Tabelas do Azure.
    • Suporte a modos de transferência síncronos e assíncronos.

Rsync:

  • Use o rsync para transferência de dados eficiente e segura entre armazenamento local e armazenamento do Azure.
  • Manter a estrutura de arquivos e diretórios e os metadados dos arquivos durante a transferência.
  • Utilize as opções do rsync para garantir a integridade dos dados e a eficiência da transferência.

Melhores práticas para migração de dados

  • Planejar e testar:

    • Planeje cuidadosamente sua estratégia de migração de dados, incluindo a seleção de ferramentas (AzCopy, rsync) e armazenamento de destino (Armazenamento de Blobs do Azure, Azure NetApp Files, Lustre Gerenciado do Azure).
    • Realize migrações de teste com um subconjunto de dados para validar o processo e garantir que as ferramentas e configurações funcionem conforme o esperado.

  • Manter a integridade dos dados:

    • Use opções no AzCopy e rsync que preservem os metadados dos arquivos (permissões, carimbos de data/hora, propriedade).
    • Verifique a integridade dos dados migrados comparando somas de verificação ou usando ferramentas de verificação internas.

  • Otimizar o desempenho:

    • Comprimir os dados durante a transferência (usando a opção -z do rsync) para reduzir o uso de largura de banda.
    • Use transferências paralelas no AzCopy para aumentar a taxa de transferência e reduzir o tempo de migração.

  • Transferências de dados seguras:

    • Criptografe os dados durante a transferência para protegê-los contra acesso não autorizado. Use opções de transferência segura no AzCopy e rsync.
    • Garanta que os controles de acesso e permissões estejam configurados corretamente nos ambientes de origem e destino.

  • Monitorar e relatar:

    • Monitore continuamente o processo de migração de dados para detectar quaisquer problemas antecipadamente.
    • Gere e revise relatórios detalhados do AzCopy e rsync para garantir que todos os dados foram migrados com sucesso e para identificar quaisquer erros ou discrepâncias.

Exemplo de etapas para migração de dados

Esta seção descreve as etapas para usar o Azure Data Box, AzCopy e rsync para transferir dados do armazenamento local para o Azure. Inclui instruções detalhadas para implantar e configurar o Azure Data Box, instalar e usar o AzCopy para transferência de dados e configurar e usar o rsync para garantir uma migração de dados segura e eficiente.

  1. Usando o Azure Data Box:

    • Implantar o Azure Data Box:

      • Navegue até o portal Azure e solicite um Azure Data Box.
      • Siga as instruções para configurar o dispositivo Azure Data Box em seu local.
      • Copie os dados para o Azure Data Box e envie-o de volta para o Azure.

    • Configurar a transferência de dados:

      • Uma vez que o Azure Data Box chegue ao data center do Azure, os dados são carregados para sua conta de armazenamento especificada.
      • Verifique o status e a integridade da transferência de dados através do portal Azure.

  2. Usando o AzCopy:

    • Instalar o AzCopy:

      • Baixar e instalar o AzCopy em seu servidor local.
      • Configure o AzCopy com as permissões necessárias para acessar sua conta de armazenamento do Azure.

    • Realizar a transferência de dados:

      • Use comandos AzCopy para transferir dados do armazenamento local para o Armazenamento de Blobs do Azure.

      • Exemplo de comando para transferência de dados:

        azcopy copy 'https://<storage_account>.blob.core.windows.net/<container>/<path>' '<local_path>' --recursive

    Observação

    Para informações detalhadas sobre o AzCopy, visite Introdução ao AzCopy.

  3. Usando o rsync:

    • Instalar o rsync:

      • Garanta que o rsync esteja instalado em seu servidor local. A maioria das distribuições Linux inclui rsync por padrão.

      • Instale o rsync em seu servidor se ainda não estiver instalado:

        sudo apt-get install rsync  # For Debian-based systems
sudo yum install rsync      # For Red Hat-based systems

    • Realizar a transferência de dados:

      • Use o rsync para transferir dados do armazenamento local para o armazenamento do Azure.

      • Exemplo de comando para transferência de dados:

        rsync -avz /path/to/local/data/ user@remote:/path/to/azure/data/

      • Opções explicadas:

        • -a: Modo de arquivamento: preserva permissões, carimbos de data/hora, links simbólicos e outros metadados.
        • -v: Modo detalhado: fornece uma saída detalhada do processo de transferência.
        • -z: Comprime os dados durante a transferência para reduzir o uso de largura de banda.

      Observação

      Para exemplos usando Rsync, visite exemplos de rsync.

Exemplo de implementação da migração de dados

Script de migração de dados usando AzCopy:

#!/bin/bash

# Define storage account and container
storage_account="<storage_account_name>"
container_name="<container_name>"
local_path="<local_path>"

# Perform data transfer using AzCopy
azcopy copy "https://$storage_account.blob.core.windows.net/$container_name" "$local_path" --recursive

# Verify transfer and generate report
azcopy jobs show --latest > migration_report.txt

Script de migração de dados usando rsync:

#!/bin/bash

# Define variables
local_path="/path/to/local/data"
remote_user="user"
remote_host="remote"
remote_path="/path/to/azure/data/"

# Perform data transfer using rsync
rsync -avz $local_path $remote_user@$remote_host:$remote_path

# Verify transfer and generate report
rsync -avz --dry-run $local_path $remote_user@$remote_host:$remote_path > migration_report.txt

Recursos