Migración de datos de HPC a Azure

Un aspecto clave de la migración informática de alto rendimiento es garantizar una migración de datos sin problemas. Acercar los datos a los nodos informáticos del entorno en la nube es esencial para satisfacer las necesidades de rendimiento e IOPS. La migración sin problemas de datos requiere un enfoque estratégico y utilidades confiables para llevar a cabo de forma segura y confiable.

La estrategia de migración de datos debe:

  • Conservar toda la estructura de archivos y directorios existente del origen al destino.
  • Conservar todos los metadatos relacionados con los archivos, incluidos la propiedad del usuario y el grupo, los permisos, la hora de modificación y la hora de acceso.
  • Informar sobre los resultados de la herramienta de migración o copia de datos.
  • Implementar un proceso de reinicio de migración de datos.

En esta parte de la guía se tratan las necesidades, herramientas, servicios y procedimientos recomendados asociados a la migración de datos.

Definición de las necesidades de migración de datos

  • Integridad de datos:

    • Asegúrese de que todos los archivos y directorios conservan su estructura y metadatos originales durante el proceso de migración.

  • Seguridad:

    • Mantenga la seguridad de los datos a lo largo del proceso de migración mediante métodos de transferencia cifrados y controles de acceso seguros.

  • Rendimiento:

    • Optimice el proceso de migración de datos para controlar grandes volúmenes de datos de forma eficaz, minimizando el tiempo de inactividad y las interrupciones.

Herramientas y servicios

  • Azure Data Box:

    • Use Azure Data Box para transferencias de datos sin conexión a gran escala.
    • Implemente el dispositivo Data Box para transferir grandes cantidades de datos a Azure de forma rápida y segura.
    • Configure y administre las transferencias de datos a través de Azure Portal.

  • AzCopy:

    • Use AzCopy para transferir datos desde la línea de comandos.
    • Realice una transferencia de datos fiable y de alto rendimiento entre el almacenamiento local y Azure Blob Storage, Azure Files y Azure Table Storage.
    • Admite modos de transferencia sincrónicos y asincrónicos.

Rsync:

  • Use rsync para una transferencia de datos eficaz y segura entre el almacenamiento local y Azure Storage.
  • Conserve la estructura de archivos y directorios y los metadatos del archivo durante la transferencia.
  • Use opciones rsync para garantizar la integridad de los datos y la eficacia de la transferencia.

Procedimientos recomendados para la migración de datos

  • Planificación y pruebas:

    • Planee exhaustivamente la estrategia de migración de datos, incluida la selección de herramientas (AzCopy, rsync) y el almacenamiento de destino (Blob Storage, Azure NetApp Files, Azure Managed Lustre).
    • Realice migraciones de prueba con un subconjunto de datos para validar el proceso y asegurarse de que las herramientas y las configuraciones funcionan según lo previsto.

  • Conservación de la integridad de los datos:

    • Use opciones en AzCopy y rsync que conserven los metadatos de los archivos (permisos, marcas de tiempo, propiedad).
    • Compruebe la integridad de los datos migrados comparando las sumas de comprobación o usando las herramientas de verificación integradas.

  • Optimización del rendimiento:

    • Comprima los datos durante la transferencia (mediante la opción -z de rsync) para reducir el uso del ancho de banda.
    • Use transferencias paralelas en AzCopy para aumentar el rendimiento y reducir el tiempo de migración.

  • Transferencias de datos seguras:

    • Cifre los datos durante la transferencia para protegerlos del acceso no autorizado. Use opciones de transferencia segura en AzCopy y rsync.
    • Asegúrese de que los controles de acceso y los permisos estén configurados correctamente en los entornos de origen y de destino.

  • Supervisión e informes:

    • Supervise continuamente el proceso de migración de datos para detectar a tiempo cualquier problema.
    • Genere y revise informes detallados de AzCopy y rsync para garantizar que todos los datos se han migrado correctamente e identificar cualquier error o discrepancia.

Pasos de ejemplo para la migración de datos

En esta sección se describen los pasos para usar Azure Data Box, AzCopy y rsync para transferir datos desde el almacenamiento local a Azure. Incluye instrucciones detalladas para implementar y configurar Azure Data Box, instalar y usar AzCopy para la transferencia de datos, y configurar y usar rsync para garantizar una migración de datos segura y eficaz.

  1. Uso de Azure Data Box:

    • Implementación de Azure Data Box:

      • Vaya al portal de Azure y solicite un Azure Data Box.
      • Siga las instrucciones para configurar el dispositivo Data Box en la ubicación local.
      • Copie los datos en Data Box y vuelva a enviarlos a Azure.

    • Configuración de la transferencia de datos:

      • Una vez que Data Box llega al centro de datos de Azure, los datos se cargan en la cuenta de almacenamiento especificada.
      • Compruebe el estado y la integridad de la transferencia de datos a través de Azure Portal.

  2. Uso de AzCopy:

    • Instalación de AzCopy:

      • Descargue e instale AzCopy en el servidor local.
      • Configure AzCopy con los permisos necesarios para acceder a la cuenta de Azure Storage.

    • Realización de una transferencia de datos:

      • Use comandos de AzCopy para transferir datos desde el almacenamiento local a Azure Blob Storage.

      • Comando de ejemplo para la transferencia de datos:

        azcopy copy 'https://<storage_account>.blob.core.windows.net/<container>/<path>' '<local_path>' --recursive

    Nota:

    Para obtener información detallada sobre AzCopy, visite Introducción a AzCopy.

  3. Uso de rsync:

    • Instalación de rsync:

      • Asegúrese de que rsync está instalado en el servidor local. La mayoría de las distribuciones de Linux incluyen rsync de forma predeterminada.

      • Instale rsync en el servidor si aún no está instalado:

        sudo apt-get install rsync  # For Debian-based systems
sudo yum install rsync      # For Red Hat-based systems

    • Realización de una transferencia de datos:

      • Use rsync para transferir datos desde el almacenamiento local a Azure Storage.

      • Comando de ejemplo para la transferencia de datos:

        rsync -avz /path/to/local/data/ user@remote:/path/to/azure/data/

      • Opciones explicadas:

        • -a: modo de archivo: conserva permisos, marcas de tiempo, vínculos simbólicos y otros metadatos.
        • -v: modo Verbose: proporciona una salida detallada del proceso de transferencia.
        • -z: comprime los datos durante la transferencia para reducir el uso del ancho de banda.

      Nota:

      Para obtener ejemplos de uso de Rsync, visite ejemplos de rsync.

Implementación de la migración de datos de ejemplo

Script de migración de datos mediante AzCopy:

#!/bin/bash

# Define storage account and container
storage_account="<storage_account_name>"
container_name="<container_name>"
local_path="<local_path>"

# Perform data transfer using AzCopy
azcopy copy "https://$storage_account.blob.core.windows.net/$container_name" "$local_path" --recursive

# Verify transfer and generate report
azcopy jobs show --latest > migration_report.txt

Script de migración de datos mediante rsync:

#!/bin/bash

# Define variables
local_path="/path/to/local/data"
remote_user="user"
remote_host="remote"
remote_path="/path/to/azure/data/"

# Perform data transfer using rsync
rsync -avz $local_path $remote_user@$remote_host:$remote_path

# Verify transfer and generate report
rsync -avz --dry-run $local_path $remote_user@$remote_host:$remote_path > migration_report.txt

Recursos

  • Last updated on