Compartir a través de


Objetivos de escala y rendimiento de Azure Storage Mover

El rendimiento de un servicio de migración de almacenamiento es un aspecto clave para cualquier migración. En este artículo, compartimos los resultados de las pruebas de rendimiento, aunque dado que Azure Storage Mover es un nuevo servicio, la experiencia puede variar.

Objetivos de escalabilidad

Azure Storage Mover ha sido probado con 500 millones de elementos de espacio de nombres (archivos y carpetas), migrados de un origen compatible a un destino compatible en Azure.

Cómo se prueba

Azure Storage Mover es un servicio en la nube híbrida. Los servicios híbridos tienen un componente de servicio en la nube y un componente de infraestructura que el administrador del servicio ejecuta dentro de su entorno corporativo. Para Storage Mover, ese componente híbrido es un agente de migración. Los agentes son máquinas virtuales, se ejecutan en un host cerca del almacenamiento de origen.

Diagrama que ilustra la ruta de acceso de una migración mostrando dos flechas. La primera flecha representa los datos que viajan a una cuenta de almacenamiento desde el origen o agente y una segunda flecha representa solo la información de administración o control al recurso o servicio del mover de almacenamiento.

Solo el agente es una parte relevante del servicio para las pruebas de rendimiento. Para omitir los problemas de privacidad y rendimiento, los datos viajan directamente desde el agente de Storage Mover al almacenamiento de destino en Azure. Solo se envían mensajes de control y telemetría al servicio en la nube.

Líneas base de rendimiento

Estos resultados de las pruebas se crean en condiciones ideales. Están diseñados como punto de referencia de los componentes en los que el servicio Storage Mover y el agente pueden influenciar directamente. Las diferencias en los dispositivos de origen, los discos y las conexiones de red no se consideran en esta prueba. El rendimiento real varía.

La migración del montaje SMB a recursos compartidos de archivos de Azure fue probada de la siguiente manera:

En la tabla siguiente se describen las características de los entornos de prueba que generaron los resultados de las pruebas de rendimiento de un montaje SMB en un recurso compartido de archivos de Azure.

Prueba n.º No. de archivos Peso total de los archivos Tamaño de archivo Estructura de carpetas
1 12 millones 12 GB 1 KB cada uno 12 carpetas, cada una con 100 subcarpetas que contienen 10 000 archivos
2 30 20 GB 1 carpeta
3 1 millón 100 GB 100 KB cada uno 1000 carpetas, cada una con 1000 archivos
4 1 4 TB
5 117 millones 117 GB 1 KB cada uno 117 carpetas, cada una con 100 subcarpetas que contienen 10 000 archivos
6 1 1 TB (terabyte)
7 3,3 millones 45 GB 13 KB cada uno 200 000 carpetas, cada una contiene 16\17 archivos
8 50 millones 1 TB (terabyte) 20 KB cada uno 2.940.000 carpetas, cada una contiene 17 archivos
9 100 millones 2 terabytes (TB) 20 KB cada uno 580 000 carpetas, cada una contiene 17 archivos

Las distintas configuraciones de recursos del agente se prueban en los puntos de conexión de SMB:

  1. Minspec: 4 CPU / 8 GB RAM 4 núcleos de CPU virtuales a 2,7 GHz cada uno y 8 GiB de memoria (RAM) es la especificación mínima para un agente de Azure Storage Mover.

    Prueba n.º Tiempo de ejecución Tiempo de escaneo
    6 16 min, 42 s 1,2 segundos
    7 55 minutos, 4 segundos 1 min, 17 s
    8
    9
  2. Bootspec: 8 CPU/ 16 GiB RAM 8 núcleos de CPU virtuales a 2,7 GHz cada uno y 16 GiB de memoria (RAM) es la especificación mínima para un agente de Azure Storage Mover.

    Resultados: cuenta de almacenamiento estándar

    Prueba n.º Tiempo de ejecución Tiempo de escaneo
    1 15 h, 59 minutos 2 h, 36 min, 34 s
    2 1 min, 54 s 3,34 s
    3 1 h, 19 min, 27 s 57,62 s
    4 1 h, 5 minutos, 57 s 2,89 segundos

    Resultados: cuenta de almacenamiento estándar con archivos grandes habilitados

    Prueba n.º Tiempo de ejecución Tiempo de escaneo
    1 3 h, 51 min, 31 s 41 min y 45 s
    5 25 h, 47 minutos 23 h, 35 minutos
    6 11 min, 11 seg 0,7 segundos
    7 55 minutos, 10 segundos 1 minuto, 3 segundos
    8
    9

    Resultados: cuenta de Premium Storage

    Prueba n.º Tiempo de ejecución Tiempo de escaneo
    1 2 h, 35 min, 14 s 24 min, 46 s
    5 23 h, 34 minutos 21 h, 34 minutos

Revise los recursos del agente recomendados para el ámbito de migración en el artículo de implementación del agente.

¿Por qué varía el rendimiento de la migración?

Fundamentalmente, la calidad de la red y la capacidad de procesar archivos, carpetas y sus metadatos afectan a la velocidad de migración.

En las dos áreas principales de red y proceso, varios aspectos tienen un impacto:

  • Escenario de migración
    La copia en un destino vacío es más rápida en comparación con un destino con contenido. Este comportamiento se debe a que el motor de migración evalúa no solo el origen, sino también el destino para tomar decisiones de copia.
  • Recuento de elementos de espacio de nombres
    La migración de 1 GiB de archivos pequeños tarda más tiempo que la migración de 1 GiB de archivos más grandes.
  • Forma de espacio de nombres
    Una jerarquía de carpetas anchas se presta a un procesamiento más paralelo que una estructura de directorio estrecha o profunda. La relación de archivos a carpetas también desempeña un papel.
  • Renovación del espacio de nombres
    Cuántos archivos, carpetas y metadatos cambian entre dos ejecuciones de copia del mismo origen al mismo destino.
  • Red
    • ancho de banda y latencia entre el agente de origen y migración
    • ancho de banda y latencia entre el agente de migración y el destino en Azure
  • Recursos del agente de migración
    La cantidad de memoria (RAM), el número de núcleos de proceso e incluso la cantidad de capacidad de disco local disponible en el agente de migración puede tener un impacto profundo en la velocidad de migración. Más recursos de proceso ayudan a optimizar el uso del ancho de banda disponible, especialmente cuando es necesario procesar grandes cantidades de archivos más pequeños en una migración.

Por ejemplo, una migración tradicional requiere una estrategia para minimizar el tiempo de inactividad de la carga de trabajo que depende del almacenamiento que se va a migrar. Azure Storage Mover admite esta estrategia, denominada migración convergente y de n pasos.

En esta estrategia, se copia del origen al destino varias veces. Durante estas iteraciones de copia, el origen permanece disponible para lectura y escritura en la carga de trabajo. Justo antes de la iteración de copia final, se desconecta el origen. Se espera que la copia final finalice más rápido que la primera copia que hagas y que demore aproximadamente lo mismo que la copia inmediatamente anterior. Después de la copia final, la carga de trabajo se transfiere para usar el nuevo almacenamiento de destino en Azure y vuelve a estar disponible para su uso.

Durante la primera copia del origen al destino, es probable que el destino esté vacío y todo el contenido de origen debe viajar al destino. Como resultado, es probable que la primera copia esté más restringida por los recursos de red disponibles.

Al final de una migración, después de copiar el origen en el destino varias veces, solo se modifican algunos archivos, carpetas y metadatos después de la última copia. En esta última iteración de copia, comparando cada archivo de origen y destino para ver si es necesario actualizarlo, requiere más recursos de proceso y menos recursos de red. Las ejecuciones de copia en esta fase tardía de una migración suelen estar más limitadas por la capacidad de cálculo. El recurso adecuado del agente de Storage Mover se vuelve cada vez más importante.

Pasos siguientes

Los artículos siguientes pueden ayudar con una implementación correcta de Azure Storage Mover.