Tutorial: Copia de datos a Azure Data Box Heavy mediante SMB

Artículo
04/08/2024

Copia de datos en Azure Data Box Heavy

Importante

Azure Data Box ahora admite la asignación de niveles de acceso en el nivel de blob. Los pasos incluidos en este tutorial reflejan el proceso de copia de datos actualizado y son específicos de los blobs en bloques.

La información contenida en esta sección se aplica a los pedidos realizados después del 1 de abril de 2024.

En este tutorial se describe cómo conectarse al equipo host y copiar datos desde él mediante la interfaz de usuario web local.

En este tutorial, aprenderá a:

Conexión a un dispositivo Data Box Heavy
Copia de datos a Data Box Heavy

Puede copiar datos en su instancia de Data Box desde el servidor de origen a través de SMB, NFS, REST, el servicio de copia de datos o en discos administrados.

En cada caso, asegúrese de que los nombres de los recursos compartidos, de las carpetas y el tamaño de los datos, sigan las directrices descritas en los límites de los servicios Azure Storage y Data Box Heavy.

Requisitos previos

Antes de comenzar, asegúrese de que:

Completa el Tutorial: Configuración de Azure Data Box Heavy.
Recibe tu dispositivo Data Box Heavy y el estado del pedido en el portal se actualiza a Entregado.
Tiene un equipo host con los datos que desea copiar en su dispositivo Data Box Heavy. El equipo host debe:
- Ejecutar un sistema operativo admitido.
- Estar conectado a una red de alta velocidad. Para obtener velocidades de copia más rápidas, se pueden utilizar dos conexiones de 40 GbE (una por nodo) en paralelo. Si no dispone de una conexión de 40 GbE, le recomendamos que tenga al menos dos conexiones de 10 GbE (una por nodo).

Conexión a recursos compartidos de Data Box Heavy

En función de la cuenta de almacenamiento seleccionada, Data Box Heavy crea hasta:

Tres recursos compartidos para cada cuenta de almacenamiento asociada (GPv1 y GPv2).
Un recurso compartido para Premium Storage.
Un recurso compartido para una cuenta de almacenamiento de blobs, que contiene una carpeta para cada uno de los cuatro niveles de acceso.

En la tabla siguiente se identifican los nombres de los recursos compartidos de Data Box a los que puedes conectarte y el tipo de datos cargados en la cuenta de almacenamiento de destino. También identifica la jerarquía de recursos compartidos y directorios en los que se copian los datos de origen.

Tipo de almacenamiento	Nombre del recurso compartido	Entidad de primer nivel	Entidad de segundo nivel	Entidad de tercer nivel
Blob en bloques	<storageAccountName>_BlockBlob	<\accessTier>	<\containerName>	<\blockBlob>
Blob en páginas	<\storageAccountName>_PageBlob	<\containerName>	<\pageBlob>
Almacenamiento de archivos	<\storageAccountName>_AzFile	<\fileShareName>	<\file>

No puedes copiar archivos directamente en la carpeta raíz de ningún recurso compartido de Data Box. En su lugar, crea carpetas dentro del recurso compartido de Data Box en función de tu caso de uso.

Los blobs en bloques admiten la asignación de niveles de acceso en el nivel de archivo. Al copiar archivos en el recurso compartido de blobs en bloques, el procedimiento recomendado es agregar nuevas subcarpetas dentro del nivel de acceso adecuado. Después de crear nuevas subcarpetas, continúa agregando archivos a cada subcarpeta según corresponda.

Se crea un nuevo contenedor para cualquier carpeta que resida en la raíz del recurso compartido de blobs en bloques. Cualquier archivo dentro de esa carpeta se copia en el nivel de acceso predeterminado de la cuenta de almacenamiento como un blob en bloques.

Para obtener más información sobre los niveles de acceso de blob, consulta Niveles de acceso para datos de blob. Para obtener información más detallada sobre los procedimientos recomendados del nivel de acceso, consulta Procedimientos recomendados para usar niveles de acceso de blobs.

En la tabla siguiente se muestra la ruta de acceso UNC a los recursos compartidos en tu Data Box y la correspondiente dirección URL de la ruta de acceso de Azure Storage donde se cargan los datos. La dirección URL final de la ruta de acceso de Azure Storage se puede derivar a partir de la ruta de acceso UNC al recurso compartido.

Tipos de Azure Storage	Recursos compartidos de Data Box
Blobs en bloques de Azure	Ruta de acceso UNC a recursos compartidos: `\\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt` Dirección URL de Azure Storage: `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt`
Blobs en páginas de Azure	Ruta de acceso UNC a recursos compartidos: `\\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd` Dirección URL de Azure Storage: `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd`
Azure Files	Ruta de acceso UNC a recursos compartidos: `\\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt` Dirección URL de Azure Storage: `https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt`

Los pasos para realizar la conexión mediante un cliente Windows o Linux son diferentes.

Nota

Siga los mismos pasos para conectarse a ambos nodos del dispositivo en paralelo.

Conexión en un sistema Windows

Si usa un equipo host Windows Server, realice los pasos siguientes para conectarse a su dispositivo Data Box Heavy.

El primer paso es autenticarse e iniciar sesión. Vaya a Connect and copy (Conectar y copiar). Haga clic en Get credentials (Obtener credenciales) para obtener las credenciales de acceso para los recursos compartidos asociados con la cuenta de almacenamiento.
En el cuadro de diálogo Access share and copy data (Acceder al recurso compartido y copiar datos), copie los valores de Username (Nombre de usuario) y Password (Contraseña) del recurso compartido. Haga clic en OK.
Para acceder a los recursos compartidos asociados con la cuenta de almacenamiento (databoxe2etest en el ejemplo siguiente) desde el equipo host, abra una ventana Comandos. En el símbolo del sistema, escriba:

net use \\<IP address of the device>\<share name> /u:<user name for the share>

Dependiendo del formato de los datos, las rutas de acceso de los recursos compartidos son las siguientes:
- Blob en bloques de Azure: \\10.100.10.100\databoxe2etest_BlockBlob
- Blob en páginas de Azure: \\10.100.10.100\databoxe2etest_PageBlob
- Azure Files: \\10.100.10.100\databoxe2etest_AzFile
Cuando se le solicite, escriba la contraseña del recurso compartido. El ejemplo siguiente se puede usar para conectarse al recurso compartido de BlockBlob en Data Box que tiene en la dirección IP 10.100.10.100.
```
net use \\10.100.10.100\databoxe2etest_BlockBlob /u:databoxe2etest
Enter the password for 'databoxe2etest' to connect to '10.100.10.100':
The command completed successfully.
```
Presione Windows + R. En la ventana Ejecutar, escriba \\<device IP address>. Haga clic en Aceptar para abrir el Explorador de archivos.

Ahora debería ver los recursos compartidos como carpetas. Ten en cuenta que en este ejemplo se usa el recurso compartido BlockBlob. En consecuencia, las cuatro carpetas que representan los cuatro niveles de acceso disponibles están presentes. Estas carpetas no están disponibles en otros recursos compartidos.

Cree siempre una carpeta para los archivos que se va a copiar en el recurso compartido y, después, copie los archivos en ella. Los archivos no se pueden copiar directamente en la carpeta raíz de la cuenta de almacenamiento. Las carpetas creadas en el recurso compartido PageBlob representan contenedores en los que los datos se cargan como blobs. Del mismo modo, las subcarpetas creadas dentro de las carpetas que representan los niveles de acceso del recurso compartido BlockBlob también representan un contenedor de almacenamiento de blobs. Las carpetas creadas en el recurso compartido de AzFile representan recursos compartidos de archivos.

Las carpetas creadas en la raíz del recurso compartido BlockBlob se crearán como contenedores de blobs. El nivel de acceso de estos contenedores se heredará de la cuenta de almacenamiento.

Conexión en un sistema Linux

Si usa un cliente Linux, utilice el siguiente comando para montar el recurso compartido SMB.

sudo mount -t nfs -o vers=2.1 10.126.76.172:/databoxe2etest_BlockBlob /home/databoxubuntuhost/databox

El parámetro vers es la versión de SMB que admite el host Linux. Conecte la versión adecuada en el comando anterior.

Para ver las versiones de SMB compatibles con Data Box Heavy, consulte Sistemas de archivos compatibles para clientes Linux.

Copia de datos a Data Box Heavy

Una vez que esté conectado a los recursos compartidos de Data Box Heavy, el siguiente paso es copiar los datos.

Consideraciones sobre la copia

Antes de comenzar la copia de datos, revise las consideraciones siguientes:

Asegúrese de que copia los datos en los recursos compartidos que se corresponden con el formato de datos adecuado. Por ejemplo, copie los datos de blobs en bloques en la carpeta para blobs en bloques. Copie los discos duros virtuales en blobs en páginas.

Si el formato de los datos no coincide con el recurso compartido correspondiente, la carga de datos en Azure producirá un error más adelante.
Al copiar los datos, asegúrese de que el tamaño de los datos se ajusta a los límites descritos en los límites de Azure Storage y de Data Box Heavy.
Si los datos que va a cargar el dispositivo Data Box Heavy los están cargando a la vez otras aplicaciones fuera del dispositivo Data Box Heavy, podría provocar errores en el trabajo de carga y daños en los datos.
Es recomendable que:
- No use SMB y NFS al mismo tiempo.
- Copie los mismos datos en el mismo destino final en Azure.
En estos casos, no se puede determinar el resultado final.
Cree siempre una carpeta para los archivos que se van a copiar en el recurso compartido y, después, copie los archivos en ella. La carpeta que se creó en los recursos compartidos de blob en bloques y blob en páginas representa un contenedor en el que los datos se cargan como blobs. No se pueden copiar los archivos directamente en la carpeta root de la cuenta de almacenamiento.

Después de haberse conectado al recurso compartido SMB, inicie una copia de datos.

Puede usar cualquier herramienta de copia de archivos compatible con SMB, como Robocopy, para copiar los datos. Con Robocopy se pueden iniciar varios trabajos de copia. Use el comando siguiente:

robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /Log+:<LogFile>

Los atributos se describen en la tabla siguiente.

Atributo	Descripción
/e	Copia los subdirectorios incluyendo los directorios vacíos.
/r:	Especifica el número de reintentos en las copias con errores.
/w:	Especifica el tiempo de espera entre reintentos, en segundos.
/is	Incluye los mismos archivos.
/nfl	Especifica que los nombres de archivo no se han registrado.
/ndl	Especifica que los nombres de directorio no se han registrado.
/np	Especifica que no se mostrará el progreso de la operación de copia (el número de archivos o directorios copiados hasta el momento). Mostrar el progreso reduce significativamente el rendimiento.
/MT	Especifica que se utilice subprocesamiento múltiple; se recomiendan 64 o 32 subprocesos. Esta opción que no se utiliza con los archivos cifrados. Es posible que deba separar archivos cifrados y sin cifrar. Sin embargo, copiar con un solo subproceso disminuye de forma significativa el rendimiento.
/fft	Utilice esta opción para reducir la granularidad de la marca de tiempo para cualquier sistema de archivos.
/b	Copia los archivos en modo de copia de seguridad.
/z	Copia los archivos en modo de reinicio; use esta opción si el entorno es inestable. Esta opción reduce el rendimiento porque realiza un registro adicional.
/zb	Usa el modo de reinicio. Si se deniega el acceso, esta opción utiliza el modo de copia de seguridad. Esta opción reduce el rendimiento porque utiliza puntos de control.
/efsraw	Copia todos los archivos cifrados en el modo sin procesar de EFS. Usar solo con los archivos cifrados.
log+:<LogFile>	Anexa la salida al archivo de registro existente.

En el ejemplo siguiente se muestra la salida del comando robocopy para copiar archivos en Data Box Heavy.

C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.100.10.100\devicemanagertest1_AzFile\templates /MT:24
-------------------------------------------------------------------------------
    ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------
    Started : Thursday, April 4, 2019 2:34:58 PM
    Source : C:\Git\azure-docs-pr\contributor-guide\
    Dest : \\10.100.10.100\devicemanagertest1_AzFile\templates\
    Files : *.*
    Options : *.* /DCOPY:DA /COPY:DAT /MT:24 /R:5 /W:60
------------------------------------------------------------------------------

100%        New File                 206        C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
100%        New File                 209        C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
100%        New File                 732        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
100%        New File                 199        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
            New File                 178        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100%  .md
            New File                 250        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100%  e.md
100%        New File                 174        C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
100%        New File                 197        C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
100%        New File                 184        C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
100%        New File                 208        C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
100%        New File                 210        C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
100%        New File                 234        C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
100%        New File                 186        C:\Git\azure-docs-pr\contributor-guide\release-branches.md
100%        New File                 240        C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
100%        New File                 215        C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
100%        New File                 212        C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
100%        New File                 207        C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
    Dirs :         1         1         1         0         0         0
    Files :        17        17         0         0         0         0
    Bytes :     3.9 k     3.9 k         0         0         0         0          
C:\Users>

Para optimizar el rendimiento, use los siguientes parámetros de robocopy al copiar los datos. (Los números siguientes representan el escenario más optimista).

Plataforma	Archivos pequeños principalmente < 512 KB	Archivos medianos principalmente, de 512 KB a 1 MB	Archivos grandes principalmente > 1 MB
Data Box Heavy	6 sesiones de Robocopy 24 subprocesos por sesión	6 sesiones de Robocopy 16 subprocesos por sesión	6 sesiones de Robocopy 16 subprocesos por sesión

Para más información sobre el comando Robocopy, consulte Robocopy and a few examples (Robocopy y algunos ejemplos).

Abra la carpeta de destino para ver y comprobar los archivos copiados.
Cuando se copian los datos:
- Los nombres, tamaños y formatos de archivos se validan para garantizar que cumplen con los límites de almacenamiento y objetos de Azure, así como con las convenciones de nombres de archivo y contenedores de Azure.
- Para garantizar la integridad de datos, la suma de comprobación se calcula a medida que los datos se copian.
Si se produce algún error durante el proceso de copia, descargue los archivos de error para solucionar problemas. Seleccione el icono de flecha para descargar los archivos de error.

Para más información, consulte Ver registro de errores durante la copia de datos en Data Box Heavy. Para obtener una lista detallada de errores durante la copia de datos, consulte Solución de problemas de Data Box Heavy.
Abra el archivo de error en el Bloc de notas. El archivo de error siguiente indica que los datos no se han alineado correctamente.

Para un blob en páginas, los datos deben estar alineados en 512 bytes. Después de quitar estos datos, el error se resuelve tal como se muestra en la captura de pantalla siguiente.
Una vez completada la copia, vaya a la página View Dashboard (Ver panel). Compruebe el espacio utilizado y el espacio disponible en el dispositivo.

Repita los pasos anteriores para copiar los datos en el segundo nodo del dispositivo.

Pasos siguientes

En este tutorial, ha obtenido información acerca de varios temas relacionados con Azure Data Box Heavy, como:

Conexión a un dispositivo Data Box Heavy
Copia de datos a Data Box Heavy

En el siguiente tutorial aprenderá a enviar su dispositivo Data Box Heavy a Microsoft.

Envío del dispositivo Azure Data Box Heavy a Microsoft

Copia de datos mediante SMB

Si está utilizando un host de Windows, use el siguiente comando para conectarse a los recursos compartidos de SMB:

\\<IP address of your device>\ShareName
Para obtener las credenciales de acceso a los recursos compartidos, vaya a la página Connect & copy (Conectar y copiar) de la interfaz de usuario web local de Data Box.
Para copiar los datos, puede usar cualquier herramienta de copia de archivos compatible con SMB, como Robocopy.

Para obtener instrucciones paso a paso, consulte Tutorial: Copia de datos a Azure Data Box Disk mediante SMB.

Copia de datos mediante NFS

Si usa un host NFS, utilice el siguiente comando para montar los recursos compartidos de NFS:

sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>
Para obtener las credenciales de acceso a los recursos compartidos, vaya a la página Conectar y copiar de la interfaz de usuario web local de Data Box Heavy.
Use el comando cp o rsync para copiar los datos.
Repita estos pasos para conectarse y copiar los datos en el segundo nodo de Data Box Heavy.

Para obtener instrucciones paso a paso, consulte Tutorial: Copia de datos a Azure Data Box Disk mediante NFS.

Copia de datos con REST

Para copiar datos mediante el almacenamiento de blobs de Data Box con las API REST, puede conectarse a través de http o https.
Para copiar datos al almacenamiento de blobs de Data Box, puede usar AzCopy.
Repita estos pasos para conectarse y copiar los datos en el segundo nodo de Data Box Heavy.

Para obtener instrucciones paso a paso, consulte Tutorial: Copia de datos a Azure Data Box Blob Storage mediante API REST.

Copia de datos mediante el servicio de copia de datos

Para copiar datos utilizando el servicio de copia de datos tendrá que crear un trabajo. En la interfaz de usuario web local de Data Box Heavy, vaya a Administrar > Copiar datos > Crear.
Rellene los parámetros y cree un trabajo.
Repita estos pasos para conectarse y copiar los datos en el segundo nodo de Data Box Heavy.

Para obtener instrucciones paso a paso, consulte Tutorial: Uso del servicio de copia de datos para copiar datos en Azure Data Box Heavy.

Copia de datos en discos administrados

Al solicitar el dispositivo Data Box, debe haber seleccionado discos administrados como destino de almacenamiento.
Puede conectarse a Data Box Heavy mediante los recursos compartidos de SMB o NFS.
Después, puede copiar los datos con las herramientas de SMB o NFS.
Repita estos pasos para conectarse y copiar los datos en el segundo nodo de Data Box Heavy.

Para obtener instrucciones paso a paso, consulte Tutorial: Use Data Box Heavy para importar datos como discos administrados en Azure.

Share via