Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Puede copiar datos del sistema de archivos de Azure Managed Lustre al almacenamiento a largo plazo en Azure Blob Storage. En este artículo se tratan dos métodos para exportar datos:
- Trabajo de exportación manual : exporte datos a petición mediante un trabajo de exportación único.
- Exportación automática — sincronice continuamente los archivos nuevos y modificados desde su sistema de archivos a Blob Storage automáticamente.
Note
Los trabajos de exportación solo están disponibles cuando se integra Azure Blob Storage con el sistema de archivos de Azure Managed Lustre durante la creación del sistema de archivos. Para más información, consulte Integración de Azure Blob Storage. Si no ha integrado un contenedor de blobs al crear el sistema de archivos, puede usar comandos del sistema de archivos cliente para copiar los datos sin crear un trabajo de exportación.
Limitations
Las siguientes limitaciones se aplican a las operaciones de exportación:
- Solo se puede ejecutar una acción de importación o exportación a la vez. Por ejemplo, si un trabajo de exportación está en curso e intenta iniciar otro trabajo de exportación, recibirá un error.
- Los trabajos de exportación copian solo los archivos nuevos o modificados. Si el archivo que importó del contenedor de blobs durante la creación del sistema de archivos no se modifica, el trabajo de exportación no exportará el archivo.
- Los archivos en los que solo cambian los metadatos no se exportan. Los cambios de metadatos incluyen los cambios de propietario, permisos, atributos extendidos y cambios de nombre (renombrado). Esta limitación se aplica tanto a la exportación manual como a la exportación automática.
- Los archivos que elimina en el sistema de archivos de Azure Managed Lustre no se eliminan en el contenedor de blobs original durante el trabajo de exportación. El trabajo de exportación no elimina los archivos del contenedor de blobs.
- Los nombres de blobs deben cumplir ciertas reglas de nomenclatura. Los nombres de blobs aceptables difieren ligeramente de los nombres de archivo POSIX aceptables. El proceso de exportación conserva los caracteres especiales en los nombres de archivo asegurando su correcta codificación al exportar a blobs. Sin embargo, un nombre de archivo que infringe una regla de nomenclatura de blobs (por ejemplo, superando la longitud máxima del nombre del blob) produce un error al intentar exportar ese archivo.
- Para la exportación automática: los cambios de metadatos, como los cambios de nombre, las actualizaciones de propiedad o los ajustes de permisos actualmente no se sincronizan.
- Para la exportación automática: al eliminar archivos, directorios o vínculos simbólicos en el sistema de archivos, no se quitan del contenedor de Blob Storage.
- Azure Blob Storage no admite los vínculos físicos. Cada vínculo físico se exporta como un blob único. Si importa esos blobs, se convierten en archivos independientes.
Tarea de exportación manual
Un trabajo de exportación manual copia archivos nuevos o modificados del sistema de archivos al contenedor de blobs que especificó al crear el sistema de archivos.
Creación de un trabajo de exportación
Siga estos pasos para crear un trabajo de exportación en Azure Portal:
En Azure Portal, abra el sistema de archivos de Azure Managed Lustre. En Configuración, seleccione Integración de blobs.
Seleccione + Crear nuevo trabajo.
En el menú desplegable Tipo de trabajo , seleccione Exportar.
En el campo Ruta de acceso del sistema de archivos, escriba una cadena para especificar lo que desea exportar.
El trabajo de exportación exporta todos los archivos nuevos o modificados en el sistema de archivos cuyos nombres de archivo comienzan por esta cadena. El trabajo escribe archivos en el contenedor de blobs con la misma ruta de acceso de archivo (o prefijo) que tienen en el sistema de archivos lustre. Para evitar sobrescribir los archivos existentes en el contenedor de blobs, asegúrese de que la ruta de acceso del archivo en el sistema de archivos de Lustre no se superponga a la ruta de acceso existente del archivo en el contenedor de blobs.
En la captura de pantalla siguiente se muestran las opciones de configuración de un trabajo de exportación en Azure Portal.
Supervisión o cancelación de un trabajo de exportación
Puede supervisar o cancelar trabajos de exportación en la sección Tareas recientes del panel Integración de Blob.
Solo se ejecuta un trabajo de archivo a la vez. Para cancelar el trabajo que está en curso, seleccione el vínculo Cancelar para ese trabajo en la tabla Trabajos recientes . El vínculo Cancelar no está disponible para los trabajos completados.
Reintentar un trabajo de exportación
Si un trabajo de exportación no finaliza correctamente, puede volver a intentar la exportación mediante la creación de un nuevo trabajo de exportación. El nuevo trabajo copia solo los archivos que no se copiaron durante el trabajo anterior.
Los reintentos pueden ser comunes al intentar exportar datos de sistemas de archivos activos en los que los datos cambian con frecuencia. Para más información sobre estos escenarios, consulte Ejecución de trabajos de exportación en sistemas de archivos activos.
Ejecución de trabajos de exportación en sistemas de archivos activos
En los sistemas de archivos activos, los cambios en los archivos durante el trabajo de exportación pueden provocar un error en el trabajo. Este estado de error indica que no todos los datos del sistema de archivos se exportaron a Blob Storage. En esta situación, vuelva a intentar la exportación mediante la creación de un nuevo trabajo de exportación. El nuevo trabajo copia solo los archivos que no se copiaron en el trabajo anterior.
En los sistemas de archivos con mucha actividad, los reintentos pueden producir errores varias veces porque los archivos cambian con frecuencia. Para comprobar que un archivo se exportó correctamente a Blob Storage, compruebe la marca de tiempo en el blob correspondiente. Una vez finalizado el trabajo, también puede ver el contenedor de registro que configuró en tiempo de implementación para ver información detallada sobre el trabajo de exportación. El contenedor de registro proporciona información de diagnóstico sobre qué archivos han fallado y el motivo.
Si se está preparando para retirar un clúster y desea realizar una exportación final a Blob Storage, asegúrese de que todas las actividades de E/S se detengan antes de iniciar el trabajo de exportación. Este enfoque ayuda a garantizar que se exportan todos los datos, ya que evita errores debidos a la actividad del sistema de archivos.
Más información sobre los metadatos de los archivos exportados
Al exportar archivos desde el sistema de archivos de Azure Managed Lustre al contenedor de blobs, el trabajo de exportación guarda metadatos adicionales para simplificar la reimportación del contenido en un sistema de archivos.
En la tabla siguiente se enumeran los atributos POSIX del sistema de archivos lustre que el trabajo de exportación guarda en los metadatos del blob como pares clave-valor:
| Atributo POSIX | Tipo |
|---|---|
owner |
int |
group |
int |
permissions |
Formato octal o rwxrwxrwx; se admite el bit sticky. |
El trabajo de exportación guarda los atributos de directorio en un blob vacío. Este blob tiene el mismo nombre que la ruta de acceso del directorio y contiene el siguiente par clave-valor en los metadatos del blob: hdi_isfolder : true.
Puede modificar manualmente los atributos POSIX antes de usar el contenedor para hidratar un nuevo clúster de Lustre. Edite o agregue metadatos de blob mediante los pares clave-valor descritos anteriormente.
Copia un contenedor de blobs de Lustre con azcopy o Explorador de Storage
Puede mover o copiar el contenedor de blobs que usa el sistema de archivos Lustre mediante azcopy o Explorador de Storage.
Para azcopy, puede incluir atributos de directorio agregando la marca siguiente:
--include-directory-stub
Al incluir esta marca, los atributos POSIX de directorio se conservan durante una transferencia (por ejemplo, owner, groupy permissions). Si usa azcopy en el contenedor de almacenamiento sin esta marca o con la marca establecida en false, la transferencia incluye los datos y directorios. Sin embargo, los directorios no conservan sus atributos POSIX.
En el Explorador de Almacenamiento, puede habilitar esta marca en Configuración seleccionando Transferencias y marcando la casilla para Incluir Stub de Directorio.
Exportación automática
La característica de exportación automática para Azure Managed Lustre es una funcionalidad que sincroniza automáticamente los cambios en el sistema de archivos de Azure Managed Lustre con un contenedor vinculado de Azure Blob Storage.
Con esta característica, puede ayudar a garantizar que los archivos nuevos y modificados del sistema de archivos se reflejen en el contenedor de Blob Storage asociado sin intervención manual. Esta característica simplifica la administración de datos y mejora la sincronización para el almacenamiento a largo plazo.
Funcionalidad de exportación automática
La exportación automática funciona supervisando continuamente los cambios en el sistema de archivos de Azure Managed Lustre. Según la directiva de exportación que configure, actualiza el contenido del contenedor de Blob Storage asociado para reflejar estos cambios. Esta característica proporciona un proceso sin problemas y automatizado para replicar datos.
Este es el modo en que la exportación automática controla distintos tipos de cambios:
- Creación de archivos nuevos, directorios nuevos y cambios en el contenido de los archivos: el proceso de integración de blobs identifica nuevos archivos, directorios y datos que han cambiado. Inicia automáticamente un trabajo de exportación. La exportación automática garantiza que la versión más reciente del archivo se transfiera a Blob Storage.
La exportación automática funciona a través de iteraciones de exportación continua. Cuando finaliza una iteración, el proceso de integración de blobs examina el sistema de archivos para ver los nuevos archivos, directorios o cambios de contenido. Inicia una nueva iteración de un trabajo de exportación.
Los registros de trabajos de exportación en el contenedor de registro configurado pueden ayudarle a identificar problemas de sincronización y a comprender por qué se produce un error en las operaciones.
Configurar la exportación automática
Habilite la exportación automática en un sistema de archivos de Azure Managed Lustre existente que tenga un contenedor de Blob Storage asociado configurado. Puede configurar la exportación automática mediante la configuración de integración de blobs en Azure Portal.
Para crear un nuevo trabajo de exportación automática, siga estos pasos:
En Azure Portal, abra el sistema de archivos de Azure Managed Lustre. En Configuración, seleccione Integración de blobs.
Seleccione + Crear nuevo trabajo.
En la lista desplegable Tipo de trabajo, seleccione Auto-Export(Exportar automáticamente).
En el campo Ruta de acceso del sistema de archivos, especifique una ruta de acceso de directorio escribiendo una cadena.
El sistema exporta continuamente todos los archivos nuevos o modificados del sistema de archivos en esta ruta de acceso (prefijo). El sistema escribe archivos en el contenedor de blobs con la misma ruta de acceso de archivo (o prefijo) que tienen en el sistema de archivos lustre. La única excepción es si tu archivo Lustre se importó desde esa ruta de acceso en el contenedor de blobs.
Supervisión y administración de la exportación automática
Use Azure Portal para supervisar las actividades de exportación automática y administrar las configuraciones.
El panel Integración de blobs muestra detalles de las actividades de exportación en la sección Trabajos recientes , incluido el estado de los trabajos recientes y las métricas relacionadas con la sincronización automática.
Para cancelar un trabajo en proceso, seleccione el vínculo Cancelar para ese trabajo en la tabla Trabajos recientes . El vínculo Cancelar solo está disponible para el trabajo actual.
Para ver las métricas de un trabajo de exportación automática, seleccione el valor Nombre del trabajo. El panel Métricas aparece en el panel lateral del portal.
Métricas de exportación automática
En el portal, las métricas se agrupan en dos categorías principales: Iteracióngeneral y actual.
Estadísticas generales
Estadísticas después de habilitar la exportación automática
Total de archivos exportados
Recuento de archivos copiados correctamente en el contenedor de blobs asociado después de habilitar la exportación automática.
Total de MiB exportados
El tamaño total de archivo (en MiB) se copió correctamente en el contenedor de blobs asociado tras habilitar la exportación automática.
Iteraciones completadas
Recuento de veces que el proceso de integración de blobs identificó datos nuevos o modificados e inició un nuevo trabajo de exportación.
Última iteración correcta
Marca de tiempo de finalización de la última iteración que exportó correctamente todos los datos al contenedor de blobs asociado.
Estadísticas de iteración actuales
Estadísticas sobre la actividad actual
Archivos detectados
Recuento de archivos que el trabajo de exportación está exportando actualmente, incluidos los archivos que ya se han copiado correctamente en el contenedor de blobs asociado en esta iteración.*
MiB detectado
Tamaño de archivo agregado en MiB que el trabajo de exportación está exportando actualmente, incluidos los archivos que ya se han copiado correctamente en el contenedor de blobs asociado en esta iteración.*
Archivos exportados
Recuento de archivos nuevos y modificados copiados correctamente en el contenedor de blobs asociado.
MiB exportados
Tamaño de archivo agregado en MiB de datos nuevos y modificados copiados correctamente en el contenedor de blobs asociado.
Error en los archivos
Número total de archivos que no se pudieron copiar durante la iteración actual. Seleccione este vínculo para ir a la página del Contenedor de registros para ver los registros asociados a este trabajo de exportación automática.
* Las métricas de la iteración en curso actual representan lo acumulado hasta ahora. Por ejemplo, Archivos detectados es el número de archivos detectados para la exportación en el momento de los informes. El siguiente ciclo de informes podría mostrar que se detectan más archivos.
Consideraciones y procedimientos recomendados para la exportación automática
Al usar la característica de exportación automática, tenga en cuenta los procedimientos recomendados siguientes para garantizar una operación sin problemas:
- Administración de conflictos: si se modifica un archivo tanto en el sistema de archivos como en Blob Storage, existe el riesgo de sobrescribir. Use la coordinación de nivel de aplicación para evitar modificaciones en conflicto.
- Deshabilitar la exportación automática antes de la eliminación: antes de eliminar un sistema de archivos o su proceso de integración de blobs, asegúrese de que todas las actualizaciones en cola estén sincronizadas. Compruebe que la Última Hora de Iteración Exitosa es reciente y que la métrica Archivos Fallidos es cero para evitar la pérdida de datos. A continuación, deshabilite la exportación automática.