Incorporación de destinos de almacenamiento
Los destinos de almacenamiento son espacios de almacenamiento en servidores de back-end para archivos a los que se accede mediante una instancia de Azure HPC Cache. Puede agregar almacenamiento NFS (como un sistema de hardware local) o almacenar datos en Azure Blob Storage.
La caché presenta todos los destinos de almacenamiento en un espacio de nombres agregado. Las rutas de acceso del espacio de nombres se configuran por separado después de agregar los destinos de almacenamiento.
Recuerde que las exportaciones de almacenamiento deben ser accesibles desde la red virtual de la caché. En el caso del almacenamiento en hardware local, es posible que tenga que configurar un servidor DNS que pueda resolver nombres de host para el acceso al almacenamiento de NFS. Obtenga más información en Acceso DNS.
Agregue destinos de almacenamiento después de crear su caché. Siga este proceso:
- Creación de la memoria caché
- Definición de un destino de almacenamiento (información en este artículo)
- Cree las rutas de acceso orientadas al cliente (para el espacio de nombres agregado)
El procedimiento para agregar un destino de almacenamiento es ligeramente diferente según el tipo de almacenamiento que use. A continuación se muestran los detalles de cada uno.
Elección del tipo de destino de almacenamiento correcto
Puede seleccionar entre tres tipos de destino de almacenamiento: NFS, Blob y ADLS-NFS. Elija el tipo que coincida con la clase de sistema de almacenamiento que usará para almacenar los archivos durante este proyecto de HPC Cache.
NFS: cree un destino de almacenamiento de NFS para acceder a los datos en un sistema de almacenamiento conectado a la red (NAS). Puede ser un sistema de almacenamiento local u otro tipo de almacenamiento al que se pueda acceder con NFS.
- Requisitos: requisitos del almacenamiento de NFS
- Instrucciones. Incorporación de un nuevo destino de almacenamiento NFS
Blob: use un destino de almacenamiento de blobs para almacenar los archivos de trabajo en un nuevo contenedor de blobs de Azure. Este contenedor solo se puede leer o escribir desde Azure HPC Cache.
- Requisitos previos: requisitos del almacenamiento de blobs
- Instrucciones: Incorporación de un nuevo destino de almacenamiento de Azure Blob Storage
ADLS-NFS: el destino de almacenamiento de ADLS-NFS accede a los datos de un contenedor de blobs habilitado para NFS. Puede cargar previamente el contenedor mediante comandos NFS estándar y los archivos se pueden leer después con NFS.
- Requisitos previos: requisitos del almacenamiento de ADLS-NFS
- Instrucciones. Incorporación de un nuevo destino de almacenamiento de ADLS-NFS
Incorporación de un nuevo destino de almacenamiento de Azure Blob Storage
Un nuevo destino de almacenamiento de Azure Blob Storage necesita un contenedor de blobs vacío o un contenedor rellenado con datos con el formato de sistema de archivos en la nube de Azure HPC Cache. Obtenga más información sobre la carga previa de un contenedor de blobs en Traslado de datos a Azure Blob Storage.
En la página Agregar destino de almacenamiento de Azure Portal se incluye la opción de crear un nuevo contenedor de blobs justo antes de agregar el destino.
Nota:
- En el caso de la instancia de Blob Storage montada en NFS, use el tipo de destino de almacenamiento de ADLS-NFS.
- Las configuraciones de caché de alto rendimiento no admiten destinos estándar de almacenamiento de blobs de Azure. En su lugar, use el almacenamiento de blobs habilitado para NFS (ADLS-NFS).
En Azure Portal, abra la instancia de caché y haga clic en Destinos de almacenamiento en la barra lateral izquierda.
En la página Destinos de almacenamiento se enumeran todos los destinos existentes y se proporciona un vínculo para agregar uno nuevo.
Haga clic en el botón Agregar destino de almacenamiento.
Para definir un contenedor de blobs de Azure, escriba esta información.
Storage target name (Nombre de destino de almacenamiento): establezca un nombre que identifique este destino de almacenamiento en Azure HPC Cache.
Target type (Tipo de destino): elija Blob.
Cuenta de almacenamiento: seleccione la cuenta que quiere usar.
Tendrá que autorizar a la instancia de caché para acceder a la cuenta de almacenamiento, tal como se describe en Incorporación de los roles de acceso.
Para más información sobre el tipo de cuenta de almacenamiento que puede usar, consulte Requisitos de Blob Storage.
Contenedor de almacenamiento: seleccione el contenedor de blobs para este destino o haga clic en Crear.
Cuando termine, haga clic en Aceptar para agregar el destino de almacenamiento.
Nota:
Si el firewall de la cuenta de almacenamiento está configurado para restringir el acceso solo a "redes seleccionadas", use la solución alternativa documentada en Solución alternativa para la configuración del firewall de la cuenta de Blob Storage.
Incorporación de los roles de control de acceso a la cuenta
Azure HPC Cache usa el control de acceso basado en rol de Azure (Azure RBAC) para autorizar el acceso del servicio de caché a la cuenta de almacenamiento de los destinos de Azure Blob Storage.
El propietario de la cuenta de almacenamiento debe agregar explícitamente los roles Colaborador de la cuenta de almacenamiento y Colaborador de datos de Storage Blob para el usuario "HPC Cache Resource Provider" (Proveedor de recursos de HPC Cache).
Puede realizar esta tarea con anterioridad, o bien hacer clic en un vínculo de la página del portal donde se agrega un destino de almacenamiento de blobs. Tenga en cuenta que la configuración del rol puede tardar hasta cinco minutos en propagarse a través del entorno de Azure. Espere unos minutos después de agregar los roles antes de crear un destino de almacenamiento.
Abra Control de acceso (IAM) para su cuenta de almacenamiento.
Seleccione Agregar>Agregar asignación de roles para abrir la página Agregar asignación de roles.
Asigne los siguientes roles, de uno en uno. Para asignar roles, consulte Asignación de roles de Azure mediante Azure Portal.
Configuración Valor Roles Colaborador de la cuenta de almacenamiento
Colaborador de datos de blobs de almacenamientoAsignar acceso a "Proveedor de recursos de HPC Cache" o "Proveedor de recursos StorageCache"
Incorporación de un nuevo destino de almacenamiento NFS
Un destino de almacenamiento de NFS tiene una configuración diferente de un destino de almacenamiento de blobs, incluida una configuración de modelo de uso que indica a la memoria caché cómo almacenar los datos de este sistema de almacenamiento.
Nota:
Antes de crear un destino de almacenamiento NFS, asegúrese de que el sistema de almacenamiento sea accesible desde la instancia de Azure HPC Cache y cumple los requisitos de permisos. Se producirá un error en la creación del destino de almacenamiento si la memoria caché no tiene acceso suficiente al sistema de almacenamiento. Consulte Requisitos de almacenamiento NFS y Solución de problemas de configuración de NAS y problemas del destino de almacenamiento de NFS para más información.
Selección de un modelo de uso
Cuando cree un destino de almacenamiento que use NFS para comunicarse con el sistema de almacenamiento, deberá elegir un modelo de uso de ese destino. Este modelo determina cómo se almacenan los datos en caché.
Consulte Definición de los modelos de uso para obtener más información sobre todos estos valores.
Los modelos de uso integrados de HPC Cache permiten elegir cómo equilibrar la respuesta rápida con el riesgo de obtener datos obsoletos. Si quiere optimizar la velocidad de lectura de los archivos, es posible que no le interese si los archivos de la memoria caché se comparan con los archivos de back-end. Por otro lado, si quiere asegurarse de que los archivos estén siempre actualizados con el almacenamiento remoto, elija un modelo que realice comparaciones frecuentes.
Nota:
Las memorias caché de estilo de alto rendimiento solo admiten el almacenamiento en caché de lectura.
Estas tres opciones cubren la mayoría de las situaciones:
Read heavy, infrequent writes (lectura intensiva, operaciones de escritura poco frecuentes): use esta opción si quiere acelerar el acceso de lectura a archivos que son estáticos o que no se suelen modificar.
Esta opción almacena en caché los archivos de las lecturas del cliente, pero pasa las escrituras del cliente al almacenamiento de back-end inmediatamente. Los archivos almacenados en la memoria caché no se comparan automáticamente con los archivos del volumen de almacenamiento NFS.
No use esta opción si existe el riesgo de que un archivo se pueda modificar directamente en el sistema de almacenamiento sin escribirlo primero en la memoria caché. Si esto sucede, la versión en caché del archivo no estará sincronizada con el archivo de back-end.
Mayor que el 15 % de textos: esta opción acelera el rendimiento de lectura y escritura.
Las lecturas de cliente y las escrituras de cliente se almacenan en caché. Se supone que los archivos de la memoria caché son más recientes que los archivos del sistema de almacenamiento de back-end. Los archivos almacenados en caché solo se comparan automáticamente con los archivos del almacenamiento de back-end cada ocho horas. Los archivos modificados en la caché se escriben en el sistema de almacenamiento de back-end, después de que hayan estado en dicha caché durante una hora sin cambios adicionales.
No use esta opción si los clientes montan el volumen de almacenamiento back-end directamente, ya que existe el riesgo de que haya archivos obsoletos.
Los clientes escriben en el destino NFS omitiendo la caché: elija esta opción si algún cliente del flujo de trabajo escribe datos directamente en el sistema de almacenamiento sin escribir primero en la caché o si quiere optimizar la coherencia de los datos.
Los archivos que solicitan los clientes se almacenan en caché, pero los cambios que se realicen en esos archivos desde el cliente se pasan al sistema de almacenamiento de back-end inmediatamente. Los archivos de la memoria caché se comparan con frecuencia con las versiones de back-end para determinar si hay actualizaciones. Esta comprobación mantiene la coherencia de los datos cuando los archivos se modifican directamente en el sistema de almacenamiento en lugar de a través de la memoria caché.
Para obtener más información sobre las demás opciones, consulte Definición de los modelos de uso.
En esta tabla se resumen las diferencias entre todos los modelos de uso:
Modelo de uso | Modo de almacenamiento en caché | Temporizador de comprobación | Temporizador de escritura diferida |
---|---|---|---|
Almacenamiento en caché de solo lectura | Lectura | 30 segundos | None |
Almacenamiento en caché de lectura y escritura | Lectura/escritura | 8 horas | 1 hora |
Nota:
El valor de la Comprobación de back-end muestra cuándo la caché compara automáticamente sus archivos con los archivos de origen que están en el almacenamiento remoto. Sin embargo, puede iniciar una comparación al enviar una solicitud de cliente que incluya una operación readdirplus en el sistema de almacenamiento de back-end. Readdirplus es una API NFS estándar (también llamada lectura extendida) que devuelve metadatos de directorio, lo que hace que la caché compare y actualice los archivos.
Creación de un destino de almacenamiento de NFS
En Azure Portal, abra la instancia de caché y haga clic en Destinos de almacenamiento en la barra lateral izquierda.
En la página Destinos de almacenamiento se enumeran todos los destinos existentes y se proporciona un vínculo para agregar uno nuevo.
Haga clic en el botón Agregar destino de almacenamiento.
Proporcione esta información para un destino de almacenamiento respaldado por NFS:
Storage target name (Nombre de destino de almacenamiento): establezca un nombre que identifique este destino de almacenamiento en Azure HPC Cache.
Target type (Tipo de destino): elija NFS.
Hostname (Nombre de host): escriba la dirección IP o el nombre de dominio completo del sistema de almacenamiento NFS. (Use un nombre de dominio solo si la memoria caché tiene acceso a un servidor DNS que pueda resolver el nombre). Puede especificar varias direcciones IP si varias direcciones IP hacen referencia al sistema de almacenamiento.
Modelo de uso: elija uno de los perfiles de almacenamiento en caché de datos en función del flujo de trabajo, tal como se describe en la sección Selección de un modelo de uso anterior.
Cuando termine, haga clic en Aceptar para agregar el destino de almacenamiento.
Incorporación de un nuevo destino de almacenamiento de ADLS-NFS
Los destinos de almacenamiento de ADLS-NFS usan contenedores de blobs de Azure que admiten el protocolo Network File System (NFS) 3.0.
Consulte Compatibilidad con el protocolo NFS 3.0 para más información sobre esta característica.
Los destinos de almacenamiento de ADLS-NFS tienen algunas similitudes con los destinos de Blob Storage y otros con destinos de almacenamiento NFS. Por ejemplo:
Al igual que con un destino de Blob Storage, debe conceder permiso a Azure HPC Cache para acceder a la cuenta de almacenamiento.
Al igual que con un destino de almacenamiento NFS, debe establecer un modelo de uso de caché.
Dado que los contenedores de blobs habilitados para NFS tienen una estructura jerárquica compatible con NFS, no es necesario usar la caché para ingerir datos; además, otros sistemas NFS pueden leer los contenedores.
Puede cargar previamente los datos en un contenedor de ADLS-NFS y, a continuación, agregarlos a una instancia de HPC Cache como destino de almacenamiento para, finalmente, acceder a los datos más adelante desde fuera de HPC Cache. Cuando se usa un contenedor de blobs estándar como destino de almacenamiento en HPC Cache, los datos se escriben en un formato propietario y solo se puede acceder a ellos desde otros productos compatibles con Azure HPC Cache.
Para que pueda crear un destino de almacenamiento de ADLS-NFS, primero debe crear una cuenta de almacenamiento habilitada para NFS. Siga los pasos de Requisitos previos de Azure HPC Cache y las instrucciones de Montaje de Blob Storage con NFS. Si no usa la misma red virtual para la caché y la cuenta de almacenamiento, asegúrese de que la red virtual de la caché pueda acceder a la red virtual de la cuenta de almacenamiento.
Una vez configurada la cuenta de almacenamiento, podrá crear un nuevo contenedor cuando cree el destino de almacenamiento.
Consulte Uso del almacenamiento de blobs montado en NFS (versión preliminar) con Azure HPC Cache para más información sobre esta configuración.
Para crear un destino de almacenamiento de ADLS-NFS, abra la página Agregar destino de almacenamiento en Azure Portal. (Hay otros métodos en desarrollo).
Escriba esta información.
Storage target name (Nombre de destino de almacenamiento): establezca un nombre que identifique este destino de almacenamiento en Azure HPC Cache.
Tipo de destino: elija ADLS-NFS.
Cuenta de almacenamiento: seleccione la cuenta que quiere usar. Si la cuenta de almacenamiento habilitada para NFS no aparece en la lista, compruebe que cumple los requisitos previos y que la memoria caché puede acceder a ella.
Tendrá que autorizar a la instancia de caché para acceder a la cuenta de almacenamiento, tal como se describe en Incorporación de los roles de acceso.
Contenedor de almacenamiento: seleccione el contenedor de blobs habilitado para NFS para este destino o haga clic en Crear.
Modelo de uso: elija uno de los perfiles de almacenamiento en caché de datos en función del flujo de trabajo, tal como se describe en la sección Selección de un modelo de uso anterior.
Cuando termine, haga clic en Aceptar para agregar el destino de almacenamiento.
Visualización de los destinos de almacenamiento
Puede usar Azure Portal o la CLI de Azure para mostrar los destinos de almacenamiento ya definidos para la memoria caché.
En Azure Portal, abra la instancia de caché y haga clic en Destinos de almacenamiento, que se encuentra debajo del título Configuración en la barra lateral izquierda. En la página Destinos de almacenamiento se enumeran todos los destinos y se proporciona un vínculo para agregar uno nuevo.
Haga clic en el nombre de un destino de almacenamiento para abrir su página de detalles.
Lea Visualización y administración de destinos de almacenamiento y Edición de los destinos de almacenamiento para más información.
Pasos siguientes
Después de crear destinos de almacenamiento, continúe con estas tareas para preparar la caché para su uso:
- Configuración del espacio de nombres agregado
- Montaje de la instancia de Azure HPC Cache
- Traslado de datos a Azure Blob Storage
Si necesita actualizar cualquier configuración, puede editar un destino de almacenamiento.
Comentarios
https://aka.ms/ContentUserFeedback.
Próximamente: A lo largo de 2024 iremos eliminando gradualmente las Cuestiones de GitHub como mecanismo de retroalimentación para el contenido y lo sustituiremos por un nuevo sistema de retroalimentación. Para más información, consulta:Enviar y ver comentarios de