Actualización de Azure Blob Storage con funcionalidades de Azure Data Lake Storage

Artikulua
01/18/2024

Este artículo le ayuda a habilitar un espacio de nombres jerárquico y a desbloquear funcionalidades como la seguridad de nivel de archivo y de directorio y operaciones más rápidas. Estas funcionalidades se usan ampliamente en las cargas de trabajo de análisis de macrodatos y se conocen colectivamente como Azure Data Lake Storage.

Para más información sobre estas funcionalidades y para evaluar el impacto de esta actualización en cargas de trabajo, aplicaciones, costos, integraciones de servicios, herramientas, características y documentación, vea Actualización de Azure Blob Storage con funcionalidades de Azure Data Lake Storage.

Importante

Tenga en cuenta que una actualización es unidireccional. No hay manera de revertir la cuenta una vez que haya realizado la actualización. Se recomienda validar la actualización en un entorno que no sea de producción.

Preparación de la actualización

Para prepararse para actualizar la cuenta de almacenamiento a Data Lake Storage:

Revisión de la compatibilidad con las características
Asegúrese de que se haya asignado un nombre a los segmentos de cada ruta de acceso de blob
Impedir la actividad de escritura en la cuenta de almacenamiento

Revisión de la compatibilidad con las características

Es posible que su cuenta de almacenamiento esté configurada para usar características que aún no se admiten en las cuentas habilitadas para Data Lake Storage. Si la cuenta usa estas características, la actualización no superará el paso de validación. Revise el artículo Compatibilidad con la característica Blob Storage en cuentas de Azure Storage para identificar las características no admitidas. Si usa cualquiera de esas características en su cuenta, deshabilítelas antes de comenzar la actualización.

Las siguientes características son compatibles con las cuentas de Data Lake Storage, pero no son compatibles con el proceso de actualización:

Instantáneas de blob
Ámbitos de cifrado
Almacenamiento inmutable
Seguimiento de la hora del último acceso para la administración del ciclo de vida
Eliminación temporal para blobs
Eliminación temporal para contenedores

Si la cuenta de almacenamiento tiene habilitadas estas características, debe deshabilitarlas antes de realizar la actualización. Si desea reanudar el uso de las características una vez completada la actualización, vuelva a habilitarlas.

En algunos casos, tendrá que esperar un tiempo para las operaciones de limpieza después de deshabilitar una característica antes de actualizar. Un ejemplo es la característica de eliminación temporal de blobs. Debe deshabilitar la eliminación temporal de blobs y, después, permitir que todos los blobs de eliminación temporal expiren antes de poder actualizar la cuenta.

Importante

No se puede actualizar una cuenta de almacenamiento a Data Lake Storage, si dicha cuenta ha tenido habilitada la característica de fuente de cambios. Si solo deshabilita la fuente de cambios, esto no le permitirá realizar una actualización. En su lugar, debe crear una cuenta con la característica de espacio de nombres jerárquico habilitada y mover los datos a esa cuenta.

Eliminación de blobs en páginas de la cuenta de almacenamiento

No se puede actualizar una cuenta de almacenamiento que contenga blobs en páginas. Asegúrese de quitar blobs en páginas de la cuenta de almacenamiento antes de realizar la actualización.

Asegúrese de que se haya asignado un nombre a los segmentos de cada ruta de acceso de blob

El proceso de migración crea un directorio para cada segmento de ruta de acceso de un blob. Los directorios de Data Lake Storage deben tener un nombre para que la migración se realice correctamente; cada segmento de ruta de acceso de un directorio virtual debe tener un nombre. Se aplica el mismo requisito para los segmentos a los que se asigna un nombre solo con un carácter de espacio. Si algún segmento de ruta de acceso no tiene nombre (//) o su nombre consta solo de un carácter de espacio (_), antes de continuar con la migración, debe copiar esos blobs en una nueva ruta de acceso compatible con estos requisitos de nomenclatura.

Impedir la actividad de escritura en la cuenta de almacenamiento

Es posible que se produzca un error en la actualización si una aplicación escribe en la cuenta de almacenamiento durante la actualización. Para evitar esta actividad de escritura:

Ponga en modo inactivo cualquier aplicación o servicio que pueda realizar operaciones de escritura.
Libere o interrumpa las concesiones existentes en contenedores y blobs de la cuenta de almacenamiento.

Una vez completada la actualización, interrumpa las concesiones que creó para volver a permitir el acceso de escritura a los contenedores y blobs.

Advertencia

La interrupción de una concesión activa sin deshabilitar correctamente las aplicaciones o máquinas virtuales que actualmente acceden a esos recursos podría tener resultados inesperados. Asegúrese de poner en modo inactivo las actividades de escritura actuales antes de interrumpir las concesiones actuales.

Realización de la actualización

Inicie sesión en Azure Portal para empezar a trabajar.
Busque la cuenta de almacenamiento y muestre la información general de la cuenta.
Seleccione Migración de Data Lake Gen2.

Aparece la página de configuración Actualizar a una cuenta de almacenamiento con las funcionalidades de Azure Data Lake Gen2.
Expanda la sección Paso 1: Revisar los cambios de la cuenta antes de actualizar y haga clic en Revisar y aceptar los cambios.
En la página Revisar los cambios de la cuenta, seleccione la casilla y después haga clic en Agree to changes (Aceptar los cambios).
Expanda la sección Paso 2: Validar la cuenta antes de actualizar y, a continuación, haga clic en Start validation (Iniciar validación).

Si se produce un error en la validación, aparece un error en la página. En algunos casos, aparece un vínculo Ver errores. Si aparece ese vínculo, selecciónelo.

Después, en el menú contextual del archivo error.json, seleccione Descargar.

Abra el archivo descargado para determinar por qué la cuenta no ha superado el paso de validación. El siguiente código JSON indica que una característica incompatible está habilitada en la cuenta. En este caso, deshabilitaría la característica y, a continuación, iniciaría de nuevo el proceso de validación.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Una vez validada la cuenta correctamente, expanda la sección Paso 3: Actualizar cuenta y, después, haga clic en Iniciar actualización.

Importante

Las operaciones de escritura estarán deshabilitadas mientras se actualiza la cuenta. Las operaciones de lectura no están deshabilitadas, pero se recomienda encarecidamente suspender las operaciones de lectura, ya que podrían desestabilizar el proceso de actualización.

Cuando la migración se haya completado correctamente, aparecerá un mensaje similar al siguiente.

Abra una ventana de comando de Windows PowerShell.
Asegúrese de que tiene el módulo más reciente de Azure PowerShell. Consulte Instalación del módulo de Azure PowerShell.
Inicie sesión en la suscripción a Azure con el comando Connect-AzAccount y siga las instrucciones de la pantalla.
```
Connect-AzAccount
```
Si su identidad está asociada a más de una suscripción, establezca la suscripción activa.
```
$context = Get-AzSubscription -SubscriptionId <subscription-id>
Set-AzContext $context
```
Reemplace el valor de marcador de posición <subscription-id> por el identificador de la suscripción.
Valide la cuenta de almacenamiento con el siguiente comando:
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
```
- Reemplace el marcador de posición <resource-group-name> por el nombre del grupo de recursos.
- Reemplace el valor de marcador de posición <storage-account-name> por el nombre de la cuenta de almacenamiento.
Según el tamaño de la cuenta, este proceso puede tardar algún tiempo. Puede usar el modificador asJob para ejecutar el comando en un trabajo en segundo plano y así el cliente no esté bloqueado. El comando se ejecuta de forma remota, pero el trabajo existe en la máquina local o en la máquina virtual desde la que se ejecuta el comando. Los resultados se transmiten a la máquina local o a la máquina virtual.
Para comprobar el estado del trabajo y mostrar todas sus propiedades en una lista, canalice la variable de devolución al cmdlet Format-List.
```
$result | Format-List -Property *
```
Si la validación se realiza correctamente, la propiedad State se establecerá en Completed.

Si la validación produce un error, la propiedad State se establecerá en Failed y la propiedad Error mostrará errores de validación.

La siguiente salida indica que una característica incompatible está habilitada en la cuenta. En este caso, deshabilitaría la característica y, a continuación, iniciaría de nuevo el proceso de validación.

En algunos casos, la propiedad Error proporciona una ruta de acceso a un archivo denominado error.json. Puede abrir el archivo para determinar por qué la cuenta no superó el paso de validación.

El siguiente código JSON indica que una característica incompatible está habilitada en la cuenta. En este caso, deshabilitaría la característica y, a continuación, iniciaría de nuevo el proceso de validación.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Una vez que la cuenta se haya validado correctamente, ejecute el siguiente comando para iniciar la actualización.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
```
Al igual que en el ejemplo de validación anterior, en este ejemplo se usa el modificador asJob para ejecutar el comando en un trabajo en segundo plano. El modificador Force invalida los avisos para confirmar la actualización. Si no usa el modificador AsJob, no tiene que usar el modificador Force porque solo puede responder a los avisos.

Importante

Las operaciones de escritura estarán deshabilitadas mientras se actualiza la cuenta. Las operaciones de lectura no están deshabilitadas, pero se recomienda encarecidamente suspender las operaciones de lectura, ya que podrían desestabilizar el proceso de actualización.

Para comprobar el estado del trabajo, use las mismas técnicas que se describen en los pasos anteriores. Cuando se ejecute el proceso, la propiedad State se establecerá en Running.

Cuando la migración se haya completado correctamente, la propiedad State se establecerá en Completed y la propiedad Error no mostrará ningún error.

Importante

Una estimación aproximada del tiempo de actualización sería aproximadamente de 5 a 10 minutos por cada 2 millones de blobs. Por ejemplo, si la cuenta tiene 10 millones de blobs, la actualización tarda aproximadamente entre 25 y 50 minutos. Las cuentas que contienen menos de 2 millones de blobs se suelen actualizar en menos de 10 minutos.

En primer lugar, abra Azure Cloud Shell o, si ha instalado la CLI de Azure localmente, abra una aplicación de consola de comandos como Windows PowerShell.
Use el comando siguiente para verificar que la versión de la CLI de Azure que se ha instalado sea 2.29.0 o posterior.
```
 az --version
```
Si la versión de la CLI de Azure es anterior a 2.29.0, instale la versión más reciente. Para más información, consulte Instalación de la CLI de Azure.
Si su identidad está asociada a más de una suscripción, establezca la suscripción activa.
```
   az account set --subscription <subscription-id>
```
Reemplace el valor de marcador de posición <subscription-id> por el identificador de la suscripción.
Valide la cuenta de almacenamiento con el siguiente comando:
```
az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
```
- Reemplace el marcador de posición <resource-group-name> por el nombre del grupo de recursos.
- Reemplace el valor de marcador de posición <storage-account-name> por el nombre de la cuenta de almacenamiento.
Si se pasa la validación, el proceso finaliza y no aparece ningún error.

En caso contrario, aparecerá un error de validación en la consola. Por ejemplo, el error (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled indica que una característica incompatible (control de versiones) está habilitada en la cuenta. En este caso, deshabilitaría la característica y, a continuación, iniciaría de nuevo el proceso de validación.

En algunos casos, aparece en la consola la ruta de acceso a un archivo llamado error.json. Puede abrir el archivo para determinar por qué la cuenta no superó el paso de validación.

El siguiente código JSON indica que una característica incompatible está habilitada en la cuenta. En este caso, deshabilitaría la característica y, a continuación, iniciaría de nuevo el proceso de validación.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Una vez que la cuenta se haya validado correctamente, ejecute el siguiente comando para iniciar la actualización.
```
az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
```
Importante

Las operaciones de escritura estarán deshabilitadas mientras se actualiza la cuenta. Las operaciones de lectura no están deshabilitadas, pero se recomienda encarecidamente suspender las operaciones de lectura, ya que podrían desestabilizar el proceso de actualización.

Si la migración se realiza correctamente, el proceso finaliza y no aparece ningún error.

Detención de la actualización

Puede detener la migración antes de que finalice.

Para detener la actualización antes de que finalice, seleccione Cancelar actualización mientras la actualización está en curso.

Cancelar actualización

Para detener la actualización antes de que finalice, use el comando Stop-AzStorageAccountHierarchicalNamespaceUpgrade.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Para detener la actualización antes de que finalice, use el comando az storage account hns-migration stop.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Migración de datos, cargas de trabajo y aplicaciones

Configure los servicios en las cargas de trabajo para apuntar al punto de conexión de Blob service o al punto de conexión de Data Lake Storage.
Para las cargas de trabajo de Hadoop que usan el controlador de Azure Storage Blob de Windows o WASB, asegúrese de modificarlas para usar el controlador de Azure Blob File System (ABFS). A diferencia del controlador WASB que realiza solicitudes al punto de conexión de Blob service, el controlador ABFS realizará solicitudes al punto de conexión de Data Lake Storage de la cuenta.
Pruebe las aplicaciones personalizadas para asegurarse de que funcionan según lo previsto con la cuenta actualizada.

El acceso multiprotocolo en Data Lake Storage permite a la mayoría de las aplicaciones seguir usando las API de blob sin modificaciones. Si tiene problemas o desea usar las API para trabajar con las operaciones de directorio y las ACL, considere la posibilidad de mover parte del código para usar las API de Data Lake Storage. Vea las guías de .NET, Java, Python, Node.js y REST.
Pruebe todos los scripts personalizados para asegurarse de que funcionan según lo previsto con la cuenta actualizada.

Como es el caso de las API de blobs, es probable que muchos de los scripts funcionen sin necesidad de modificarlos. No obstante, si es necesario, puede actualizar los scripts para usar los cmdlets de PowerShell y los comandos de la CLI de Azure de Data Lake Storage.

Consulte también

Introducción a Azure Data Lake Storage

Partekatu honen bidez: