Mettre à niveau le Stockage Blob Azure avec les fonctionnalités de Azure Data Lake Storage Gen2

Article
01/18/2024

Cet article vous aide à activer un espace de noms hiérarchique et des fonctionnalités de déverrouillage, comme la sécurité au niveau des fichiers et des annuaires, et des opérations plus rapides. Ces fonctionnalités sont largement utilisées par les charges de travail d’analyse du Big Data et sont désignées collectivement comme des Azure Data Lake Storage Gen2.

Pour plus d’informations sur ces fonctionnalités et pour évaluer l’impact de cette mise à niveau sur les charges de travail, les applications, les coûts, les intégrations de service, les outils, les fonctionnalités et la documentation, consultez Mise à niveau du Stockage Blob Azure avec les fonctionnalités d’Azure Data Lake Storage Gen2.

Important

La mise à niveau est irréversible. Il n’existe aucun moyen de rétablir la version antérieure de votre compte une fois que vous avez effectué la mise à niveau. Nous vous recommandons de valider votre mise à niveau dans un environnement de non-production.

Préparation de la mise à niveau

Pour préparer la mise à niveau de votre compte de stockage vers Data Lake Storage Gen2 :

Vérifier la prise en charge des fonctionnalités
Vérifiez que les segments de chaque chemin d’accès d’objet blob sont nommés
Empêcher l’activité d’écriture dans le compte de stockage

Vérifier la prise en charge des fonctionnalités

Votre compte de stockage est peut-être configuré pour utiliser des fonctionnalités qui ne sont pas encore prises en charge par les comptes Data Lake Storage Gen2. Si votre compte utilise une fonctionnalité qui n’est pas encore prise en charge, la mise à niveau ne réussira pas l’étape de validation. Consultez l’article Prise en charge des fonctionnalités de Stockage Blob dans les comptes de stockage Azure pour identifier les fonctionnalités qui ne sont pas prises en charge. Si vous utilisez l’une de ces fonctionnalités non prises en charge dans votre compte, veillez à la désactiver avant de commencer la mise à niveau.

Les fonctionnalités suivantes sont prises en charge pour les comptes Data Lake Storage Gen2, mais ne sont pas prises en charge par le processus de mise à niveau :

Instantanés d’objet blob
Étendues de chiffrement
Stockage non modifiable
Suivi de l’heure du dernier accès pour la gestion de cycle de vie
Suppression réversible pour les objets blob
Suppression réversible pour les conteneurs

Si ces fonctionnalités sont activées pour votre compte de stockage, vous devez les désactiver avant d’effectuer la mise à niveau. Si vous souhaitez reprendre l’utilisation des fonctionnalités une fois la mise à niveau terminée, réactivez-les.

Dans certains cas, vous devrez accorder du temps aux opérations de nettoyage après la désactivation d’une fonctionnalité avant la mise à niveau. La fonctionnalité de suppression réversible d’objets blob en est un exemple. Vous devez désactiver la suppression réversible d’objets blob, puis autoriser l’expiration de tous les objets blob suite à la suppression réversible avant de mettre à niveau le compte.

Important

Vous ne pouvez pas mettre à niveau un compte de stockage vers Data Lake Storage Gen2 pour lequel la fonctionnalité de flux de modification a déjà été activée. La simple désactivation du flux de modification ne vous permet pas d’effectuer une mise à niveau. Au lieu de cela, vous devez créer un compte dont la fonctionnalité d’espace de noms hiérarchique est activée, puis transférer vos données dans ce compte.

Vérifiez que les segments de chaque chemin d’accès d’objet blob sont nommés

Le processus de migration crée un répertoire pour chaque segment de chemin d’un objet blob. Les répertoires Data Lake Storage Gen2 doivent avoir un nom pour que la migration réussisse, chaque segment de chemin d’accès d’un répertoire virtuel doit avoir un nom. La même exigence est vraie pour les segments nommés uniquement avec un caractère d’espace. Si des segments de chemin d’accès ne sont pas nommés (//) ou nommés uniquement avec un caractère d’espace (_), avant de poursuivre la migration, vous devez copier ces objets blob dans un nouveau chemin compatible avec ces exigences d’affectation de noms.

Empêcher l’activité d’écriture dans le compte de stockage

La mise à niveau peut échouer si une application écrit dans le compte de stockage pendant la mise à niveau. Pour empêcher cette activité d’écriture :

Arrêtez toutes les applications ou services susceptibles d’effectuer des opérations d’écriture.
Libérez ou interrompez les baux existants sur les conteneurs et les objets blob dans le compte de stockage.

Une fois la mise à niveau terminée, arrêtez les baux que vous avez créés pour reprendre l’autorisation d’accès en écriture aux conteneurs et aux objets blob.

Avertissement

La rupture d’un bail actif sans désactiver normalement les applications ou les machines virtuelles qui accèdent actuellement à ces ressources peut avoir des résultats inattendus. Veillez à interrompre toutes les activités d’écriture avant de rompre les baux en cours.

Effectuer la mise à niveau

Pour commencer, connectez-vous au portail Azure.
Recherchez votre compte de stockage et affichez la vue d’ensemble du compte.
Sélectionnez Migration vers Data Lake Gen2.

La page de configuration Mise à niveau vers un compte de stockage avec des fonctionnalités de Data Lake Storage Gen2 s’affiche.
Développez la section Étape 1 : vérifier les modifications de compte avant la mise à niveau, puis cliquez sur Vérifier et accepter les modifications.
Sur la page Vérifier les modifications de compte, cochez la case, puis cliquez sur Accepter les modifications.
Développez la section Étape 2 : valider le compte avant la mise à niveau, puis cliquez sur Démarrer la validation.

Si la validation échoue, une erreur s’affiche dans la page. Dans certains cas, un lien Afficher les erreurs apparaît. Si ce lien apparaît, sélectionnez-le.

Ensuite, dans le menu contextuel du fichier error.json, sélectionnez Télécharger.

Ouvrez le fichier téléchargé pour déterminer la raison pour laquelle le compte n’a pas passé l’étape de validation. Le code JSON suivant indique qu’une fonctionnalité incompatible est activée sur le compte. Dans ce cas, vous devez désactiver la fonctionnalité, puis relancer le processus de validation.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Une fois votre compte validé, développez la section Étape 3 : Mettre à niveau le compte, puis cliquez sur Démarrer la mise à niveau.

Important

Les opérations d’écriture sont désactivées lors de la mise à niveau de votre compte. Les opérations de lecture ne sont pas désactivées, mais nous vous recommandons vivement de suspendre les opérations de lecture, car elles peuvent déstabiliser le processus de mise à niveau.

Une fois la migration terminée, un message similaire à ce qui suit s’affiche.

Ouvrez une fenêtre Commande Windows PowerShell.
Vérifiez que la dernière version du module Azure PowerShell est installée. Consultez Installer le module Azure PowerShell.
Connectez-vous à votre abonnement Azure avec la commande Connect-AzAccount et suivez les instructions à l’écran.
```
Connect-AzAccount
```
Si votre identité est associée à plusieurs abonnements, définissez votre abonnement actif.
```
$context = Get-AzSubscription -SubscriptionId <subscription-id>
Set-AzContext $context
```
Remplacez la valeur d’espace réservé <subscription-id> par l’ID de votre abonnement.
Validez votre compte de stockage en utilisant la commande suivante.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
```
- Remplacez la valeur d’espace réservé <resource-group-name> par le nom de votre groupe de ressources.
- Remplacez la valeur d’espace réservé <storage-account-name> par le nom de votre compte de stockage.
Selon la taille de votre compte, ce processus peut prendre un certain temps. Vous pouvez utiliser le commutateur asJob pour exécuter la commande dans un travail en arrière-plan afin que votre client ne soit pas bloqué. La commande s’exécute à distance, mais le travail existe sur votre ordinateur local ou sur la machine virtuelle à partir de laquelle vous exécutez la commande. Les résultats sont transmis à votre ordinateur local ou à la machine virtuelle.
Pour vérifier l’état du travail et afficher toutes les propriétés du travail dans une liste, dirigez la variable de retour vers la cmdlet Format-List.
```
$result | Format-List -Property *
```
Si la validation réussit, la propriété État sera définie sur Terminé.

Si la validation échoue, la propriété État sera définie sur Échec, et la propriété Erreur indiquera les erreurs de validation.

La sortie suivante indique qu’une fonctionnalité incompatible est activée sur le compte. Dans ce cas, vous devez désactiver la fonctionnalité, puis relancer le processus de validation.

Dans certains cas, la propriété Erreur vous fournit un chemin d’accès à un fichier nommé error.json. Vous pouvez ouvrir ce fichier pour déterminer la raison pour laquelle le compte n’a pas réussi l’étape de validation.

Le code JSON suivant indique qu’une fonctionnalité incompatible est activée sur le compte. Dans ce cas, vous devez désactiver la fonctionnalité, puis relancer le processus de validation.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Une fois que votre compte a réussi la validation, démarrez la mise à niveau en exécutant la commande suivante.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
```
À l’instar de l’exemple de validation ci-dessus, cet exemple utilise le commutateur asJob pour exécuter la commande dans un travail en arrière-plan. Le commutateur Force remplace les invites pour confirmer la mise à niveau. Si vous n’utilisez pas le commutateur AsJob, vous n’êtes pas obligé d’utiliser le commutateur Force, car vous pouvez simplement répondre aux invites.

Important

Les opérations d’écriture sont désactivées lors de la mise à niveau de votre compte. Les opérations de lecture ne sont pas désactivées, mais nous vous recommandons vivement de suspendre les opérations de lecture, car elles peuvent déstabiliser le processus de mise à niveau.

Pour vérifier l’état du travail, utilisez les mêmes techniques que celles décrites dans les étapes précédentes. Pendant l’exécution du processus, la propriété État sera définie sur Exécution en cours.

Une fois la migration terminée, la propriété État sera définie sur Terminé et la propriété Erreur n’indiquera aucune erreur.

Important

Une estimation approximative de la durée de mise à niveau serait d’environ 5 à 10 minutes pour 2 millions d’objets blob. Par exemple, si le compte contient 10 millions d’objets blob, la mise à niveau prendra environ 25 à 50 minutes. Les comptes qui contiennent moins de 2 millions d’objets blob sont généralement mis à niveau en moins de 10 minutes.

Commencez par ouvrir Azure Cloud Shell ou, si vous avez installé Azure CLI localement, ouvrez une application console de commandes telle que Windows PowerShell.
Vérifiez que la version 2.29.0 d’Azure CLI ou une version supérieure est installée à l’aide de la commande suivante.
```
 az --version
```
Si la version d’Azure CLI est inférieure à 2.29.0, installez la version la plus récente. Pour plus d’informations, consultez la rubrique Installation de l’interface de ligne de commande Azure (CLI).
Si votre identité est associée à plusieurs abonnements, définissez votre abonnement actif.
```
   az account set --subscription <subscription-id>
```
Remplacez la valeur d’espace réservé <subscription-id> par l’ID de votre abonnement.
Validez votre compte de stockage en utilisant la commande suivante.
```
az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
```
- Remplacez la valeur d’espace réservé <resource-group-name> par le nom de votre groupe de ressources.
- Remplacez la valeur d’espace réservé <storage-account-name> par le nom de votre compte de stockage.
Si la validation réussit, le processus se termine et aucune erreur ne s’affiche.

Si la validation échoue, une erreur de validation s’affiche dans la console. Par exemple, l’erreur (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled indique qu’une fonctionnalité incompatible (Contrôle de version) est activée sur le compte. Dans ce cas, vous devez désactiver la fonctionnalité, puis relancer le processus de validation.

Dans certains cas, le chemin d’accès à un fichier nommé error.json s’affiche dans la console. Vous pouvez ouvrir ce fichier pour déterminer la raison pour laquelle le compte n’a pas réussi l’étape de validation.

Le code JSON suivant indique qu’une fonctionnalité incompatible est activée sur le compte. Dans ce cas, vous devez désactiver la fonctionnalité, puis relancer le processus de validation.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Une fois que votre compte a réussi la validation, démarrez la mise à niveau en exécutant la commande suivante.
```
az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
```
Important

Les opérations d’écriture sont désactivées lors de la mise à niveau de votre compte. Les opérations de lecture ne sont pas désactivées, mais nous vous recommandons vivement de suspendre les opérations de lecture, car elles peuvent déstabiliser le processus de mise à niveau.

Si la migration réussit, le processus se termine et aucune erreur ne s’affiche.

Arrêter la mise à niveau

Vous pouvez arrêter la migration avant qu’elle ne soit terminée.

Pour arrêter la mise à niveau avant qu’elle ne soit terminée, sélectionnez Annuler la mise à niveau pendant que la mise à niveau est en cours.

Cancel upgrade

Pour arrêter la mise à niveau avant qu’elle ne soit terminée, utilisez la commande Stop-AzStorageAccountHierarchicalNamespaceUpgrade.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Pour arrêter la mise à niveau avant qu’elle ne soit terminée, utilisez la commande az storage account hns-migration stop.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Migrer les données, les charges de travail et les applications

Configurez des services dans vos charges de travail pour qu’ils pointent vers le point de terminaison du service BLOB ou le point de terminaison de Data Lake Storage .
Pour les charges de travail Hadoop qui utilisent le pilote Windows Azure Storage Blob ou le pilote WASB, veillez à les modifier pour utiliser le pilote Azure Blob File System (ABFS). Contrairement au pilote WASB qui effectue des demandes au point de terminaison du service BLOB, le pilote ABFS envoie des demandes au point de terminaison de Data Lake Storage de votre compte.
Testez les applications personnalisées pour vous assurer qu’elles fonctionnent comme prévu avec votre compte mis à niveau.

L’accès multiprotocole sur Data Lake Storage permet à la plupart des applications de continuer à utiliser les API d’objets Blob sans modification. Si vous rencontrez des problèmes ou si vous souhaitez utiliser des API pour travailler avec des ACL et des opérations d’annuaire, envisagez de déplacer une partie de votre code pour utiliser des API Data Lake Storage Gen2. Consultez les guides concernant .NET, Java, Python, Node.js et REST.
Testez des scripts personnalisés pour vous assurer qu’elles fonctionnent comme prévu avec votre compte mis à niveau.

Comme c’est le cas avec les API d’objets BLOB, un grand nombre de vos scripts seront probablement opérationnels sans que vous ayez à les modifier. Toutefois, si nécessaire, vous pouvez mettre à jour les fichiers de scripts pour qu’ils utilisent les applets de commande PowerShell Data Lake Storage Gen2 et les commandes Azure CLI.

Voir aussi

Présentation d'Azure Data Lake Storage Gen2