Créer un travail d’importation à partir du Stockage Blob vers un système de fichiers

Azure Managed Lustre s’intègre au Stockage Blob Azure pour simplifier le processus d’importation des données d’un conteneur d’objets blob vers un système de fichiers. Vous pouvez configurer cette intégration lors de la création du cluster et créer un travail d’importation à tout moment après la création du cluster.

Dans cet article, vous allez apprendre à utiliser le portail Azure pour créer un travail d’importation afin d’importer des données à partir d’un conteneur d’objets blob dans un système de fichiers Azure Managed Lustre existant.

Notes

Lorsque vous importez des données d’un conteneur d’objets blob vers un système de fichiers Azure Managed Lustre, seuls les noms de fichiers (espace de noms) et les métadonnées sont importés dans l’espace de noms Lustre. Le contenu réel d’un objet blob est importé lorsqu’un client y accède pour la première fois. Lors de l’accès aux données pour la première fois, il y a un léger délai pendant que la fonctionnalité de gestion du stockage hiérarchique Lustre (HSM) extrait le contenu de l’objet blob dans le fichier correspondant dans le système de fichiers. Ce délai se produit uniquement lors de la première consultation d’un fichier.

Vous pouvez choisir de prérécupérer le contenu des objets blob à l’aide de la commande Lustre lfs hsm_restore à partir d’un client monté avec des fonctionnalités sudo. Pour plus d’informations, consultez Restaurer des données à partir du Stockage Blob.

Prérequis

• Système de fichiers Azure Managed Lustre existant : créez-en un à l’aide du portail Azure, d’Azure Resource Manager ou de Terraform. Pour en savoir plus sur l’intégration d’objets blob, consultez Conditions préalables à l’intégration d’objets blob.

Créer une tâche d’importation

L’importation de données à partir d’un conteneur d’objets blob dans un système de fichiers Azure Managed Lustre commence par la création d’un travail d’importation. Dans cette section, vous allez apprendre à créer, configurer et démarrer un travail d’importation dans le portail Azure.

Notes

Un seul travail d’importation ou d’exportation peut s’exécuter à la fois. Par exemple, si un travail d’importation est en cours, la tentative de démarrage d’un autre travail d’importation ou d’exportation renvoie une erreur.

Configurer les options d’importation et démarrer le travail

Pour configurer les options d’importation et démarrer le travail, procédez comme suit :

1. Dans le portail Azure, ouvrez votre système de fichiers Azure Managed Lustre et accédez au volet d’intégration d’objets blob sous Paramètres.
2. Sélectionnez + Créer un travail.
3. Sélectionnez Importer dans la liste déroulante Type de travail .
4. Entrez un nom pour le travail d’importation dans le champ Nom du travail .
5. Choisissez une valeur pour le champ Mode de résolution des conflits . Ce paramètre détermine comment le travail d’importation gère les conflits entre les fichiers existants dans le système de fichiers et les fichiers importés. Dans cet exemple, nous sélectionnons Ignorer. Pour plus d’informations, consultez Mode de résolution des conflits.
6. Sélectionnez une valeur pour Tolérance d’erreur. Ce paramètre détermine comment le travail d’importation gère les erreurs qui se produisent pendant le processus d’importation. Dans cet exemple, nous sélectionnons Autoriser les erreurs. Pour plus d’informations, consultez Tolérance d’erreur.
7. Entrez les préfixes d’importation pour filtrer les données importées à partir du Stockage Blob. Le portail Azure vous permet d’entrer jusqu’à 10 préfixes. Dans cet exemple, nous spécifions les préfixes /data et /logs. Pour plus d’informations, consultez Importer le préfixe.
8. Une fois le travail configuré, sélectionnez Démarrer pour commencer le processus d’importation.

La capture d’écran suivante montre les paramètres de configuration du travail d’importation dans le portail Azure :

Surveiller le travail d’importation

Une fois le travail d’importation créé, vous pouvez surveiller sa progression pour vous assurer qu’il se termine correctement. Dans cette section, vous allez apprendre à surveiller le travail d’importation dans le portail Azure.

Pour afficher les détails du travail, procédez comme suit :

1. Dans le portail Azure, ouvrez votre système de fichiers Azure Managed Lustre et accédez au volet d’intégration d’objets blob sous Paramètres.
2. Sélectionnez le travail d’importation que vous souhaitez surveiller dans la liste des travaux récents.
3. Le volet Détails du travail affiche des informations sur le travail, notamment l’état du travail, l’heure de début, les objets blob importés et les erreurs ou conflits qui se sont produits pendant le processus d’importation.

La capture d’écran suivante montre les détails d’un travail d’importation dans le portail Azure :

Une fois le travail terminé, vous pouvez afficher le conteneur de journalisation pour afficher des informations détaillées sur le processus d’importation, y compris les erreurs ou les conflits qui se sont produits. Ces informations ne sont disponibles qu’une fois le travail terminé.

Étapes suivantes

Pour plus d’informations sur l’utilisation du Stockage Blob Azure avec Azure Managed Lustre, consultez Utiliser le stockage Blob Azure avec un système de fichiers Azure Managed Lustre.