Exporter des données vers Stockage Blob Azure

Vous pouvez copier des données de votre système de fichiers Azure Managed Lustre vers un stockage à long terme dans Stockage Blob Azure. Cet article décrit deux méthodes d’exportation de données :

Tâche d’exportation manuelle : exportez des données à la demande à l’aide d’une tâche d’exportation unique.
Exportation automatique : Synchronisez automatiquement et en continu les fichiers nouveaux et modifiés de votre système de fichiers vers le Stockage Blob Azure.

Note

Les travaux d’exportation sont disponibles uniquement lorsque vous intégrez Stockage Blob Azure à votre système de fichiers Lustre géré par Azure lors de la création du système de fichiers. Pour plus d’informations, consultez intégration à Stockage Blob Azure. Si vous n’avez pas intégré de conteneur d’objets blob lors de la création du système de fichiers, vous pouvez utiliser les commandes du système de fichiers client pour copier les données sans créer de travail d’exportation.

Limitations

Les limitations suivantes s’appliquent aux opérations d’exportation :

Une seule action d’importation ou d’exportation peut s’exécuter à la fois. Par exemple, si un travail d’exportation est en cours et que vous tentez de démarrer un autre travail d’exportation, vous recevez une erreur.
Les tâches d’exportation copient uniquement les fichiers qui sont nouveaux ou modifiés. Si le fichier que vous avez importé à partir du conteneur d’objets blob pendant la création du système de fichiers n’a pas changé, la tâche d’exportation n’exporte pas le fichier.
Les fichiers contenant uniquement des modifications de métadonnées ne sont pas exportés. Les modifications de métadonnées incluent le propriétaire, les autorisations, les attributs étendus et les modifications de nom (renommage). Cette limitation s’applique à la fois à l’exportation manuelle et à l’exportation automatique.
Les fichiers que vous supprimez dans le système de fichiers Azure Managed Lustre ne sont pas supprimés dans le conteneur d'objets blob d'origine pendant la tâche d'exportation. Le travail d’exportation ne supprime pas les fichiers dans le conteneur d’objets blob.
Les noms d’objets blob doivent être conformes à certaines règles d’affectation de noms. Les noms d’objets blob acceptables diffèrent légèrement des noms de fichiers POSIX acceptables. Le processus d’exportation conserve les caractères spéciaux dans les noms de fichiers en les évitant soigneusement lors de leur exportation vers des objets BLOB. Toutefois, un nom de fichier qui enfreint une règle de nommage d’objet blob (par exemple, dépassant la longueur maximale du nom d’objet blob) génère une erreur lorsque vous tentez d’exporter ce fichier.
Pour l’exportation automatique : les modifications de métadonnées telles que les renommages, les mises à jour de propriété ou les ajustements d’autorisation ne sont actuellement pas synchronisés.
Pour l'exportation automatique : lorsque vous supprimez des fichiers, des répertoires ou des liens symboliques dans le système de fichiers, ils ne sont pas supprimés du conteneur Stockage Blob.
Le Stockage Blob Azure ne prend pas en charge les liens physiques. Chaque lien dur est exporté en tant qu’objet blob unique. Si vous importez ces objets blob, ils deviennent des fichiers indépendants.

Tâche d’exportation manuelle

Une tâche d’exportation manuelle copie les fichiers nouveaux ou modifiés du système de fichiers vers le conteneur d’objets blob que vous avez spécifié lors de la création du système de fichiers.

Créer un travail d’exportation

Procédez comme suit pour créer un travail d’exportation dans le portail Azure :

Dans le portail Azure, ouvrez votre système de fichiers Azure Managed Lustre. Sous Paramètres, sélectionnez Intégration de blob.
Sélectionnez + Créer un travail.
Dans le menu déroulant Type de travail , sélectionnez Exporter.
Dans le champ chemin d’accès au système de fichiers, entrez une chaîne pour spécifier ce que vous souhaitez exporter.

Le travail d’exportation exporte tous les fichiers nouveaux ou modifiés dans le système de fichiers dont les noms de fichiers commencent par cette chaîne. Le travail écrit des fichiers dans le conteneur d’objets blob avec le même chemin d’accès de fichier (ou préfixe) qu’ils ont dans le système de fichiers Lustre. Pour éviter de remplacer les fichiers existants dans le conteneur d’objets blob, assurez-vous que le chemin du fichier dans votre système de fichiers Lustre ne chevauche pas le chemin existant du fichier dans le conteneur d’objets blob.

La capture d’écran suivante montre les paramètres de configuration d’un travail d’exportation dans le portail Azure.

Surveiller ou annuler un travail d’exportation

Vous pouvez surveiller ou annuler les tâches d’exportation dans la section Travaux récents du panneau Blob integration.

Une seule tâche d’archivage s’exécute à la fois. Pour annuler le travail en cours, sélectionnez le lien Annuler pour ce travail dans la table Travaux récents . Le lien Annuler n’est pas disponible pour les travaux terminés.

Réessayer un travail d’exportation

Si une tâche d’exportation ne se termine pas correctement, vous pouvez réessayer l’exportation en créant un travail d’exportation. Le nouveau travail copie uniquement les fichiers qui n’ont pas été copiés pendant le travail précédent.

Les nouvelles tentatives peuvent être courantes lorsque vous tentez d’exporter des données à partir de systèmes de fichiers actifs où les données changent fréquemment. Pour en savoir plus sur ces scénarios, consultez Exécuter des travaux d’exportation dans des systèmes de fichiers actifs.

Exécuter des travaux d’exportation dans des systèmes de fichiers actifs

Dans les systèmes de fichiers actifs, les modifications apportées aux fichiers pendant la tâche d’exportation peuvent entraîner l’échec du travail. Cet état d’échec indique que toutes les données du système de fichiers n’ont pas été exportées vers le Stockage Blob Azure. Dans ce cas, réessayez l’exportation en créant un nouveau travail d’exportation. Le nouveau travail copie uniquement les fichiers qui n’ont pas été copiés lors du travail précédent.

Dans les systèmes de fichiers avec beaucoup d’activités, les nouvelles tentatives peuvent échouer plusieurs fois, car les fichiers changent fréquemment. Pour vérifier qu’un fichier a été correctement exporté vers le stockage blob, vérifiez l’horodatage sur le blob correspondant. Une fois la tâche terminée, vous pouvez également consulter le conteneur de journaux configuré lors du déploiement pour obtenir des informations détaillées sur la tâche d’exportation. Le conteneur de journalisation fournit des informations de diagnostic sur les fichiers qui ont échoué et les raisons de l'échec.

Si vous envisagez de mettre hors service un cluster et souhaitez effectuer une dernière exportation vers le Stockage Blob Azure, assurez-vous que toutes les activités d’E/S sont arrêtées avant de lancer la tâche d’exportation. Cette approche permet de garantir que toutes les données sont exportées, car elle évite les erreurs en raison de l’activité du système de fichiers.

En savoir plus sur les métadonnées pour les fichiers exportés

Lorsque vous exportez des fichiers du système de fichiers Azure Managed Lustre vers le conteneur d’objets blob, le travail d’exportation enregistre des métadonnées supplémentaires pour simplifier l’importation du contenu dans un système de fichiers.

Le tableau suivant répertorie les attributs POSIX du système de fichiers Lustre que le travail d’exportation enregistre dans les métadonnées de l’objet blob sous forme de paires clé/valeur :

Attribut POSIX	Type
`owner`	int
`group`	int
`permissions`	octal ou `rwxrwxrwx` format ; le bit collant est pris en charge

La tâche d’exportation enregistre les attributs des répertoires dans un objet blob vide. Cet objet blob porte le même nom que le chemin d’accès du répertoire et contient la paire clé/valeur suivante dans les métadonnées de l’objet blob : hdi_isfolder : true.

Vous pouvez modifier manuellement les attributs POSIX avant d’utiliser le conteneur pour hydrater un nouveau cluster Lustre. Modifiez ou ajoutez des métadonnées d’objet blob à l’aide des paires clé/valeur décrites précédemment.

Copier un conteneur d’objets blob Lustre avec azcopy ou l’Explorateur Stockage

Vous pouvez déplacer ou copier le conteneur d’objets blob utilisé par le système de fichiers Lustre à l’aide de azcopy ou de l'Explorateur Stockage.

Pour azcopy, vous pouvez inclure des attributs de répertoire en ajoutant l'indicateur suivant :

--include-directory-stub

Lorsque vous incluez cet indicateur, les attributs POSIX du répertoire sont conservés pendant un transfert (par exemple, , ownergroupet permissions). Si vous utilisez azcopy sur le conteneur de stockage sans cet indicateur ou avec l’indicateur défini sur false, le transfert inclut les données et les répertoires. Toutefois, les répertoires ne conservent pas leurs attributs POSIX.

Dans l’Explorateur Stockage, vous pouvez activer cet indicateur dans Paramètres en sélectionnant Transferts et en sélectionnant la zone pour Inclure les stubs d’annuaire.

Export automatique

La fonctionnalité d’exportation automatique pour Azure Managed Lustre est une fonctionnalité qui synchronise automatiquement les modifications dans votre système de fichiers Azure Managed Lustre avec un conteneur de stockage Blob Azure lié.

À l’aide de cette fonctionnalité, vous pouvez contribuer à garantir que les fichiers nouveaux et modifiés dans le système de fichiers sont reflétés dans le conteneur Stockage Blob associé sans intervention manuelle. Cette fonctionnalité simplifie la gestion des données et améliore la synchronisation pour le stockage à long terme.

Fonctionnalité d’exportation automatique

L’exportation automatique fonctionne en surveillant en continu les modifications apportées au système de fichiers Azure Managed Lustre. En fonction de la stratégie d’exportation que vous configurez, elle met à jour le contenu du conteneur Stockage Blob associé pour refléter ces modifications. Cette fonctionnalité fournit un processus transparent et automatisé pour la réplication des données.

Voici comment l’exportation automatique gère différents types de modifications :

Nouvelle création de fichiers, nouveaux répertoires et modifications de contenu de fichier : le processus d’intégration d’objets blob identifie les nouveaux fichiers, répertoires et données qui ont changé. Il démarre automatiquement un travail d’exportation. L’exportation automatique garantit que la dernière version du fichier est transférée vers le stockage Blob.

L’exportation automatique fonctionne via des itérations d’exportation continue. Une fois l’itération terminée, le processus d’intégration d’objets blob analyse le système de fichiers pour les nouveaux fichiers, répertoires ou modifications de contenu. Il démarre une nouvelle itération d’un travail d’exportation.

L’exportation des journaux de travaux dans votre conteneur de journalisation configuré peut vous aider à identifier les problèmes de synchronisation et à comprendre pourquoi les opérations échouent.

Configurer l’exportation automatique

Activez l’exportation automatique sur un système de fichiers Azure Managed Lustre existant avec un conteneur Stockage Blob associé configuré. Vous pouvez configurer l'exportation automatique à l’aide des paramètres d’intégration Blob dans le portail Azure.

Pour créer un travail d’exportation automatique, procédez comme suit :

Dans le portail Azure, ouvrez votre système de fichiers Azure Managed Lustre. Sous Paramètres, sélectionnez Intégration de blob.
Sélectionnez + Créer un travail.
Dans la liste déroulante Type de travail , sélectionnez Exportation automatique.
Dans le champ chemin du système de fichiers, spécifiez un chemin d’accès au répertoire en entrant une chaîne.

Le système exporte continuellement tous les fichiers nouveaux ou modifiés dans le système de fichiers sous ce chemin d’accès (préfixe). Le système écrit des fichiers dans le conteneur d’objets blob avec le même chemin d’accès de fichier (ou préfixe) qu’ils ont dans le système de fichiers Lustre. La seule exception est si votre fichier Lustre a été importé à partir de ce chemin d’accès dans le conteneur d’objets blob.

Surveiller et gérer l’exportation automatique

Utilisez le portail Azure pour surveiller les activités d’exportation automatique et gérer les configurations.

Le volet d'intégration Blob affiche les détails des activités d'exportation dans la section Travaux récents, y compris l’état des travaux récents et les indicateurs liés à la synchronisation automatique.

Pour annuler un travail en cours, sélectionnez le lien Annuler associé à ce travail dans le tableau Travaux récents. Le lien Annuler est disponible uniquement pour le travail actuel.

Pour afficher les métriques d’un travail d’exportation automatique, sélectionnez la valeur Nom du travail. Le volet Métriques s’affiche dans le volet latéral du portail.

Métriques d’exportation automatique

Dans le portail, les métriques sont regroupées en deux catégories principales : Itération globale et actuelle.

Statistiques globales

Statistiques après l’activation de l’exportation automatique

Nombre total de fichiers exportés

Nombre de fichiers correctement copiés dans le conteneur d’objets blob associé après l’activation de l’exportation automatique.

Nombre total de Mio exportés

Taille cumulée des fichiers (en Mio) copiés avec succès dans le conteneur d’objets blob associé après l’activation de l’exportation automatique.

Itérations terminées

Le nombre de fois que le processus d'intégration Blob a détecté de nouvelles données ou des données modifiées et a initié un nouveau travail d'exportation.

Dernière itération réussie

Horodatage de fin de la dernière itération qui a correctement exporté toutes les données vers le conteneur blob associé.

Statistiques d’itération actuelles

Statistiques sur l’activité actuelle

Fichiers découverts

Nombre de fichiers que le travail d'exportation est en train d'exporter, y compris les fichiers déjà copiés avec succès dans le conteneur d'objets blob associé dans cette itération.*

MiB découvert

Taille de fichier agrégée en MiB que le travail d’exportation exporte actuellement, y compris les fichiers déjà copiés dans le conteneur d’objets blob associé dans cette itération.*

Fichiers exportés

Nombre de fichiers nouveaux et modifiés copiés avec succès dans le conteneur d'objets blob associé.

MiB exporté

Taille de fichier agrégée en MiB des données nouvelles et modifiées correctement copiées dans le conteneur d’objets blob associé.

Échec des fichiers

Nombre total de fichiers qui n’ont pas pu être copiés pendant l’itération actuelle. Sélectionnez ce lien pour accéder à la page Conteneur de journalisation pour afficher les journaux associés à cette tâche d’exportation automatique.

* Les métriques de l’itération en cours actuelle représentent jusqu’à présent. Par exemple, Les fichiers découverts sont le nombre de fichiers découverts pour l’exportation au moment de la création de rapports. Le prochain cycle de création de rapports peut indiquer que d’autres fichiers sont découverts.

Considérations et bonnes pratiques pour l’exportation automatique

Lorsque vous utilisez la fonctionnalité d’exportation automatique, tenez compte des meilleures pratiques suivantes pour garantir une opération fluide :

Gestion des conflits : si un fichier est modifié à la fois dans le système de fichiers et le stockage Blob, il existe un risque de remplacement. Utilisez la coordination au niveau de l’application pour empêcher les modifications en conflit.
Désactivez l’exportation automatique avant la suppression : avant de supprimer un système de fichiers ou son processus d’intégration d’objets blob, assurez-vous que toutes les mises à jour mises en file d’attente sont synchronisées. Vérifiez que la dernière heure d’itération réussie est récente et que la métrique Files Failed est égale à zéro pour éviter la perte de données. Ensuite, désactivez l’exportation automatique.

Commentaires

Cette page a-t-elle été utile ?

Dernière mise à jour : 2026-10-17