Partager via

Qu’est-ce qu’Azure Managed Lustre ?

  • Article

Le service Azure Managed Lustre vous permet de créer rapidement un système de fichiers Lustre basé sur Azure à utiliser dans les travaux de calcul hautes performances basés sur le cloud.

Lustre est un système de fichiers parallèle open source qui peut être mis à l’échelle pour atteindre des tailles de stockage massives tout en fournissant un débit hautes performances. Lustre est utilisé par les supercalculateurs les plus rapides du monde et dans les flux de travail centrés sur les données pour de nombreux types d’industries. Pour plus d’informations, consultez https://www.lustre.org.

Azure Managed Lustre vous épargne le travail d’approvisionnement, de configuration et de gestion de votre propre système de fichiers Lustre. À l’aide d’une commande Create dans le Portail Azure, vous pouvez déployer rapidement un système de fichiers Lustre de la taille dont vous avez besoin, connecter vos clients et être prêt à utiliser le système.

Microsoft Stockage Blob Azure est intégré à Azure Managed Lustre, ce qui vous permet de spécifier les fichiers à importer à partir d’un conteneur d’objets blob pour l’utilisation du système de fichiers. Une fois les travaux de calcul hautes performances terminés, vous pouvez exporter les données modifiées vers Stockage Blob Azure et supprimer le système Azure Managed Lustre. Pour plus d’informations, consultez intégration Stockage Blob Azure, plus loin dans cet article.

Vous pouvez également utiliser votre système de fichiers Azure Managed Lustre avec vos conteneurs Azure Kubernetes Service (AKS). Pour plus d’informations, consultez Utiliser Azure Managed Lustre avec Kubernetes.

Sécurité des données dans Azure Managed Lustre

Toutes les données stockées dans Azure sont chiffrées au repos à l’aide de clés managées Azure par défaut. Si vous souhaitez gérer les clés utilisées pour chiffrer les données stockées dans votre cluster Azure Managed Lustre, suivez les instructions fournies dans Chiffrement côté serveur du stockage sur disque Azure.

Toutes les informations d’un système de fichiers Azure Managed Lustre sont également protégées par le chiffrement de l’hôte de machine virtuelle sur les disques managés qui contiennent vos données, même si vous ajoutez une clé gérée par le client pour les disques Lustre. L’ajout d’une clé gérée par le client offre un niveau de sécurité supplémentaire pour les clients ayant des besoins de sécurité élevés. Pour plus d’informations, consultez Chiffrement côté serveur du stockage sur disque Azure.

Notes

Azure Managed Lustre ne stocke pas les données client en dehors de la région dans laquelle vous déployez le service instance.

Résilience des données dans Azure Managed Lustre

Votre système de fichiers Azure Managed Lustre utilise des disques managés Azure en tant que disques de données ost (Object Storage Target).

Tous les systèmes de fichiers Azure Managed Lustre qui sont créés en tant que type de système de fichiers « durable » utilisent des disques SSD Azure Premium (ssd) configurés en tant que stockage localement redondant (LRS). Le contenu du disque LRS est répliqué trois fois dans le centre de données local pour vous protéger contre les défaillances de disque et de rack de serveur.

Le système de fichiers Azure Managed Lustre lui-même contribue également à la résilience des données par le biais des processus de stockage d’objets qu’il utilise pour stocker les données sur ces disques.

Si vous avez besoin d’une redondance de données régionale ou globale, vous pouvez intégrer votre système de fichiers à Stockage Blob Azure. Une fois intégré, vous pouvez lancer un travail d’exportation pour exporter des fichiers vers un conteneur Stockage Blob Azure avec une stratégie de redondance différente pour le stockage à long terme. Configurez Stockage Blob Azure redondance pour le compte de stockage. Vous pouvez choisir la redondance des données zonales (ZRS) ou la redondance des données globales (GRS) lorsque vous créez le compte de stockage. Pour en savoir plus sur les options de redondance des données pour vos fichiers Azure Managed Lustre, consultez Types de comptes de stockage pris en charge.

intégration Stockage Blob Azure

Microsoft Stockage Blob Azure est intégré à Azure Managed Lustre, ce qui vous permet de spécifier les fichiers à importer à partir d’un conteneur d’objets blob pour l’utilisation du système de fichiers. Stockage Blob Azure’intégration est une application de la gestion hiérarchique du stockage (HSM) Lustre. Il n’est pas nécessaire d’importer l’ensemble de votre jeu de données pour chaque travail. Au lieu de cela, vous pouvez créer un autre système de fichiers pour différents travaux et stocker des données dans des conteneurs d’objets blob Azure à moindre coût entre les utilisations. Une fois les travaux de calcul hautes performances terminés, vous pouvez exporter les données modifiées vers Stockage Blob Azure et supprimer le système Azure Managed Lustre.

Azure Managed Lustre est personnalisé pour fonctionner en toute transparence avec Stockage Blob Azure. Vous pouvez spécifier un conteneur d’objets blob existant pour rendre ses données existantes accessibles à partir de votre système de fichiers Azure Managed Lustre, ou spécifier un conteneur vide que vous remplissez avec des données ou utilisez pour stocker votre sortie. L’installation et la maintenance sont effectuées pour vous. Vous spécifiez simplement le conteneur d’objets blob à utiliser.

Si vous intégrez Stockage Blob Azure lorsque vous créez un système de fichiers Lustre, vous pouvez utiliser les fonctionnalités HSM Lustre. Si vous ne souhaitez pas bénéficier des avantages du HSM Lustre, vous pouvez importer et exporter des données pour le système de fichiers Azure Managed Lustre à l’aide de commandes clientes directement.

Utiliser Azure Managed Lustre avec Kubernetes

Si vous souhaitez utiliser un système de stockage Azure Managed Lustre avec vos conteneurs Kubernetes, vous pouvez utiliser le pilote CSI (Azure Lustre Container Support Interface) pour Kubernetes, qui est compatible avec Azure Kubernetes Service (AKS). Les autres types d’installation de Kubernetes ne sont actuellement pas pris en charge.

Kubernetes peut simplifier la configuration et le déploiement de points de terminaison de client virtuel pour votre charge de travail Azure Managed Lustre, en automatisant les tâches d’installation telles que :

  • La création d’Azure Virtual Machine Scale Sets utilisée par Azure Kubernetes Service (AKS) pour exécuter les pods.
  • Chargement du logiciel client Lustre correct sur les instances de machine virtuelle.
  • Spécification du point de montage Azure Managed Lustre et propagation de ces informations aux pods clients.

Le pilote CSI Azure Lustre pour Kubernetes peut automatiser l’installation du logiciel client et le montage des lecteurs. Le pilote fournit un plug-in de contrôleur CSI en tant que déploiement avec deux réplicas par défaut, et un plug-in de nœud CSI, en tant que DaemonSet. Vous pouvez modifier le nombre de réplicas.

Pour savoir quelles versions de pilote utiliser, consultez Versions kubernetes compatibles.

Étapes suivantes