Partager via


Ajouter des cibles de stockage

Les cibles de stockage constituent un stockage back-end pour des fichiers accessibles via un Azure HPC Cache. Vous pouvez ajouter un stockage NFS (comme un système local), ou stocker des données dans un objet blob Azure.

Le cache présente toutes les cibles de stockage d’un espace de noms agrégé. Les chemins d’accès à l’espace de noms sont configurés séparément une fois que vous avez ajouté les cibles de stockage.

N’oubliez pas que les exportations de stockage doivent être accessibles à partir du réseau virtuel de votre cache. Pour le stockage matériel local, vous devrez peut-être configurer un serveur DNS capable de résoudre les noms d’hôtes pour l’accès au stockage NFS. Pour plus d’informations, lisez Accès DNS.

Ajoutez des cibles de stockage après avoir créé votre cache. Procédez comme suit :

  1. Création du cache
  2. Définir une cible de stockage (informations disponibles dans cet article)
  3. Créer les chemins d’accès côté client (pour l’espace de noms agrégé)

La procédure d’ajout d’une cible de stockage est légèrement différente selon le type de stockage utilisé. Vous trouverez ci-dessous des informations détaillées pour chacune de ces options.

Choisir le type de cible de stockage approprié

Vous pouvez sélectionner parmi trois types de cible de stockage : NFS, Blob et ADLS-NFS. Choisissez le type qui correspond au genre de système de stockage que vous utiliserez pour stocker vos fichiers pendant ce projet HPC Cache.

Ajouter une cible de stockage Blob Azure

Les nouvelles cibles de stockage Blob nécessitent un conteneur d’objets blob vide ou un conteneur comprenant des données au format du système de fichiers cloud Azure HPC Cache. Pour plus d’informations sur le préchargement d’un conteneur d’objets blob, consultez Déplacer les données dans le stockage d’objets blob Azure.

Sur le portail Azure, la page Ajouter une cible de stockage offre la possibilité de créer un conteneur d’objets blob juste avant de l’ajouter.

Remarque

À partir du portail Azure, ouvrez votre instance de cache, puis cliquez sur Cibles de stockage dans la barre latérale gauche.

capture d’écran des paramètres > page de la cible de stockage, avec deux cibles de stockage existantes dans une table et une mise en évidence autour du bouton + ajouter une cible de stockage au-dessus du tableau

La page Cibles de stockage répertorie toutes les cibles existantes et fournit un lien permettant d’en ajouter une nouvelle.

Cliquez sur le bouton Ajouter une cible de stockage.

capture d’écran de la page Ajouter une cible de stockage, où ont été renseignées les informations relatives à la nouvelle cible de stockage d’objets blob Azure

Pour définir un conteneur d’objets blob Azure, entrez les informations ci-dessous.

  • Nom de la cible de stockage - Définissez un nom permettant d’identifier cette cible de stockage dans Azure HPC Cache.

  • Type de cible : choisissez Objet blob.

  • Compte de stockage : sélectionnez le compte que vous souhaitez utiliser.

    Vous devez autoriser l’instance de cache à accéder au compte de stockage, en suivant la procédure décrite dans Ajouter les rôles d’accès.

    Pour plus d’informations sur le type de compte de stockage que vous pouvez utiliser, lisez Exigences relatives au stockage Blob.

  • Conteneur de stockage : sélectionnez le conteneur d’objets blob pour cette cible ou cliquez sur Créer nouveau.

    capture d’écran de la boîte de dialogue permettant de spécifier le nom et le niveau d’accès (privé) du nouveau conteneur

Lorsque vous avez terminé, cliquez sur OK pour ajouter la cible de stockage.

Remarque

Si votre pare-feu de compte de stockage est défini de façon à limiter l’accès uniquement aux « réseaux sélectionnés », utilisez la solution de contournement temporaire décrite dans Paramètres du pare-feu de compte de Stockage Blob.

Ajouter les rôles de contrôle d’accès à votre compte

Azure HPC Cache utilise le contrôle d’accès en fonction du rôle (Azure RBAC) pour autoriser le service de cache à accéder aux cibles de stockage Blob Azure de votre compte de stockage.

Le propriétaire du compte de stockage doit ajouter explicitement les rôles Contributeur de comptes de stockage et Contributeur aux données Blob du stockage pour l’utilisateur « HPC Cache Resource Provider ».

Vous pouvez le faire à l’avance, ou en cliquant sur le lien de la page du portail à partir de laquelle vous ajoutez une cible de stockage Blob. N’oubliez pas qu’il peut falloir jusqu’à cinq minutes pour que les paramètres de rôle se propagent dans l’environnement Azure. Après avoir ajouté les rôles, patientez quelques minutes avant de créer une cible de stockage.

  1. Ouvrez Contrôle d’accès (IAM) pour votre compte de stockage.

  2. Sélectionnez Ajouter>Ajouter une attribution de rôle pour ouvrir la page Ajouter une attribution de rôle.

  3. Attribuez les rôles suivants, un par un. Pour connaître les étapes détaillées, consultez Attribuer des rôles Azure à l’aide du portail Azure.

    Paramètre Valeur
    Rôles Contributeur de compte de stockage
    Contributeur aux données Blob du stockage
    Attribuer l’accès à « Fournisseur de ressources HPC Cache » ou « Fournisseur de ressources StorageCache »

    Page Ajouter une attribution de rôle

Ajouter une cible de stockage NFS

Une cible de stockage NFS a des paramètres différents d’une cible de stockage d’objets BLOB, y compris un paramètre de modèle d’utilisation qui indique au cache comment stocker les données de ce système de stockage.

Capture d’écran de la page Ajouter la cible de stockage avec le type de cible défini sur NFS

Remarque

Avant de créer une cible de stockage NFS, assurez-vous que votre système de stockage est accessible à partir de l’Azure HPC Cache et répond aux exigences d’autorisation. La création d’une cible de stockage échoue si le cache ne peut pas accéder au système de stockage. Pour plus d’informations, consultez Conditions requises pour le stockage NFS et Résolution des problèmes de configuration NAS et des cibles de stockage NFS.

Choisir un modèle d’utilisation

Lorsque vous créez une cible de stockage qui utilise NFS pour atteindre son système de stockage, vous devez choisir un modèle d’utilisation pour cette cible. Ce modèle détermine la façon dont vos données sont mises en cache.

Pour plus d’informations sur l’ensemble de ces paramètres, consultez Comprendre les modèles d’utilisation.

Les modèles d’utilisation intégrés de HPC Cache vous permettent de choisir la manière d’équilibrer la vitesse de réponse avec le risque d’obtenir des données obsolètes. Si vous souhaitez optimiser la vitesse de lecture des fichiers, vous pourriez ne pas vous préoccuper du fait que les fichiers dans le cache sont vérifiés par rapport aux fichiers sur le serveur principal. Sinon, si vous souhaitez vous assurer que vos fichiers sont toujours à jour avec le stockage étendu, choisissez un modèle qui effectue des vérifications fréquemment.

Remarque

Les caches de style à débit élevé prennent en charge la mise en cache en lecture uniquement.

Ces trois options couvrent la plupart des situations :

  • Nombreuses lectures, écritures peu fréquentes : accélère l’accès en lecture aux fichiers statiques ou rarement modifiés.

    Cette option met en cache les fichiers des lectures client, mais transmet immédiatement les écritures client au stockage principal. Les fichiers stockés dans le cache ne sont pas comparés automatiquement aux fichiers sur le volume de stockage NFS.

    N’utilisez pas cette option s’il existe un risque de modification directe d’un fichier sur le système de stockage sans l’avoir d’abord écrit dans le cache. Si cela se produit, la version mise en cache du fichier n’est pas synchronisée avec le fichier sur le serveur principal.

  • Opérations d’écriture supérieures à 15 % : cette option accélère les performances de lecture et d’écriture.

    Les lectures et écritures du client sont mises en cache. Les fichiers du cache sont supposés être plus récents que les fichiers sur le système de stockage principal. Les fichiers mis en cache ne sont automatiquement vérifiés par rapport aux fichiers du stockage principal que toutes les huit heures. Les fichiers modifiés dans le cache sont écrits dans le système de stockage back-end après être restés dans le cache pendant une heure sans aucune autre modification.

    N’utilisez pas cette option si un client monte directement le volume de stockage principal, car il existe un risque que des fichiers soient obsolètes.

  • Les clients écrivent dans la cible NFS en ignorant le cache : choisissez cette option si des clients dans votre workflow écrivent des données directement dans le système de stockage sans écrire au préalable dans le cache, ou si vous voulez optimiser la cohérence des données.

    Les fichiers demandés par les clients sont mis en cache, mais toute modification apportée à ces fichiers à partir du client est immédiatement retransmise au système de stockage backend. Les fichiers du cache sont fréquemment comparés aux versions backend pour y rechercher des mises à jour. Cette vérification assure la cohérence des données lorsque les fichiers sont modifiés directement sur le système de stockage plutôt que dans le cache.

Pour plus d’informations sur les autres options, consultez Comprendre les modèles d’utilisation.

Ce tableau résume les différences entre les modèles d’utilisation :

Modèle d’utilisation Mode de mise en cache Minuteur de vérification Minuteur d’écriture différée
Mise en cache en lecture seule Lire 30 secondes Aucun
Mise en cache en lecture-écriture Lecture/écriture 8 heures 1 heure

Remarque

La valeur Vérification du serveur principal s’affiche lorsque le cache compare automatiquement ses fichiers aux fichiers sources dans le stockage étendu. Toutefois, vous pouvez déclencher une comparaison en envoyant une requête client qui comprend une opération readdirplus sur le système de stockage principal. Readdirplus est une API NFS standard (également appelée lecture étendue) qui retourne des métadonnées d’annuaire, ce qui amène le cache à comparer et à mettre à jour les fichiers.

Créer une cible de stockage NFS

À partir du portail Azure, ouvrez votre instance de cache, puis cliquez sur Cibles de stockage dans la barre latérale gauche.

capture d’écran des paramètres > page de la cible de stockage, avec deux cibles de stockage existantes dans une table et une mise en évidence autour du bouton + ajouter une cible de stockage au-dessus du tableau

La page Cibles de stockage répertorie toutes les cibles existantes et fournit un lien permettant d’en ajouter une nouvelle.

Cliquez sur le bouton Ajouter une cible de stockage.

Capture d’écran de la page Ajouter la cible de stockage avec le type de cible défini sur NFS

Fournissez les informations suivantes pour une cible de stockage NFS :

  • Nom de la cible de stockage - Définissez un nom permettant d’identifier cette cible de stockage dans Azure HPC Cache.

  • Type de cible - Choisissez NFS.

  • Nom d’hôte - Entrez l’adresse IP ou le nom de domaine complet de votre système de stockage NFS (Utilisez un nom de domaine uniquement si votre cache a accès à un serveur DNS capable de résoudre le nom.) Vous pouvez entrer plusieurs adresses IP si votre système de stockage est référencé par plusieurs adresses IP.

  • Modèle d’utilisation : choisissez l’un des profils de mise en cache des données en fonction de votre workflow, comme décrit dans Choisir un modèle d’utilisation précédemment.

Lorsque vous avez terminé, cliquez sur OK pour ajouter la cible de stockage.

Ajouter une nouvelle cible de stockage ADLS-NFS

Les cibles de stockage ADLS-NFS utilisent des conteneurs d’objets Blob Azure qui prennent en charge le protocole NFS 3.0.

Consultez Prise en charge du protocole NFS 3.0 pour en savoir plus sur cette fonctionnalité.

Les cibles de stockage ADLS-NFS ont des similarités avec les cibles de stockage d’objets Blob et avec les cibles de stockage NFS. Par exemple :

  • Comme pour une cible de stockage d’objets Blob, vous devez accorder à Azure HPC Cache l’autorisation d’accéder à votre compte de stockage.

  • À l’instar d’une cible de stockage NFS, vous devez définir un modèle d’utilisation du cache.

  • Étant donné que les conteneurs d’objets blob avec NFS possèdent une structure hiérarchique compatible NFS, vous n’avez pas besoin d’utiliser le cache pour ingérer les données, et les conteneurs sont lisibles par d’autres systèmes NFS.

    Vous pouvez précharger des données dans un conteneur ADLS-NFS, les ajouter à un cache HPC en tant que cible de stockage, puis accéder aux données ultérieurement à partir de l’extérieur d’un cache HPC. Lorsque vous utilisez un conteneur d’objets Blob standard en tant que cible de stockage du cache HPC, les données sont écrites dans un format propriétaire et sont accessibles uniquement à partir d’autres produits compatibles avec le Azure HPC Cache.

Avant de pouvoir créer une cible de stockage ADLS-NFS, vous devez créer un compte de stockage compatible NFS. Suivez les étapes dans Conditions préalables pour Azure HPC Cache et les instructions dans Monter le stockage Blob à l’aide de NFS. Si vous n’utilisez pas le même réseau virtuel pour le cache et le compte de stockage, assurez-vous que le réseau virtuel du cache peut accéder au réseau virtuel du compte de stockage.

Une fois votre compte de stockage configuré, vous pouvez créer un conteneur lors de la création de la cible de stockage.

Pour en savoir plus sur cette configuration, consultez Utiliser le stockage blob monté sur NFS avec Azure HPC Cache.

Pour créer une cible de stockage ADLS-NFS, ouvrez la page Ajouter une cible de stockage dans le portail Azure. (D’autres méthodes sont en cours de développement.)

Capture d’écran de la page Ajouter la cible de stockage avec le type de cible défini sur ADLS-NFS

Entrez les informations suivantes.

  • Nom de la cible de stockage - Définissez un nom permettant d’identifier cette cible de stockage dans Azure HPC Cache.

  • Type de cible - Choisissez ADLS-NFS.

  • Compte de stockage : sélectionnez le compte que vous souhaitez utiliser. Si votre compte de stockage avec NFS ne figure pas dans la liste, vérifiez qu’il est conforme aux prérequis et que le cache peut y accéder.

    Vous devez autoriser l’instance de cache à accéder au compte de stockage, en suivant la procédure décrite dans Ajouter les rôles d’accès.

  • Conteneur de stockage : sélectionnez le conteneur d’objets blob compatible NFS pour cette cible ou cliquez sur Créer nouveau.

  • Modèle d’utilisation : choisissez l’un des profils de mise en cache des données en fonction de votre workflow, comme décrit dans Choisir un modèle d’utilisation précédemment.

Lorsque vous avez terminé, cliquez sur OK pour ajouter la cible de stockage.

Afficher les cibles de stockage

Vous pouvez utiliser le portail Azure ou l’interface de ligne de commande Azure pour afficher les cibles de stockage déjà définies pour votre cache.

À partir du portail Azure, ouvrez votre instance de cache, puis cliquez sur Cibles de stockage, qi se trouve sous le titre Paramètres dans la barre latérale gauche. La page des cibles de stockage répertorie toutes les cibles existantes et les commandes permettant de les ajouter ou de les supprimer.

Cliquez sur le nom d’une cible de stockage pour ouvrir la page de détails correspondante.

Pour en savoir plus, consultez Afficher et gérer les cibles de stockage et Modifier les cibles de stockage.

Étapes suivantes

Après avoir créé des cibles de stockage, poursuivez avec ces tâches pour que votre cache soit opérationnel :

Si vous devez mettre à jour des paramètres, vous pouvez modifier une cible de stockage.