Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Cet article fournit des recommandations de stockage pour les organisations exécutant des charges de travail IA sur Azure infrastructure. Une solution de stockage pour les charges de travail IA sur Azure infrastructure doit gérer les demandes de stockage, d’accès et de transfert de données inhérentes à l’entraînement et à l’inférence du modèle IA.
Les charges de travail d’IA nécessitent un débit élevé et une faible latence pour un accès et un traitement efficaces des données. Elles nécessitent également des mécanismes de contrôle de version et de cohérence des données pour garantir des résultats précis et reproductibles dans des environnements distribués. Lors de la sélection de la solution de stockage appropriée, prenez en compte des facteurs tels que les temps de transfert des données, la latence, les exigences de performance et la compatibilité avec les systèmes existants.
Utilisez un système de fichiers pour les données actives. Implémentez un système de fichiers pour stocker les données « spécifiques aux tâches/à chaud » activement utilisées ou générées par les tâches d’IA. Cette solution est idéale pour le traitement de données en temps réel grâce à sa faible latence et son débit élevé. Ces capacités sont cruciales pour optimiser les performances des flux de travail d’IA. Azure a trois solutions de système de fichiers principales pour prendre en charge l’apprentissage et l’inférence des modèles IA sur Azure infrastructure. Pour choisir le bon système de fichiers, suivez ces recommandations :
Utilisez Azure Managed Lustre pour les temps de transfert de données les plus bas et la latence réduite. Azure Managed Lustre offre des performances élevées avec des fonctionnalités de système de fichiers parallèles et simplifie la gestion avec l’intégration de Azure. Il est économique, avec des coûts de stockage basés sur l'utilisation et permet l'importation sélective de données à partir de Stockage Blob, en optimisant la gestion des données.
Utilisez Azure NetApp Files lorsque vous avez besoin de fonctionnalités et de performances d’entreprise pour les charges de travail IA. Azure NetApp Files offre une fiabilité et des performances élevées, idéales pour les charges de travail stratégiques. Azure NetApp Files est bénéfique si vous avez des investissements existants dans l’infrastructure NetApp. Il est utile pour les capacités hybrides dans le cloud et lorsque vous devez personnaliser et affiner les configurations de stockage.
Utilisez les systèmes de fichiers locaux NVMe/SSD lorsque la performance est la priorité absolue. Ils agrègent le NVMe local de calcul (nœuds de travail) en utilisant un système de fichiers parallèles dédié à la tâche, tel que BeeGFS On Demand (BeeOND). Ils fonctionnent directement sur les nœuds de calcul pour créer un système de fichiers temporaire et performant pendant la tâche. Ces systèmes offrent une latence ultra-faible et un débit élevé, les rendant idéaux pour les applications gourmandes en E/S telles que l’entraînement au deep learning ou l’inférence en temps réel.
Transférer des données inactives vers Stockage Blob Azure. Une fois le travail terminé, transférez les données de travail inactives de Azure Managed Lustre vers Stockage Blob Azure pour un stockage à long terme et rentable. Le Blob Storage offre des options évolutives avec différents niveaux d’accès, assurant un stockage efficace des données inactives ou peu consultées, tout en les gardant disponibles au besoin.
Mettez en place un mécanisme de sauvegarde pour l’entraînement des modèles. Configurez un mécanisme de point de contrôle qui enregistre l’état du modèle, y compris les poids d’entraînement et les paramètres, à intervalles réguliers, tels que toutes les 500 itérations. Stockez ces données de point de contrôle dans Azure Managed Lustre pour permettre le redémarrage de l’entraînement du modèle à partir d’un état précédemment enregistré, ce qui améliore la flexibilité et la résilience de vos flux de travail IA.
Automatisez la migration des données vers des niveaux de stockage à coût réduit. Configurez Stockage Blob Azure stratégies de gestion du cycle de vie pour migrer automatiquement des données plus anciennes et rarement sollicitées vers des niveaux de stockage à moindre coût, tels que les niveaux Froid ou Archive. Cette approche optimise les coûts de stockage tout en assurant que les données importantes restent accessibles au besoin.
Assurez la cohérence des données dans les environnements distribués. Vérifiez la cohérence des données entre les charges de travail IA distribuées en configurant la synchronisation entre Azure Managed Lustre et Stockage Blob Azure. Cette synchronisation garantit que tous les nœuds accédant aux données travaillent avec la même version cohérente, évitant ainsi les erreurs et les incohérences dans les environnements distribués.
Activez la gestion des versions des données pour la reproductibilité. Activez le contrôle de version dans Stockage Blob Azure pour suivre les modifications apportées aux jeux de données et aux modèles au fil du temps. Cette fonctionnalité facilite les retours en arrière, améliore la reproductibilité et soutient la collaboration. Elle conserve un historique détaillé des modifications apportées aux données et aux modèles et permet de comparer et de restaurer les versions précédentes au besoin.