Qu’est-ce qu’une instance de calcul Azure Machine Learning ?

  • Article

Une instance de calcul Azure Machine Learning est une station de travail cloud managée pour les scientifiques des données. Chaque instance de calcul n’a qu’un seul propriétaire, mais vous pouvez partager des fichiers entre plusieurs instances de calcul.

Les instances de calcul facilitent le démarrage du développement avec Azure Machine Learning. Elles fournissent aux administrateurs informatiques des fonctionnalités de gestion et de préparation de l’entreprise.

Utilisez une instance de calcul comme environnement de développement complètement configuré et managé dans le cloud pour l’apprentissage automatique. Elle peut également être utilisée comme cible de calcul pour l’apprentissage et l’inférence à des fins de développement et de test.

Pour que la fonctionnalité d’instance de calcul Jupyter fonctionne, vérifiez que la communication avec le socket web n’est pas désactivée. Vérifiez que votre réseau autorise les connexions WebSocket à *.instances.azureml.net et *.instances.azureml.ms.

Important

Les éléments marqués (préversion) dans cet article sont actuellement en préversion publique. La préversion est fournie sans contrat de niveau de service et n’est pas recommandée pour les charges de travail en production. Certaines fonctionnalités peuvent être limitées ou non prises en charge. Pour plus d’informations, consultez Conditions d’Utilisation Supplémentaires relatives aux Évaluations Microsoft Azure.

Pourquoi créer une instance de calcul ?

Une instance de calcul est une station de travail cloud complètement managée qui est optimisée pour votre environnement de développement Machine Learning. Elle vous permet de bénéficier des avantages suivants :

Principaux avantages Description
Productivité Vous pouvez créer et déployer des modèles à l’aide des blocs-notes intégrés et des outils suivants dans Azure Machine Learning Studio :
- Jupyter
- JupyterLab
- VS Code (préversion)
L’instance de calcul est entièrement intégrée avec l’espace de travail et le studio Azure Machine Learning. Vous pouvez partager des blocs-notes et des données avec d’autres scientifiques des données dans l’espace de travail.
Managée et sécurisée Réduisez votre empreinte de sécurité et ajoutez la conformité aux exigences de sécurité de l’entreprise. Les instances de calcul fournissent des stratégies de gestion robustes et des configurations de mise en réseau sécurisées telles que :

- Provisionnement automatique par les modèles Resource Manager ou le SDK Azure Machine Learning
- Contrôle d’accès en fonction du rôle Azure (Azure RBAC)
- Prise en charge des réseaux virtuels
- Stratégie Azure pour désactiver l’accès SSH
- Stratégie Azure pour appliquer la création dans un réseau virtuel
- Arrêt automatique/démarrage automatique selon une planification
- TLS 1.2 activé
Préconfiguré pour ML Gagnez du temps sur les tâches d’installation grâce à des packages ML préconfigurés et à jour, des infrastructures de Deep Learning et des pilotes GPU.
Entièrement personnalisable Les scénarios avancés deviennent un jeu d’enfant grâce à la prise en charge étendue des types de machines virtuelles Azure, y compris les GPU et la personnalisation de bas niveau persistante, comme l’installation de packages et de pilotes. Vous pouvez également utiliser des scripts d’installation pour automatiser la personnalisation

Outils et environnements

L’instance de calcul Azure Machine Learning vous permet de créer, d’effectuer l’apprentissage et de déployer des modèles dans une expérience de notebook entièrement intégrée dans votre espace de travail.

Vous pouvez exécuter des notebooks à partir de votre espace de travail Azure Machine Learning,Jupyter, JupyterLab ou Visual Studio Code . VS Code Desktop peut être configuré pour accéder à votre instance de calcul. En alternative, utilisez VS Code pour le web, directement à partir du navigateur et sans installations ou dépendances requises.

Nous vous recommandons d’essayer VS Code pour le web pour tirer parti de l’intégration facile et de l’environnement de développement enrichi qu’il fournit. VS Code pour le web vous offre une grande partie de vos fonctionnalités VS Code Desktop favorites, notamment la recherche et la mise en surbrillance de la syntaxe lors de la navigation et de la modification. Pour plus d’informations sur l’utilisation de VS Code Desktop et VS Code pour le web, consultez Lancer Visual Studio Code intégré à Azure Machine Learning (préversion) et Travailler dans VS Code connecté à distance à une instance de calcul (préversion).

Vous pouvez installer des packages et ajouter des noyaux à votre instance de calcul.

Les outils et environnements suivants sont déjà installés sur l’instance de calcul :

Outils et environnements généraux Détails
Pilotes CUDA
cuDNN
NVIDIA
Blob FUSE
Bibliothèque Intel MPI
Azure CLI
Exemples Azure Machine Learning
Docker
Nginx
NCCL 2.0
Protobuf
Outils et environnements R Détails
Noyau R

Vous pouvez ajouter RStudio ou Posit Workbench (anciennement RStudio Workbench) lorsque vous créez l’instance.

Outils et environnements PYTHON Détails
Anaconda Python
Jupyter et extensions
Jupyterlab et extensions
Kit de développement logiciel (SDK) Azure Machine Learning
pour Python à partir de PyPI		 Inclut azure-ai-ml et de nombreux packages Azure supplémentaires courants. Pour afficher la liste complète,
ouvrez une fenêtre de terminal sur votre instance de calcul et exécutez
conda list -n azureml_py310_sdkv2 ^azure
Autres packages PyPI jupytext
tensorboard
nbconvert
notebook
Pillow
Packages Conda cython
numpy
ipykernel
scikit-learn
matplotlib
tqdm
joblib
nodejs
Packages Deep learning PyTorch
TensorFlow
Keras
Horovod
MLFlow
pandas-ml
scrapbook
Packages ONNX keras2onnx
onnx
onnxconverter-common
skl2onnx
onnxmltools
Échantillons Azure Machine Learning Python

L’instance de calcul dispose d’Ubuntu comme système d’exploitation de base.

Accès aux fichiers

Les notebooks et les scripts Python sont stockés dans le compte de stockage par défaut de votre espace de travail, dans le partage de fichiers Azure. Ces fichiers se trouvent dans le répertoire « Fichiers utilisateur ». Grâce à ce stockage, il est facile de partager des notebooks entre des instances de calcul. Le compte de stockage conserve également vos notebooks en toute sécurité lorsque vous arrêtez ou supprimez une instance de calcul.

Le compte de partage de fichiers Azure de votre espace de travail est monté en tant que lecteur sur l’instance de calcul. Ce lecteur est le répertoire de travail par défaut pour Jupyter, Jupyter Labs, RStudio et Posit Workbench. Cela signifie que les blocs-notes et les autres fichiers que vous créez dans Jupyter, JupyterLab, VS Code pour le Web, RStudio ou Posit sont automatiquement stockés dans le partage de fichiers, et disponibles pour être utilisés dans d’autres instances de calcul également.

Les fichiers qui se trouvent dans le partage de fichiers sont accessibles à partir de toutes les instances de calcul du même espace de travail. Toutes les modifications apportées à ces fichiers sur l’instance de calcul seront conservées de manière fiable dans le partage de fichiers.

Vous pouvez également cloner les exemples les plus récents d’Azure Machine Learning dans votre dossier dans le répertoire des fichiers utilisateur du partage de fichiers de l’espace de travail.

L’écriture de petits fichiers peut être plus lente sur des lecteurs réseau que sur le disque local de l’instance de calcul. Si vous écrivez de nombreux petits fichiers, essayez d’utiliser un répertoire directement sur l’instance de calcul, par exemple un répertoire /tmp. Notez que ces fichiers ne seront pas accessibles à partir d’autres instances de calcul.

Ne stockez pas de données de formation sur le partage de fichiers de notebook. Pour plus d'informations sur les différentes options de stockage des données, voir Accéder aux données dans un travail.

Vous pouvez utiliser le répertoire /tmp sur l’instance de calcul pour vos données temporaires. Toutefois, n’écrivez pas de fichiers de données volumineux sur le disque du système d’exploitation de l’instance de calcul. Le disque du système d’exploitation sur l’instance de calcul a une capacité de 128 Go. Vous pouvez également stocker des données de formation temporaires sur un disque temporaire monté sur /mnt. La taille du disque temporaire est basée en fonction de la taille de la machine virtuelle choisie, et peut stocker d’importantes quantités de données si une machine virtuelle de taille supérieure est sélectionnée. Tous les packages logiciels que vous installez sont enregistrés sur le disque du système d’exploitation de l’instance de calcul. Notez que le chiffrement à clé géré par le client n’est actuellement pas pris en charge pour le disque du système d’exploitation. Le disque de système d'exploitation de l'instance de calcul est chiffré à l'aide de clés gérées par Microsoft.

Vous pouvez également monter des magasins de données et des jeux de données.

Créer

Suivez les étapes dans Créer les ressources nécessaires pour commencer afin de créer une instance de calcul basique.

Pour plus d’options, consultez Créer une instance de calcul.

En tant qu’administrateur, vous pouvez créer une instance de calcul pour d’autres utilisateurs de l’espace de travail.

Vous pouvez également utiliser un script de configuration pour personnaliser, puis configurer automatiquement l’instance de calcul.

Autres façons de créer une instance de calcul :

Le quota de cœurs dédiés par région par famille de machine virtuelle et le quota régional total, qui s’appliquent à la création d’une instance de calcul, sont unifiés et partagés avec le quota de clusters de calcul d’entraînement Azure Machine Learning. L’arrêt de l’instance de calcul ne libère pas le quota pour vous permettre de la redémarrer. N’arrêtez pas l’instance de calcul via le terminal du système d’exploitation en procédant à un arrêt sudo.

L’instance de calcul est fournie avec le disque du système d’exploitation P10. Le type de disque temporaire dépend de la taille de machine virtuelle choisie. Actuellement, il n’est pas possible de modifier le type de disque du système d’exploitation.

Cible de calcul

Des instances de calcul peuvent être utilisées comme une cible de calcul d’apprentissage, similaire aux clusters de calcul d’apprentissage d’Azure Machine Learning. Mais une instance de calcul n’a qu’un seul nœud, tandis qu’un cluster de calcul peut en avoir plusieurs.

Une instance de calcul :

  • a une file d’attente de travaux ;
  • exécute des travaux en toute sécurité dans un environnement de réseau virtuel, sans qu’il soit nécessaire d’ouvrir un port SSH. Le travail s’exécute dans un environnement conteneurisé et empaquette les dépendances de votre modèle dans un conteneur Docker.
  • Peut exécuter plusieurs petits travaux en parallèle. Un travail par processeur virtuel peut s’exécuter en parallèle, tandis que les autres travaux sont mis en file d’attente.
  • Prend en charge les travaux de formation distribués sur un seul nœud équipé de plusieurs GPU

Vous pouvez utiliser une instance de calcul en tant que cible de déploiement d’inférence locale dans des scénarios de test ou de débogage.

Conseil

L’instance de calcul a un disque de système d’exploitation de 120 Go. Si vous ne disposez pas de suffisamment d’espace disque et qu’il en découle un état inutilisable, effacez au moins 5 Go d’espace sur le disque du système d’exploitation (monté sur /) via le terminal d’instance de calcul en supprimant des fichiers/dossiers, puis en effectuant un sudo reboot. Le disque temporaire sera libéré après le redémarrage ; vous n’avez pas besoin de vider manuellement l’espace sur le disque temporaire. Pour accéder au terminal, accédez à la page des listes de calcul ou à la page des détails de l’instance de calcul, puis cliquez sur le lien Terminal . Vous pouvez vérifier l’espace disque disponible en exécutant df -h sur le terminal. Libérez au moins 5 Go d’espace avant d’effectuer sudo reboot. N’arrêtez pas ou ne redémarrez pas l’instance de calcul via Studio tant qu’un espace disque de 5 Go n’a pas été libéré. Les arrêts automatiques, y compris le démarrage ou l’arrêt planifiés ainsi que les arrêts inactifs, ne fonctionnent pas si le disque CI est plein.

Étapes suivantes