Configurer votre environnement

Important

AI Runtime pour les tâches à nœud unique est disponible en préversion publique. L’API d’entraînement distribuée pour les charges de travail multi-GPU reste en version bêta.

Cette page explique comment choisir et configurer un environnement Python pour AI Runtime, notamment le comportement de mise en cache de l’environnement, les importations de modules personnalisés et les limitations connues.

Environnement à utiliser

AI Runtime offre deux environnements Python managés, l’environnement de base par défaut et l’environnement Databricks AI.

Environnement	Caractéristiques clés	Quand utiliser
Environnement de base par défaut	Minimal, inclut uniquement torch, cudaet torchvision	Vous souhaitez un contrôle total sur votre pile de dépendances et préférez installer uniquement ce dont vous avez besoin
Environnement d’IA Databricks	Préchargé avec des frameworks ML populaires (PyTorch, Transformers, etc.)	Vous souhaitez un environnement complet pour l’apprentissage, l’optimisation et l’expérimentation sans gestion manuelle des dépendances

Note

Les environnements de base d’espace de travail ne sont pas pris en charge pour le runtime IA. Utilisez plutôt l’environnement par défaut ou l'environnement d'intelligence artificielle, et spécifiez des dépendances supplémentaires directement dans le panneau latéral Environnements ou pip install celles-ci.

Environnement de base par défaut (environnement minimal)

Un environnement minimal et stable contenant uniquement les packages requis pour l’opération AI Runtime. L’environnement inclut torch, cudaet torchvision, optimisé pour la compatibilité. Pour des versions de package spécifiques, utilisez pip install ou épinglez les versions nécessaires si nécessaire.

Idéal pour : les utilisateurs qui veulent contrôler entièrement leur pile de dépendances et préfèrent installer uniquement ce dont ils ont besoin.

Il s’agit de l’environnement par défaut lorsque vous vous connectez à un GPU serverless via AI Runtime.

Pour plus d’informations sur les versions de package installées dans différentes versions, consultez les notes de publication :

• Environnement GPU 4

Environnement d’IA Databricks

Disponible dans l’environnement 4 et versions ultérieures. L'environnement d'IA est construit sur l'environnement de base par défaut avec des packages d'exécution courants et des packages spécifiques au machine learning sur des GPU. Les packages préinstallés sont les suivants :

• PyTorch (avec prise en charge de CUDA)
• Transformers (Hugging Face)
• Et d’autres dépendances ML/DL

Idéal pour : les praticiens ML qui souhaitent un environnement complet pour l'entraînement des charges de travail, le réglage fin et l’expérimentation sans gestion manuelle des dépendances.

Pour sélectionner : dans le volet latéral Environnement , choisissez AI v4 comme environnement de base.

Pour plus d’informations sur les versions de package installées dans différentes versions, consultez les notes de publication :

• Environnement IA 4

Environnements de base d’espace de travail

Les environnements de base d’espace de travail ne sont pas pris en charge pour le runtime IA. Vous ne pouvez pas utiliser de configurations d’environnement personnalisées au niveau de l’espace de travail.

Pour configurer votre environnement d’apprentissage profond pour un projet, utilisez l’un des deux environnements de base fournis (par défaut ou Databricks AI) et installez des packages supplémentaires par programmation à l’aide %pip install de votre notebook ou en haut de votre script de formation :

%pip install datasets accelerate peft bitsandbytes

Vous pouvez installer des bibliothèques supplémentaires dans l’environnement AI Runtime. Consultez Ajouter des dépendances au bloc-notes.

Comportement

Quand les environnements sont-ils mis en cache ?

Les environnements sont mis en cache entre les sessions pour accélérer les temps de démarrage. Lorsque vous vous reconnectez à AI Runtime avec la même configuration d’environnement, les packages précédemment installés peuvent être disponibles à partir du cache, ce qui réduit le temps d’installation.

Toutefois, le comportement du cache n’est pas garanti : assurez-vous toujours que votre notebook inclut les commandes nécessaires %pip install pour la reproductibilité.

Comment importer des modules personnalisés ?

Vous pouvez importer des modules personnalisés en les plaçant dans /Workspace/Shared et en ajoutant le chemin d’accès à sys.path.

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Vous pouvez également charger des fichiers de module en tant que fichiers d’espace de travail et les importer directement. Pour la collaboration multi-utilisateur, stockez du code partagé au /Workspace/Shared lieu de dossiers spécifiques à l’utilisateur. Pour le développement actif, utilisez des dossiers spécifiques à l’utilisateur et envoyez (push) à un référentiel Git distant pour le contrôle de version.

Limites

Les fonctionnalités suivantes ne sont pas disponibles sur AI Runtime :

• Fonctions Spark : vous ne pouvez pas importer ou utiliser directement des fonctions PySpark. AI Runtime est un environnement Python uniquement ; Spark n’est pas disponible en tant que runtime local. Toutefois, Spark Connect est disponible pour le chargement des données. Consultez Charger des données sur AI Runtime.
• Bibliothèques ML Databricks Runtime : les packages préinstallés ne sont pas un substitut à Databricks Runtime ML. Certaines bibliothèques ML disponibles dans Databricks Runtime ML peuvent ne pas être préinstallées sur AI Runtime.
• Environnements de base d’espace de travail : les configurations d’environnement personnalisées au niveau de l’espace de travail ne sont pas prises en charge.
• Artefacts privés : AI Runtime prend en charge les artefacts privés dans certains cas. Pour plus d’informations, contactez l’équipe de votre compte.