Environnement d’IA Databricks

L’environnement Databricks AI est un runtime avec GPU organisé adapté au développement d’IA. Il est pris en charge dans l’environnement serverless GPU 4 et au-delà.

Ce nouvel environnement simplifie le développement en fournissant une pile de bibliothèques entièrement préconfigurée pour le Machine Learning (y compris des frameworks tels que PyTorch, HuggingFace Transformers, etc.) et une prise en charge native des GPU. Il s’intègre avec les notebooks Databricks, Unity Catalog et MLflow, offrant une expérience intégrée. Avec l’environnement IA, les équipes ML peuvent simplement sélectionner un cluster GPU prêt à l’exécution et commencer immédiatement les modèles d’entraînement, plutôt que de passer des jours à la configuration et à la résolution des problèmes.

Se connecter à l’environnement IA

Pour utiliser l'environnement Databricks AI à partir d'un notebook Databricks connecté à un calcul GPU sans serveur :

1. Dans un bloc-notes, cliquez sur le menu déroulant Se connecter en haut et sélectionnez GPU serverless.
2. Cliquez sur Pour ouvrir le volet latéral Environnement .
3. Sélectionnez A10 dans le champ Accélérateur .
4. Sélectionnez AI v4 pour l’environnement IA dans le champ Environnement de base .
5. Si vous avez choisi None dans le champ Environnement de base , sélectionnez la version de l’environnement.
6. Cliquez sur Appliquer , puis Confirmez que vous souhaitez appliquer le calcul GPU serverless à votre environnement de notebook.

Pour configurer l’environnement Databricks AI pour une tâche de notebook sur un GPU sans serveur :

1. Dans le paramètre de travail du bloc-notes, cliquez sur Modifier l’environnement du bloc-notes à partir de la section Environnement et bibliothèques .
2. Cliquez sur Pour ouvrir le volet latéral Environnement .
3. Sélectionnez AI v4 pour l’environnement IA dans le champ Environnement de base .

Les nouvelles exécutions de tâches pourront accéder à l’environnement d’IA Databricks.

Questions fréquentes (FAQ)

Quelle est la différence entre l’environnement d’IA Databricks et l’environnement dans Databricks Runtime pour Machine Learning ?

Databricks Runtime pour Machine Learning et l’environnement Databricks AI fournissent un environnement de calcul préconfiguré adapté aux cas d’usage IA/ML. Bien que Databricks Runtime pour Machine Learning soit utilisé avec des ressources de calcul classiques, l’environnement Databricks AI est destiné au calcul GPU serverless.

L’environnement dans Databricks Runtime pour Machine Learning et l’environnement Databricks AI incluent des packages Machine Learning courants, avec certaines différences. Plus particulièrement, l’environnement Databricks AI inclut des packages plus mis à jour, mais n’inclut pas Tensorflow et GraphFrames. Pour plus d’informations sur les éléments inclus dans l’environnement Databricks AI et Databricks Runtime pour Machine Learning, consultez les notes de publication de l’environnement serverless et les notes de publication du runtime Databricks.

Problèmes connus

• L’environnement Databricks AI ne fonctionne pas avec le champ Environnement et Bibliothèques dans la configuration des tâches pour les travaux de notebook. Si vous créez un nouvel environnement de tâches à partir de ce champ, il se peut que vous ne puissiez pas sélectionner l’environnement Databricks AI.
• L’environnement Databricks AI ne prend pas en charge l’exportation d’environnement.