Entraîner des modèles d’IA et ML

Azure Databricks offre des solutions de calcul flexibles adaptées à différents besoins de Machine Learning, allant des runtimes de cluster managés aux environnements GPU entièrement serverless.

Calculer	Description
Runtime IA	Environnement de calcul GPU serverless optimisé pour les charges de travail d’apprentissage profond à nœud unique et multi-nœuds personnalisées.
Databricks Runtime pour Machine Learning	Environnement de calcul classique avec des bibliothèques prédéfinies pour le Machine Learning classique et les charges de travail d’apprentissage profond.

AI Runtime (préversion)

Important

Cette fonctionnalité est disponible en préversion publique.

AI Runtime est une offre spécialisée dans l’écosystème serverless Databricks. Il est optimisé pour les charges de travail d’apprentissage profond personnalisées à nœud unique et à plusieurs nœuds, telles que le réglage fin des modèles de langage ou l’apprentissage des modèles de vision par ordinateur. Pour obtenir une vue d’ensemble de la façon dont le calcul serverless s’intègre à l’architecture Databricks, consultez l’architecture de l’espace de travail serverless.

Les principales fonctionnalités incluent :

• Disponibilité instantanée : supprime la nécessité de gérer l’infrastructure de cluster sous-jacente, ce qui vous permet de connecter un notebook directement aux ressources GPU serverless.
• Matériel hautes performances : permet d’accéder aux GPU A10 pour des tâches rentables.
• Environnements managés : offre un environnement de base par défaut pour la personnalisation complète ou un environnement IA préchargé avec des packages ML courants tels que Transformers et Ray.
• Mise à l’échelle flexible : prend en charge l’entraînement distribué sur plusieurs GPU et nœuds.

Databricks Runtime pour le Machine Learning

Databricks Runtime pour Machine Learning est un runtime spécialisé qui automatise la création de ressources de calcul avec une infrastructure prédéfinie. Il est conçu pour les utilisateurs qui souhaitent un environnement complet et prêt à l’emploi pour le Machine Learning classique et le Deep Learning.

Les principales fonctionnalités incluent :

• Bibliothèques préinstallées : inclut des bibliothèques populaires telles que PyTorch, TensorFlow et XGBoost, qui reçoivent des mises à jour fréquentes et une prise en charge optimisée.
• Polyvalence de calcul : prend en charge à la fois les types d’instances processeur et GPU, notamment AWS Graviton pour améliorer les prix à la performance.
• Optimisation : offre une intégration à Photon pour accélérer Spark SQL, les DataFrames et les tâches d’ingénierie de fonctionnalités.
• Contrôle d’accès : nécessite un mode d’accès dédié pour sécuriser l’accès aux données via le catalogue Unity.