Entraîner des modèles d’IA et ML

Azure Databricks propose des options de calcul pour différents besoins en apprentissage automatique, allant des clusters gérés au calcul GPU serverless avec AI Runtime.

Calculer Description
Runtime IA Environnement de calcul GPU serverless optimisé pour les charges de travail d’apprentissage profond à nœud unique et multi-nœuds personnalisées.
Databricks Runtime pour Machine Learning Environnement de calcul classique avec des bibliothèques prédéfinies pour le Machine Learning classique et les charges de travail d’apprentissage profond.

AI Runtime

AI Runtime est une offre spécialisée dans l’écosystème serverless Databricks. Il est optimisé pour les charges de travail d’apprentissage profond personnalisées à nœud unique et à plusieurs nœuds, telles que le réglage fin des modèles de langage ou l’apprentissage des modèles de vision par ordinateur. Pour obtenir une vue d’ensemble de la façon dont le calcul serverless s’intègre à l’architecture Databricks, consultez l’architecture de l’espace de travail serverless.

Les principales fonctionnalités incluent :

  • Disponibilité instantanée : Supprime le besoin de gérer l’infrastructure sous-jacente du cluster, vous permettant de connecter un notebook directement à AI Runtime.
  • Matériel hautes performances : permet d’accéder aux GPU A10 pour des tâches rentables.
  • Environnements managés : offre un environnement de base par défaut pour la personnalisation complète ou un environnement IA préchargé avec des packages ML courants tels que Transformers et Ray.
  • Mise à l’échelle flexible : prend en charge l’entraînement distribué sur plusieurs GPU et nœuds.

Databricks Runtime pour le Machine Learning

Databricks Runtime pour Machine Learning est un runtime spécialisé qui automatise la création de ressources de calcul avec une infrastructure prédéfinie. Il est conçu pour les utilisateurs qui souhaitent un environnement complet et prêt à l’emploi pour le Machine Learning classique et le Deep Learning.

Les principales fonctionnalités incluent :

  • Bibliothèques préinstallées : inclut des bibliothèques populaires telles que PyTorch, TensorFlow et XGBoost, qui reçoivent des mises à jour fréquentes et une prise en charge optimisée.
  • Polyvalence de calcul : prend en charge à la fois les types d’instances processeur et GPU, notamment AWS Graviton pour améliorer les prix à la performance.
  • Optimisation : offre une intégration à Photon pour accélérer Spark SQL, les DataFrames et les tâches d’ingénierie de fonctionnalités.
  • Contrôle d’accès : nécessite un mode d’accès dédié pour sécuriser l’accès aux données via le catalogue Unity.