Overview

AI Runtime est un calcul GPU serverless sur Azure Databricks pour les charges de travail en apprentissage profond. Cette page explique son fonctionnement, des exemples d’utilisation, le matériel, les fonctionnalités clés et les limitations.

Comment fonctionne AI Runtime

AI Runtime vous permet d’entraîner et d’affiner des modèles sur Azure Databricks sans gérer l’infrastructure GPU. Vous apportez votre code, et Azure Databricks gère la capacité GPU, l’approvisionnement et la gestion.

Par exemple, la commande suivante soumet une charge de travail depuis votre terminal :

databricks air run --file workload.yaml --watch

Lorsque vous exécutezdatabricks air run, AI Runtime empaquete le code que vous soumettez et l’orchestre sur un calcul GPU serverless géré par Azure Databricks. Pour essayer, voir le démarrage rapide d’AI Runtime.

Exemples de cas d’usage

Vous pouvez utiliser AI Runtime pour entraîner ou affiner de nombreux types de modèles IA. Par exemple:

• Ajustement fin des LLM (LoRA, QLoRA, ajustement fin complet). Voir Grands modèles de langage (LLM).
• Vision par ordinateur (détection d’objets, classification d’image). Voir Vision par ordinateur.
• Des systèmes de recommandation basés sur l’apprentissage profond. Voir les systèmes de recommandation basés sur l’apprentissage profond.
• Prévision de séries chronologiques basée sur le machine learning classique et le deep learning, avec accélération GPU. Voir Apprentissage automatique classique.
• Inférence par lots à grande échelle. Voir inférence par lots.
• Entraînement distribué multi-GPU. Voir l’entraînement distribué multi-GPU.
• Apprentissage par renforcement. Voir Grands modèles de langage (LLM).

Pour tous les tutoriels de notebooks et les recettes de la ligne de commande Databricks, voir exemples AI Runtime.

Matériel

Tous les accélérateurs AI Runtime provisionnent un seul nœud. Le nombre de GPU sur ce nœud dépend du type d’accélérateur :

Accélérateur	GPU par nœud	Mémoire GPU	Idéal pour	Entraînement distribué
1xA10	1	24 Go	Petites à moyennes tâches ML et Deep Learning, telles que les modèles ML classiques ou le réglage précis de modèles de langage plus petits	Non pris en charge (GPU unique)
1xH100	1	80 Go	Les charges de travail nécessitant plus de mémoire GPU que 1xA10 fournissent, mais ne nécessitent pas d’entraînement distribué multi-GPU, comme le réglage précis des modèles de langage de taille moyenne	Non pris en charge (GPU unique)
8xH100	8	80 Go par GPU	Charges de travail IA à grande échelle, notamment l’apprentissage ou l’optimisation des modèles massifs ou l’exécution de tâches avancées d’apprentissage profond	Pris en charge avec le décorateur @distributed, qui utilise par défaut les huit GPU

Conseil / Astuce

Seul 8xH100 prend en charge l’entraînement distribué multi-GPU. Pour des charges de travail sur un seul GPU, choisissez 1xA10 ou 1xH100 selon la mémoire GPU dont votre modèle a besoin.

Principales fonctionnalités

Category	Features
Se connecter aux GPU	Databricks CLI : Soumettez et gérez les charges de travail GPU depuis votre terminal avec des configurations YAML. Notebooks : Connectez un notebook à un GPU et développez de manière interactive. Entraînement distribué dans les notebooks : exécutez PyTorch DDP, FSDP ou DeepSpeed sur tous les GPU d’un nœud avec le décorateur @distributed. Tâches : planifiez une charge de travail GPU en tant que tâche récurrente. IDE via SSH : connectez-vous à un nœud GPU à partir de votre IDE ou de votre terminal. Ray : Exécute Ray Core, Ray Data, Ray Train et Ray Tune.
Développer des workloads	Environnements préconstruits : Choisissez l’environnement Standard minimal ou l’environnement IA Databricks avec PyTorch et Transformers préinstallés. Images Docker personnalisées : Apportez votre propre image et envoyez-la dans le registre des artefacts. Charger et enregistrer les données : diffusez des données en continu à partir des volumes et des tables Unity Catalog. Assistants de codage : utilisez Genie Code et les compétences des assistants pour écrire, soumettre et déboguer des charges de travail GPU.
Surveiller et déployer	Suivez les exécutions, les journaux et les métriques : Suivez les expériences avec MLflow, consultez les journaux et surveillez l’utilisation du GPU. Planifiez les charges de travail GPU : déployez avec des bundles d’automatisation déclarative et créez des tâches multitâches GPU et CPU. Convertir une charge de travail en bundle : transformer un YAML de charge de travail en un job Declarative Automation Bundles. Configurez les tâches groupées : Empaquetez le code, sélectionnez le calcul GPU et passez la configuration aux tâches.

Exigences

Avant de commencer, assurez-vous que votre espace de travail répond à ces exigences :

• Vérifiez la disponibilité de AI Runtime par Geo pour les Geos pris en charge et les exigences de traitement inter-Geo. La disponibilité du GPU varie selon l’espace de travail.
• Si votre espace de travail a activé le profil de sécurité de conformité, un administrateur d'espace de travail doit activer les versions préliminaires AI Runtime et AI Runtime multi nœud H100. Consultez Gérer les préversions de Databricks. Pour plus de détails sur l’activation par défaut de ces espaces de travail, voir le préavis.

Limitations

Gardez à l’esprit les limitations suivantes lorsque vous planifiez une charge de travail en temps d’exécution IA :

• AI Runtime prend uniquement en charge les accélérateurs A10 et H100.

• AI Runtime ne prend pas en charge le profil de sécurité de conformité pour les normes FedRAMP High ou DoD IL5.
• L’ajout de dépendances à l’aide du panneau Environnements n’est pas pris en charge pour les travaux planifiés d’AI Runtime. Installez les dépendances programmatiquement dans votre bloc-notes à la place en utilisant %pip install.
• Pour les travaux planifiés sur AI Runtime, le comportement de récupération automatique pour les versions de package incompatibles associées à votre notebook n’est pas pris en charge.
• Les tentatives de connexion au runtime d’IA expirent après 15 minutes pour les notebooks interactifs et après 24 heures pour les tâches de notebook ou via l’interface de ligne de commande (CLI). Les sessions et tâches notebook connectées peuvent durer jusqu’à deux jours, et les jobs CLI peuvent durer jusqu’à 14 jours. Pour les tâches d’entraînement de modèles de longue durée, mettez en place des points de contrôle et redémarrez la tâche lorsque le temps d’exécution maximal est atteint. Voir Checkpoint avec Checkpoint Distribué (DCP).
• L’exécution d’un travail planifié utilisant un environnement de base d’espace de travail, y compris l’environnement IA Databricks, est en version Bêta. Un administrateur de l’espace de travail doit activer la prise en charge de l’environnement de base de l’espace de travail sans serveur dans la préversion de Jobs. Consultez Gérer les préversions d’Azure Databricks.
• AI Runtime fournit un accès à la demande aux ressources GPU. Bien que cela entraîne un accès facile et flexible aux GPU, il peut y avoir des périodes où la capacité est limitée ou indisponible dans votre région.
• AI Runtime tire parti des GPU interrégions dans certains cas pendant des moments de forte demande. Il peut y avoir des coûts de sortie associés à cette utilisation, et la connectivité réseau interrégion peut être limitée à certains moments.

Guides

• Pourquoi utiliser AI Runtime plutôt que le compute classique : Comparez AI Runtime avec le compute classique et Databricks Runtime ML.
• Guides pour AI Runtime : Suivez l’utilisation et les coûts, et dépannez les erreurs courantes.
• Migrez les charges de travail GPU classiques vers un environnement serverless : Transférez une charge de travail d’apprentissage profond d’un cluster classique vers AI Runtime.
• Migrer depuis Slurm : adaptez les scripts de traitement par lots, les lanceurs et le stockage partagé de Slurm à l’interface CLI Databricks.
• Améliorer les performances et la résilience de l’entraînement sur AI Runtime : Accélérez l’entraînement et rendez les tâches de longue durée résilientes face aux défaillances.