Utilisez Databricks CLI avec AI Runtime

La databricks air CLI exécute des charges de travail GPU à nœud unique et multinœud sur AI Runtime, la plateforme de calcul GPU serverless à la demande. Définissez le calcul, l’environnement et la commande d’une charge de travail en YAML, puis soumettez-la avec databricks air run.

AI Runtime gère le provisionnement GPU et la configuration de l’environnement, et fournit l’état des exécutions, les journaux, les métriques système et le suivi MLflow. Le flux de travail YAML et CLI fonctionne naturellement avec les agents de codage, qui peuvent définir, soumettre et surveiller les charges de travail.

Utilisez la CLI pour :

  • Développez et itérez sur des applications Python depuis votre environnement local.
  • Définissez des charges de travail répétables à nœud unique ou multinœud dans des fichiers YAML que vous pouvez gérer avec un système de contrôle de version.
  • Soumettez et gérez les charges de travail depuis un terminal ou un flux de travail automatisé de développement.

Les charges de travail typiques incluent l’ajustement fin et la post-formation des LLM, la formation distribuée, l’inférence par lots, les applications Ray et la recherche d’hyperparamètres.

Pour les exigences de l’espace de travail, voir Exigences. Pour soumettre un workload, suivez le démarrage rapide.

Les commandes CLI Databricks pour l’exécution IA répondent aux mêmes normes de conformité que les charges de travail d’exécution IA. Pour connaître les normes et exceptions prises en charge, consultez le profil de sécurité de conformité.

Note

Les databricks air commandes et la configuration de la charge de travail diffèrent de l’ancienne interface en ligne de commande (CLI) air basée sur Python du paquet databricks-air. Voir migration de la CLI Python.

Découvrez des exemples exécutables

Le AI Runtime Cookbook contient des charges de travail CLI Databricks exécutables pour l’entraînement de modèles, l’ajustement fin, l’inférence par lots, Ray et la recherche d’hyperparamètres. Chaque recette inclut un fichier YAML de la charge de travail, le code source et des instructions pour son exécution.

Comment fonctionne une charge de travail

Vous fournissez un fichier YAML de la charge de travail, le code de l’application lorsque nécessaire, et la commande qui lance votre application. Lorsque vous soumettez un workload :

  1. La définition de la charge de travail est validée par rapport au schéma pris en charge et aux contraintes de configuration.
  2. Si code_source est configuré, le code sélectionné est empaqueté sous forme d’instantané et téléversé.
  3. Le calcul GPU demandé et l’environnement sont préparés sur chaque nœud.
  4. La commande fournie dans le fichier YAML de charge de travail s’exécute sur chaque nœud.

La soumission renvoie un identifiant de Job Run qui identifie la charge de travail. Utilisez-le pour vérifier le statut, inspecter les journaux et la configuration, ou annuler la charge de travail. Vous pouvez également consulter la page Jobs run et l’expérience MLflow pour les détails d’exécution, les métriques système, les journaux et les artefacts.

Ce flux de travail offre un provisionnement GPU géré, une configuration d’environnement reproductible et une observabilité intégrée sans avoir à configurer ou maintenir l’infrastructure GPU.

Configuration de la charge de travail

Un fichier YAML de charge de travail décrit les composants suivants :

  • Expérience : l'expérience et l'exécution MLflow qui assurent le suivi de la charge de travail.
  • Environnement : L’environnement géré, les dépendances ou l’image Docker personnalisée à utiliser.
  • Compute : Le type d’accélérateur et le nombre d’accélérateurs à provisionner.
  • Source du code : Un instantané optionnel du code de l’application à rendre disponible pour la charge de travail.
  • Commande : La commande shell qui lance votre application.
  • Paramètres d’exécution : Options telles que les nouvelles tentatives, les délais d’attente, les variables d’environnement, les secrets et les autorisations.

Pour des champs de configuration et des exemples, voir référence YAML de la charge de travail.

Téléverser le code de l’application

Utilisez code_source pour charger des fichiers d'application avec une charge de travail. AI Runtime rend le répertoire chargé accessible sur chaque nœud et définit $CODE_SOURCE_PATH sur son emplacement. Par exemple, la commande suivante exécute train.py depuis le répertoire téléversé :

command: python "$CODE_SOURCE_PATH/train.py"

Vous pouvez téléverser l’arbre de travail actuel ou sélectionner une branche Git ou un commit. Pour un exemple complet, voir le démarrage rapide.

Développer et gérer les workloads

Le développement suit généralement ce processus :

  1. Développez localement le code de l’application et le workload YAML.
  2. Validez localement le YAML avec databricks air run --file <file> --dry-run.
  3. Soumettez la charge de travail à l'aide de databricks air run --file <file>. Ajoutez --watch pour diffuser les journaux en continu jusqu'à la fin de l'exécution.
  4. Utilisez databricks air get, databricks air list, et databricks air logs pour inspecter les charges de travail et les journaux.
  5. Facultativement, arrêtez une charge de travail en cours avec databricks air cancel.

Pour connaître toutes les commandes et tous les indicateurs, consultez le groupe de commandes air.

Pour les exécutions planifiées, les flux de travail multitâches ou la promotion à travers des environnements, vous pouvez utiliser databricks air convert-to-dabs comme point de départ pour un bundle. Voir Planifier les charges de travail GPU et créer des tâches.

Suivre les charges de travail avec MLflow

Chaque charge de travail soumise est représentée par une exécution de job Databricks et suivie via une expérience MLflow :

  • Exécution de tâches Databricks : Affiche l’état de la charge de travail, les tentatives d’exécution et la sortie sur la page d’exécution des jobs.
  • MLflow experiment : Contient les exécutions MLflow avec les métriques système capturées automatiquement, la configuration de la charge de travail et les journaux. Votre application peut également utiliser les API MLflow pour enregistrer des paramètres personnalisés, des métriques et des artefacts.

Utilisez l’ID Job Run avec des commandes telles que databricks air get, databricks air logs et databricks air cancel. Voir Suivi et observabilité de l’expérience.

Exécuter des charges de travail à nœud unique et distribuées

AI Runtime exécute la commande configurée une fois sur chaque nœud provisionné. Pour une charge de travail distribuée, elle fournit des variables de coordination telles que NUM_NODES, NODE_RANK, LOCAL_WORLD_SIZE, MASTER_ADDR, et MASTER_PORT.

Ce modèle d’exécution est indépendant du framework. Votre commande doit démarrer et configurer le framework distribué, par exemple en invoquant torchrun, un script de démarrage Ray, ou un autre lanceur de framework. Pour les charges de travail complètes, voir le AI Runtime Cookbook.

Utilisez un agent IA

La databricks-ai-runtime agent skill fournit des instructions qui aident les agents IA, tels que Claude Code, Cursor et Codex, à travailler avec AI Runtime via Databricks CLI. Utilisez-le pour créer des fichiers YAML de charge de travail, soumettre des tâches d’entraînement GPU, vérifier l’état des exécutions, diffuser les journaux et annuler les exécutions. Il inclut également des instructions pour des images Docker personnalisées.

Après avoir installé la CLI Databricks et configuré l’authentification, exécutez la commande suivante :

databricks aitools install --skills-only --skills databricks-ai-runtime

Suivez les instructions pour choisir votre agent IA et le périmètre d’installation. Pour les options d’installation, voir aitools le groupe de commandes. Pour savoir ce que couvre la compétence, voir Utiliser les compétences d’agent avec AI Runtime.

Ressources additionnelles

  • Dernière mise à jour :