Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Le air groupe de commandes au sein de la ligne de ligne de commande Databricks soumet et gère les charges de travail GPU, telles que l’entraînement et l’inférence, avec l’exécution IA.
Pour les champs de configuration de la charge de travail, voir référence Workload YAML. Pour soumettre votre première charge de travail, consultez le démarrage rapide d’exécution IA.
Databricks Air Run
Soumettre une charge de travail depuis une configuration YAML. La sortie inclut l’ID de l’exécution de la tâche et l’URL de la run.
databricks air run --file YAML_PATH [flags]
Arguments
None
Options
-f, --file string
Chemin vers la configuration YAML de la charge de travail. Cette option est obligatoire.
--watch
Flux de journaux depuis le premier nœud (nœud 0) jusqu’à ce que la course atteigne un état terminal. Valeur par défaut : false.
--override stringArray
Supplantez un champ YAML en utilisant FIELD_PATH=VALUE. Répétez cette option pour écraser plusieurs champs.
--dry-run
Validez la configuration sans soumettre de charge de travail. Valeur par défaut : false.
--idempotency-key string
Retournez une exécution existante lorsque la clé a été utilisée auparavant. Ça dépasse idempotency_token dans le YAML. Maximum : 64 caractères.
Examples
L’exemple suivant soumet une charge de travail depuis train.yaml et diffuse les journaux depuis le premier nœud (nœud 0) jusqu’à la fin de l’exécution :
databricks air run --file train.yaml --watch
Pour soumettre en arrière-plan, omettez --watch. L’ordre revient après la soumission. Utilisez l’ID de Job Run retourné pour vérifier le statut et les journaux de flux :
databricks air get <job-run-id>
databricks air logs <job-run-id>
Utilisez le même profil d’espace de travail pour les soumissions, le statut et les journaux. Voir Profils de configuration pour la liste de codes de type Databricks.
Passez un chemin de configuration comme argument séparé pour -h afficher l’aide à la configuration de la charge de travail :
databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type
Databricks air get
Obtenez les détails pour une course.
databricks air get JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
Un identifiant exécuté de travail rendu par databricks air run.
Options
Liste d’airs Databricks
Lister les exécutions. Par défaut, la commande liste les exécutions actives soumises par l’utilisateur actuel.
databricks air list [flags]
Arguments
None
Options
--limit int
Nombre maximal de runs à montrer. Valeur par défaut : 20.
--all-status
Incluez des parcours dans les états terminaux. Valeur par défaut : false.
--all-users
Incluez les séries soumises par d’autres utilisateurs. Valeur par défaut : false.
--filter stringArray
Le filtre s’exécute en utilisant KEY=VALUE. Répétez cette option pour ajouter des conditions. Une course doit correspondre à toutes les conditions.
Voir Touches de filtre.
Touches de filtre
Chaque --filter option a une KEY=VALUE condition.
= est le seul opérateur. On ne peut pas annuler une condition, comparer les distances ou combiner des conditions avec la OR.
| Key | Correspondances | Example |
|---|---|---|
accelerator_type |
La famille des accélérateurs, comme A10 ou H100, ou la valeur complète accelerator_type de la charge de travail YAML, telle que GPU_8xH100. Les noms de famille ne sont pas sensibles à la casse. |
accelerator_type=H100 |
experiment |
Un motif de globules comparé à tout le nom de l’expérience. La correspondance n’est pas sensible à la casse.
* correspond à une séquence de caractères, ? à un personnage, et [abc] à un personnage de l’ensemble. Les expressions régulières ne sont pas prises en charge. Une valeur sans joker ne correspond qu’à une expérience portant exactement ce nom. |
'experiment=qwen*' |
num_accelerators |
Le nombre total de GPU pour la tournée. La valeur doit être un entier positif et doit correspondre exactement. | num_accelerators=8 |
user |
Le nom d’utilisateur de l’utilisateur qui a soumis la séquence. La valeur doit correspondre exactement. Cette clé remplace la restriction par défaut à vos propres runs, donc vous n’avez pas besoin --all-usersde . |
user=person@example.com |
Pour les valeurs prises en charge accelerator_type , voir Types d’accélérateurs.
Les filtres restreignent les exécutions déjà listées par la commande. Sans --all-status, seules les courses actives peuvent correspondre.
Mettez des guillemets simples autour d’une condition contenant *, ?, ou [ de sorte que votre shell transmet le motif à la CLI sans changer.
La commande renvoie une erreur si une condition n’est pas en KEY=VALUE forme, utilise une clé qui n’est pas dans la table, ou a une valeur vide ou invalide.
Examples
L’exemple suivant liste vos courses actives utilisant des accélérateurs H100 :
databricks air list --filter accelerator_type=H100
L’exemple suivant liste les exécutions dans n’importe quel état soumis person@example.com , où le nom de l’expérience commence par qwen et où la série utilise huit GPU au total :
databricks air list --all-status \
--filter 'experiment=qwen*' \
--filter num_accelerators=8 \
--filter user=person@example.com
Databricks Air Logs
Diffusez ou récupérez des journaux pour une partie.
databricks air logs JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
Un identifiant exécuté de travail rendu par databricks air run.
Options
--node int
Sélectionnez un index de nœud basé sur zéros. Valeur par défaut : 0.
--tail int
Nombre de loglines existantes à imprimer. Valeur par défaut : 10000.
--minutes int
Récupérez les journaux des dernières minutes. Impossible de combiner avec --tail. Valeur par défaut : 0.
--retry int
Sélectionnez une tentative de réessayage.
0 est la première tentative et -1 la plus récente. Valeur par défaut : -1.
--download-to string
Téléchargez les journaux complets dans un annuaire. Télécharge tous les nœuds sauf si --node c’est réglé. Impossible de combiner avec --tail ou --minutes.
Annulation d’air de Databricks
Annulez une ou plusieurs exécutions par identifiant de la mission, ou annulez toutes les exécutions actives soumises par l’utilisateur actuel.
databricks air cancel [JOB_RUN_ID...] [flags]
Arguments
JOB_RUN_ID
Un ou plusieurs identifiants de gestion de travail. Impossible de combiner avec --all.
Options
--all
Annulez toutes les exécutions actives soumises par l’utilisateur actuel. Valeur par défaut : false.
-y, --yes
Passez la demande de confirmation utilisée par --all. Valeur par défaut : false.
Databricks Air Images Push
Poussez une image conteneur dans le registre des artefacts.
Pour les prérequis et instructions pour pousser une image, voir Push images avec la code de commande Databricks.
databricks air images push [flags]
Arguments
None
Options
-s, --source string
L’image contenant source est un nom avec un tag optionnel (NAME[:TAG]) ou un digest (NAME@DIGEST). Si elle est omise dans un terminal interactif, l’invite de commande affiche la valeur.
--catalog string
Le catalogue Unity de destination. Si elle est omise dans un terminal interactif, l’invite de commande affiche la valeur.
--schema string
Le schéma du catalogue Unity de destination. Si elle est omise dans un terminal interactif, l’invite de commande affiche la valeur.
--artifact string
L’artefact de destination comme ARTIFACT[:TAG]. Par défaut, le nom de l’image source et le tag sont utilisés, ou le latest tag lorsque la source n’a pas de tag.
--pull
Extrais l’image source de son registre avant de pousser au lieu de réutiliser une image locale disponible. Valeur par défaut : false.
Databricks Air Convert-to-DABS
Convertir une configuration YAML de charge de travail en un Databricks Asset Bundle. Cette commande locale écrit databricks.yml et lance des fichiers sous generated_artifacts/.
Cette commande est un pont optionnel vers un flux de travail avancé en production. Vous pouvez continuer à utiliser databricks air run sans avoir à convertir la configuration.
Pour le flux de travail bundle, voir Planifier les charges GPU et composer les tâches.
databricks air convert-to-dabs YAML_PATH [flags]
Arguments
YAML_PATH
Le chemin vers la configuration YAML de la charge de travail.
Options
--output-dir string
Annuaire où la commande écrit le faisceau. La source du code doit se trouver dans ce répertoire. Par défaut : le répertoire contenant le fichier YAML d’entrée.
--force
Écraser les fichiers bundle générés qui existent déjà. Valeur par défaut : false.
Indicateurs globaux
--debug
Faut-il activer la journalisation du débogage ?
-h ou --help
Affiche l’aide pour l’interface CLI de Databricks, le groupe de commandes associé ou la commande concernée.
--log-file Corde
Chaîne représentant le fichier dans lequel écrire les logs de sortie. Si cet indicateur n’est pas spécifié, la valeur par défaut consiste à écrire les logs de sortie dans stderr.
--log-format Format
Type de format de journal : text ou json. La valeur par défaut est text.
--log-level Corde
Chaîne représentant le niveau de format du journal. Si cet indicateur n’est pas défini, le niveau de format de journal est désactivé.
-o, --output Type
Type de sortie de commande, text ou json. La valeur par défaut est text.
-p, --profile Corde
Nom du profil dans le ~/.databrickscfg fichier à utiliser pour exécuter la commande. Si cet indicateur n’est pas spécifié, s’il existe, le profil nommé DEFAULT est utilisé.
--progress-format Format
Format permettant d’afficher les journaux de progression : default, append, inplace ou json
-t, --target Corde
Le cas échéant, la cible d'ensemble à utiliser
Migration depuis l’ancienne ligne de commande Python
La CLI Databricks et la CLI Python air obsolète utilisent des noms de commandes et des drapeaux différents. Mettre à jour les scripts en utilisant les mappages suivants :
| Interface graphique Python | Interface CLI de Databricks |
|---|---|
air run -f train.yaml |
databricks air run -f train.yaml |
air run -f train.yaml --override A=X B=Y |
databricks air run -f train.yaml --override A=X --override B=Y |
air get run <run-id> |
databricks air get <run-id> |
air list runs |
databricks air list --all-status |
air list runs --active |
databricks air list |
air -h config |
databricks air run -h config |
air logs <run-id> |
databricks air logs <run-id> |
air cancel <run-id> |
databricks air cancel <run-id> |