air Groupe de commandement

Le air groupe de commandes au sein de la ligne de ligne de commande Databricks soumet et gère les charges de travail GPU, telles que l’entraînement et l’inférence, avec l’exécution IA.

Pour les champs de configuration de la charge de travail, voir référence Workload YAML. Pour soumettre votre première charge de travail, consultez le démarrage rapide d’exécution IA.

Databricks Air Run

Soumettre une charge de travail depuis une configuration YAML. La sortie inclut l’ID de l’exécution de la tâche et l’URL de la run.

databricks air run --file YAML_PATH [flags]

Arguments

None

Options

-f, --file string

    Chemin vers la configuration YAML de la charge de travail. Cette option est obligatoire.

--watch

    Flux de journaux depuis le premier nœud (nœud 0) jusqu’à ce que la course atteigne un état terminal. Valeur par défaut : false.

--override stringArray

    Supplantez un champ YAML en utilisant FIELD_PATH=VALUE. Répétez cette option pour écraser plusieurs champs.

--dry-run

    Validez la configuration sans soumettre de charge de travail. Valeur par défaut : false.

--idempotency-key string

    Retournez une exécution existante lorsque la clé a été utilisée auparavant. Ça dépasse idempotency_token dans le YAML. Maximum : 64 caractères.

Drapeaux mondiaux

Examples

L’exemple suivant soumet une charge de travail depuis train.yaml et diffuse les journaux depuis le premier nœud (nœud 0) jusqu’à la fin de l’exécution :

databricks air run --file train.yaml --watch

Pour soumettre en arrière-plan, omettez --watch. L’ordre revient après la soumission. Utilisez l’ID de Job Run retourné pour vérifier le statut et les journaux de flux :

databricks air get <job-run-id>
databricks air logs <job-run-id>

Utilisez le même profil d’espace de travail pour les soumissions, le statut et les journaux. Voir Profils de configuration pour la liste de codes de type Databricks.

Passez un chemin de configuration comme argument séparé pour -h afficher l’aide à la configuration de la charge de travail :

databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type

Databricks air get

Obtenez les détails pour une course.

databricks air get JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

    Un identifiant exécuté de travail rendu par databricks air run.

Options

Drapeaux mondiaux

Liste d’airs Databricks

Lister les exécutions. Par défaut, la commande liste les exécutions actives soumises par l’utilisateur actuel.

databricks air list [flags]

Arguments

None

Options

--limit int

    Nombre maximal de runs à montrer. Valeur par défaut : 20.

--all-status

    Incluez des parcours dans les états terminaux. Valeur par défaut : false.

--all-users

    Incluez les séries soumises par d’autres utilisateurs. Valeur par défaut : false.

--filter stringArray

    Le filtre s’exécute en utilisant KEY=VALUE. Répétez cette option pour ajouter des conditions. Une course doit correspondre à toutes les conditions. Voir Touches de filtre.

Drapeaux mondiaux

Touches de filtre

Chaque --filter option a une KEY=VALUE condition. = est le seul opérateur. On ne peut pas annuler une condition, comparer les distances ou combiner des conditions avec la OR.

Key Correspondances Example
accelerator_type La famille des accélérateurs, comme A10 ou H100, ou la valeur complète accelerator_type de la charge de travail YAML, telle que GPU_8xH100. Les noms de famille ne sont pas sensibles à la casse. accelerator_type=H100
experiment Un motif de globules comparé à tout le nom de l’expérience. La correspondance n’est pas sensible à la casse. * correspond à une séquence de caractères, ? à un personnage, et [abc] à un personnage de l’ensemble. Les expressions régulières ne sont pas prises en charge. Une valeur sans joker ne correspond qu’à une expérience portant exactement ce nom. 'experiment=qwen*'
num_accelerators Le nombre total de GPU pour la tournée. La valeur doit être un entier positif et doit correspondre exactement. num_accelerators=8
user Le nom d’utilisateur de l’utilisateur qui a soumis la séquence. La valeur doit correspondre exactement. Cette clé remplace la restriction par défaut à vos propres runs, donc vous n’avez pas besoin --all-usersde . user=person@example.com

Pour les valeurs prises en charge accelerator_type , voir Types d’accélérateurs.

Les filtres restreignent les exécutions déjà listées par la commande. Sans --all-status, seules les courses actives peuvent correspondre.

Mettez des guillemets simples autour d’une condition contenant *, ?, ou [ de sorte que votre shell transmet le motif à la CLI sans changer.

La commande renvoie une erreur si une condition n’est pas en KEY=VALUE forme, utilise une clé qui n’est pas dans la table, ou a une valeur vide ou invalide.

Examples

L’exemple suivant liste vos courses actives utilisant des accélérateurs H100 :

databricks air list --filter accelerator_type=H100

L’exemple suivant liste les exécutions dans n’importe quel état soumis person@example.com , où le nom de l’expérience commence par qwen et où la série utilise huit GPU au total :

databricks air list --all-status \
  --filter 'experiment=qwen*' \
  --filter num_accelerators=8 \
  --filter user=person@example.com

Databricks Air Logs

Diffusez ou récupérez des journaux pour une partie.

databricks air logs JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

    Un identifiant exécuté de travail rendu par databricks air run.

Options

--node int

    Sélectionnez un index de nœud basé sur zéros. Valeur par défaut : 0.

--tail int

    Nombre de loglines existantes à imprimer. Valeur par défaut : 10000.

--minutes int

    Récupérez les journaux des dernières minutes. Impossible de combiner avec --tail. Valeur par défaut : 0.

--retry int

    Sélectionnez une tentative de réessayage. 0 est la première tentative et -1 la plus récente. Valeur par défaut : -1.

--download-to string

    Téléchargez les journaux complets dans un annuaire. Télécharge tous les nœuds sauf si --node c’est réglé. Impossible de combiner avec --tail ou --minutes.

Drapeaux mondiaux

Annulation d’air de Databricks

Annulez une ou plusieurs exécutions par identifiant de la mission, ou annulez toutes les exécutions actives soumises par l’utilisateur actuel.

databricks air cancel [JOB_RUN_ID...] [flags]

Arguments

JOB_RUN_ID

    Un ou plusieurs identifiants de gestion de travail. Impossible de combiner avec --all.

Options

--all

    Annulez toutes les exécutions actives soumises par l’utilisateur actuel. Valeur par défaut : false.

-y, --yes

    Passez la demande de confirmation utilisée par --all. Valeur par défaut : false.

Drapeaux mondiaux

Databricks Air Images Push

Poussez une image conteneur dans le registre des artefacts.

Pour les prérequis et instructions pour pousser une image, voir Push images avec la code de commande Databricks.

databricks air images push [flags]

Arguments

None

Options

-s, --source string

    L’image contenant source est un nom avec un tag optionnel (NAME[:TAG]) ou un digest (NAME@DIGEST). Si elle est omise dans un terminal interactif, l’invite de commande affiche la valeur.

--catalog string

    Le catalogue Unity de destination. Si elle est omise dans un terminal interactif, l’invite de commande affiche la valeur.

--schema string

    Le schéma du catalogue Unity de destination. Si elle est omise dans un terminal interactif, l’invite de commande affiche la valeur.

--artifact string

    L’artefact de destination comme ARTIFACT[:TAG]. Par défaut, le nom de l’image source et le tag sont utilisés, ou le latest tag lorsque la source n’a pas de tag.

--pull

    Extrais l’image source de son registre avant de pousser au lieu de réutiliser une image locale disponible. Valeur par défaut : false.

Drapeaux mondiaux

Databricks Air Convert-to-DABS

Convertir une configuration YAML de charge de travail en un Databricks Asset Bundle. Cette commande locale écrit databricks.yml et lance des fichiers sous generated_artifacts/.

Cette commande est un pont optionnel vers un flux de travail avancé en production. Vous pouvez continuer à utiliser databricks air run sans avoir à convertir la configuration.

Pour le flux de travail bundle, voir Planifier les charges GPU et composer les tâches.

databricks air convert-to-dabs YAML_PATH [flags]

Arguments

YAML_PATH

    Le chemin vers la configuration YAML de la charge de travail.

Options

--output-dir string

    Annuaire où la commande écrit le faisceau. La source du code doit se trouver dans ce répertoire. Par défaut : le répertoire contenant le fichier YAML d’entrée.

--force

    Écraser les fichiers bundle générés qui existent déjà. Valeur par défaut : false.

Drapeaux mondiaux

Indicateurs globaux

--debug

  Faut-il activer la journalisation du débogage ?

-h ou --help

    Affiche l’aide pour l’interface CLI de Databricks, le groupe de commandes associé ou la commande concernée.

--log-file Corde

    Chaîne représentant le fichier dans lequel écrire les logs de sortie. Si cet indicateur n’est pas spécifié, la valeur par défaut consiste à écrire les logs de sortie dans stderr.

--log-format Format

    Type de format de journal : text ou json. La valeur par défaut est text.

--log-level Corde

    Chaîne représentant le niveau de format du journal. Si cet indicateur n’est pas défini, le niveau de format de journal est désactivé.

-o, --output Type

    Type de sortie de commande, text ou json. La valeur par défaut est text.

-p, --profile Corde

    Nom du profil dans le ~/.databrickscfg fichier à utiliser pour exécuter la commande. Si cet indicateur n’est pas spécifié, s’il existe, le profil nommé DEFAULT est utilisé.

--progress-format Format

    Format permettant d’afficher les journaux de progression : default, append, inplace ou json

-t, --target Corde

    Le cas échéant, la cible d'ensemble à utiliser

Migration depuis l’ancienne ligne de commande Python

La CLI Databricks et la CLI Python air obsolète utilisent des noms de commandes et des drapeaux différents. Mettre à jour les scripts en utilisant les mappages suivants :

Interface graphique Python Interface CLI de Databricks
air run -f train.yaml databricks air run -f train.yaml
air run -f train.yaml --override A=X B=Y databricks air run -f train.yaml --override A=X --override B=Y
air get run <run-id> databricks air get <run-id>
air list runs databricks air list --all-status
air list runs --active databricks air list
air -h config databricks air run -h config
air logs <run-id> databricks air logs <run-id>
air cancel <run-id> databricks air cancel <run-id>

Ressources additionnelles