Gebruik de Databricks CLI met AI Runtime

Important

De Databricks CLI-commando's voor AI Runtime zijn in Public Preview. Een workspace-beheerder moet de AI Runtime-preview inschakelen voordat je workloads kunt indienen. Zie Vereisten.

De databricks air CLI draait single-node en multi-node GPU-workloads op AI Runtime, het on-demand serverless GPU-computeplatform. Definieer de rekenkracht, omgeving en het commando van een werklast in YAML en dien het vervolgens in met databricks air run.

AI Runtime verzorgt GPU-provisioning en omgevingsinstelling en levert runstatus, logs, systeemstatistieken en MLflow-tracking. De YAML- en CLI-workflow werkt natuurlijk met codeeragenten, die workloads kunnen definiëren, indienen en monitoren.

Gebruik de CLI om:

  • Ontwikkel en herhaal Python-applicaties vanuit je lokale omgeving.
  • Definieer herhaalbare single-node of multi-node workloads in YAML-bestanden die je onder versiebeheer kunt plaatsen.
  • Dien workloads in en beheer ze vanaf een terminal of geautomatiseerde ontwikkelingsworkflow.

Typische workloads omvatten LLM-fine-tuning en post-training, gedistribueerde training, batchinferentie, Ray-toepassingen en hyperparameterzoeken.

Om een workload in te dienen, volg je de quickstart.

De Databricks CLI-commando's voor AI Runtime voldoen aan dezelfde compliance-standaarden als AI Runtime-workloads. Zie nalevingsbeveiligingsprofiel voor de ondersteunde standaarden en uitzonderingen.

Note

De databricks air commando's en workloadconfiguratie verschillen van de legacy Python-gebaseerde air CLI in het databricks-air pakket. Zie Python CLI-migratie.

Verken uitvoerbare voorbeelden

Het AI Runtime Cookbook bevat uitvoerbare Databricks CLI-workloads voor modeltraining, fine-tuning, batchinferentie, Ray en hyperparameterzoeken. Elk voorbeeld bevat een workload-YAML-bestand, broncode en instructies om het uit te voeren.

Hoe een workload wordt uitgevoerd

Je levert een workload-YAML-bestand, applicatiecode wanneer nodig, en het commando dat je applicatie start. Wanneer je een taak indient:

  1. De werklastdefinitie wordt gevalideerd aan de hand van het ondersteunde schema en configuratiebeperkingen.
  2. Als code_source geconfigureerd is, wordt de geselecteerde code als snapshot verpakt en geüpload.
  3. De gevraagde GPU-berekening en omgeving zijn op elke node voorbereid.
  4. Het commando dat in de workload YAML wordt geleverd, draait op elke node.

De inzending geeft een Job Run-ID terug die de workload identificeert. Gebruik het om de status te controleren, logs en configuraties te inspecteren, of de workload te annuleren. Je kunt ook de Jobs run-pagina en het MLflow-experiment bekijken voor uitvoeringsdetails, systeemmetrics, logs en artefacten.

Deze workflow biedt beheerde GPU-provisioning, reproduceerbare omgevingsopstelling en ingebouwde observabiliteit zonder dat je de GPU-infrastructuur hoeft te configureren of te onderhouden.

Werkbelastingconfiguratie

Een workload YAML-bestand beschrijft de volgende componenten:

  • Experiment: Het MLflow-experiment en de run die de werklast volgt.
  • Omgeving: De beheerde omgeving, afhankelijkheden of aangepaste Docker-image die gebruikt moet worden.
  • Compute: Het type accelerator en het aantal accelerators dat moet worden provisioneerd.
  • Codebron: Een optionele snapshot van applicatiecode om beschikbaar te stellen voor de werklast.
  • Commando: Het shell-commando dat je applicatie start.
  • Runtime-instellingen: Opties zoals herkansingen, time-outs, omgevingsvariabelen, geheimen en machtigingen.

Voor configuratievelden en voorbeelden, zie de referentie Workload YAML.

Upload applicatiecode

Gebruik code_source om applicatiebestanden te uploaden met een workload. AI Runtime maakt de geüploade map beschikbaar op elke node en stelt $CODE_SOURCE_PATH in op die locatie. Bijvoorbeeld, het volgende commando draait train.py vanuit de geüploade map:

command: python "$CODE_SOURCE_PATH/train.py"

Je kunt de huidige werkboom uploaden of een Git-branch of commit selecteren. Voor een compleet voorbeeld, zie de quickstart.

Workloads ontwikkelen en beheren

Ontwikkeling volgt doorgaans het volgende proces:

  1. Ontwikkel lokaal de applicatiecode en workload YAML.
  2. Valideer de YAML lokaal met databricks air run --file <file> --dry-run.
  3. Dien de werkbelasting in met databricks air run --file <file>. Voeg --watch toe aan de streamlogs totdat de run is afgerond.
  4. Gebruik databricks air get, databricks air list, en databricks air logs om workloads en logs te inspecteren.
  5. Optioneel stop je een actieve workload met databricks air cancel.

Voor alle commando's en vlaggen, zie air commandogroep.

Voor geplande runs, multitask-workflows of promotie tussen omgevingen kun databricks air convert-to-dabs je gebruiken als startpunt voor een bundel. Zie GPU-workloads plannen en taken samenstellen.

Volg workloads met MLflow

Elke ingediende werklast wordt weergegeven door de uitvoering van een Databricks-job en gevolgd via een MLflow-experiment:

  • Databricks job run: Toont de werklaststatus, uitvoerpogingen en output op de Jobs run-pagina.
  • MLflow-experiment: Bevat de MLflow-runs met automatisch vastgelegde systeemmetrics, workloadconfiguratie en logs. Je applicatie kan ook de MLflow API's gebruiken om aangepaste parameters, metrics en artefacten te loggen.

Gebruik de Job Run ID met commando's zoals databricks air get, databricks air logs, en databricks air cancel. Zie het bijhouden van experimenten en observabiliteit.

Voer single-node- en gedistribueerde workloads uit

AI Runtime voert het geconfigureerde commando één keer uit op elke geprovisioneerde node. Voor een gedistribueerde werklast levert het coördinatievariabelen zoals NUM_NODES, NODE_RANK, LOCAL_WORLD_SIZE, MASTER_ADDR, en MASTER_PORT.

Dit uitvoeringsmodel is framework-onafhankelijk. Je commando moet het gedistribueerde framework starten en configureren, bijvoorbeeld door torchrun, een Ray bootstrap-script of een andere framework-launcher aan te roepen. Voor volledige workloads, zie het AI Runtime Cookbook.

Gebruik een AI-agent

De databricks-ai-runtime agentskill geeft instructies die AI-agenten, zoals Claude Code, Cursor en Codex, helpen om met AI Runtime te werken via de Databricks CLI. Gebruik het om workload-YAML te maken, GPU-trainingsjobs in te dienen, de runstatus te controleren, logs te streamen en runs te annuleren. Het bevat ook richtlijnen voor aangepaste Docker-images.

Na het installeren van de Databricks CLI en het configureren van authenticatie, voer je het volgende commando uit:

databricks aitools install --skills-only --skills databricks-ai-runtime

Volg de instructies om je AI-agent en installatiebereik te kiezen. Voor installatieopties, zie aitools command group.

Aanvullende bronnen

  • Laatst bijgewerkt om