Použijte Databricks CLI s AI Runtime

Important

Příkazy Databricks CLI pro AI Runtime jsou ve veřejném náhledu. Správce pracovního prostoru musí před odesláním pracovních zátěží povolit náhled AI Runtime. Viz Požadavky.

CLI spouští databricks air jednouzlové i víceuzlové GPU workloady na AI Runtime, což je serverless platforma pro výpočty GPU na vyžádání. Definujte výpočetní prostředky, prostředí a příkaz pracovní zátěže v YAML, poté je odešlete s databricks air run.

AI Runtime zajišťuje provisioning GPU a nastavení prostředí a poskytuje stav běhu, logy, systémové metriky a sledování MLflow. Pracovní postupy YAML a CLI fungují přirozeně s agenty pro kódování, kteří dokážou definovat, odesílat a monitorovat pracovní zátěže.

Použijte CLI k:

  • Vyvíjejte a iterujte Python aplikace přímo ve svém lokálním prostředí.
  • Definujte opakovatelné jednouzlové nebo víceuzlové pracovní zátěže v souborech YAML, které můžete spravovat ve správě verzí.
  • Odesílejte a spravujte pracovní zátěže z terminálu nebo automatizovaného vývojového workflow.

Typické pracovní zátěže zahrnují jemné ladění LLM a post-training, distribuovaný trénink, dávkové odvozování, aplikace Ray a vyhledávání hyperparametrů.

Pro odeslání pracovní zátěže postupujte podle quickstartu.

Příkazy rozhraní Databricks CLI pro AI Runtime splňují stejné požadavky na soulad jako pracovní zátěže AI Runtime. Informace o podporovaných standardech a výjimkách najdete v profilu zabezpečení dodržování předpisů.

Note

Příkazy databricks air a konfigurace zátěže se liší od staršího rozhraní CLI air založeného na Pythonu v balíčku databricks-air. Vizte migraci Python CLI.

Projděte si spustitelné příklady

AI Runtime Cookbook obsahuje spustitelné Databricks CLI pracovní zátěže pro trénování modelů, jemné ladění, dávkovou inferenci, Ray a vyhledávání hyperparametrů. Každý recept obsahuje YAML soubor pro pracovní zátěž, zdrojový kód a instrukce pro jeho spuštění.

Jak pracovní zátěž běží

Poskytujete YAML soubor pro pracovní zátěž, kód aplikace, když je potřeba, a příkaz, který aplikaci spustí. Když odešlete úlohu:

  1. Definice zátěže je ověřena vůči podporovanému schématu a konfiguračním omezením.
  2. Pokud je nakonfigurováno code_source, vybraný kód je zabalen jako snapshot a nahrán.
  3. Požadované výpočetní prostředky GPU a prostředí jsou připraveny na každém uzlu.
  4. Příkaz uvedený v YAML souboru workloadu se spouští na každém uzlu.

Odeslání požadavku vrátí ID běhu úlohy, které identifikuje pracovní zátěž. Použijte ho ke kontrole stavu, kontrolě logů a konfigurace, nebo ke zrušení zátěže. Můžete také zobrazit stránku Jobs run a experiment MLflow, kde najdete podrobnosti o spuštění, systémové metriky, logy a artefakty.

Tento pracovní postup poskytuje spravované zřizování GPU, reprodukovatelné nastavení prostředí a integrovanou observabilitu bez nutnosti konfigurovat nebo udržovat GPU infrastrukturu.

Konfigurace úlohy

Soubor YAML zátěže popisuje následující komponenty:

  • Experiment: Experiment a běh MLflow, které sledují pracovní zátěž.
  • Prostředí: Spravované prostředí, závislosti nebo vlastní obraz Dockeru k použití.
  • Compute: Typ akcelerátoru a počet akcelerátorů ke zřízení.
  • Zdroj kódu: Volitelný snímek aplikačního kódu, který má být zpřístupněn pracovní zátěži.
  • Příkaz: Shell příkaz, který spustí vaši aplikaci.
  • Nastavení běhu: Možnosti jako opakované pokusy, časové limity, proměnné prostředí, tajné klíče a oprávnění.

Pro konfigurační pole a příklady viz Workload YAML reference.

Nahrát aplikační kód

Použijte code_source k nahrávání aplikačních souborů s úlohou. AI Runtime zpřístupňuje nahraný adresář na každém uzlu a nastavuje $CODE_SOURCE_PATH na jeho umístění. Například následující příkaz spustí train.py v nahraném adresáři:

command: python "$CODE_SOURCE_PATH/train.py"

Můžete nahrát aktuální pracovní strom nebo vybrat větev Gitu či commit. Pro kompletní příklad viz rychlý start.

Vyvíjet a řídit úlohy

Vývoj obvykle probíhá podle tohoto postupu:

  1. Vyvíjejte aplikační kód a soubor YAML úlohy lokálně.
  2. Ověřte YAML lokálně pomocí databricks air run --file <file> --dry-run.
  3. Odešlete úlohu pomocí databricks air run --file <file>. Přidávejte --watch do protokolů streamu, dokud se běh nedokončí.
  4. Použijte databricks air get, databricks air list a databricks air logs ke kontrole pracovních zátěží a logů.
  5. Volitelně můžete zastavit běžící zátěž pomocí databricks air cancel.

Pro všechny příkazy a příznaky viz air skupinu příkazů.

Pro plánované běhy, multitaskové workflow nebo propagaci napříč prostředími můžete použít databricks air convert-to-dabs jako výchozí bod pro bundle. Viz Plánování úloh GPU a skládání úloh.

Sledování úloh pomocí MLflow

Každá odevzdaná pracovní zátěž je reprezentována během úlohy Databricks a sledována prostřednictvím experimentu MLflow:

  • Databricks job run: Zobrazuje stav pracovní zátěže, pokusy o provedení a výstup na stránce Jobs run.
  • Experiment MLflow: Obsahuje běhy MLflow s automaticky zachycovanými systémovými metrikami, konfigurací zátěže a logy. Vaše aplikace může také využívat MLflow API k zaznamenávání vlastních parametrů, metrik a artefaktů.

Použijte ID spuštění úlohy s příkazy jako databricks air get, databricks air logs, a databricks air cancel. Viz Sledování experimentu a pozorovatelnost.

Spouštějte jednouzlové a distribuované pracovní zátěže

AI Runtime spustí konfigurovaný příkaz jednou na každém zřízeném uzlu. Pro distribuovanou pracovní zátěž poskytuje koordinační proměnné jako NUM_NODES, NODE_RANK, LOCAL_WORLD_SIZE, MASTER_ADDR, a MASTER_PORT.

Tento model spouštění je nezávislý na frameworku. Váš příkaz musí spustit a nakonfigurovat distribuovaný framework, například zavoláním torchrun, Ray bootstrap skriptu nebo jiného frameworkového launcheru. Úplné úlohy najdete v AI Runtime Cookbook.

Použijte AI asistenta

Dovednostdatabricks-ai-runtime agenta poskytuje instrukce, které pomáhají AI agentům, jako jsou Claude Code, Cursor a Codex, pracovat s AI Runtime prostřednictvím Databricks CLI. Použijte ho k vytváření workload YAML, odesílání GPU tréninkových úloh, kontrole stavu běhu, streamování logů a rušení běhů. Obsahuje také návody pro vlastní Docker image.

Po instalaci Databricks CLI a nastavení autentizace spusťte následující příkaz:

databricks aitools install --skills-only --skills databricks-ai-runtime

Postupujte podle pokynů k výběru AI agenta a rozsahu instalace. Možnosti instalace viz aitools skupinu příkazů.

Dodatečné zdroje

  • Poslední aktualizace v