Použijte Databricks CLI s AI Runtime

CLI spouští databricks air jednouzlové GPU workloady na AI Runtime, což je bezserverová platforma pro výpočetní výkon GPU na vyžádání. Definujte výpočetní prostředky, prostředí a příkaz pracovní zátěže v YAML, poté ji odešlete s databricks air run.

AI Runtime zajišťuje provisioning GPU a nastavení prostředí a poskytuje stav běhu, logy, systémové metriky a sledování MLflow. Pracovní postupy YAML a CLI fungují přirozeně s kódovacími agenty, kteří dokážou definovat, odesílat a monitorovat pracovní zátěže.

Použijte CLI k:

  • Vyvíjejte a iterujte Python aplikace přímo ve svém lokálním prostředí.
  • Definujte opakovatelné pracovní zátěže v souborech YAML, které můžete spravovat v systému správy verzí.
  • Odesílejte a spravujte pracovní zátěže z terminálu nebo automatizovaného vývojového workflow.

Typické pracovní zátěže zahrnují jemné ladění LLM a post-trénování, distribuované trénování, dávkovou inferenci, Ray aplikace a vyhledávání hyperparametrů.

Požadavky na pracovní prostor najdete v Požadavky. Pro odeslání úlohy postupujte podle quickstartu.

Příkazy rozhraní Databricks CLI pro AI Runtime splňují stejné požadavky na soulad jako pracovní zátěže AI Runtime. Informace o podporovaných standardech a výjimkách najdete v profilu zabezpečení dodržování předpisů.

Note

Příkazy databricks air a konfigurace zátěže se liší od staršího rozhraní CLI air založeného na Pythonu v balíčku databricks-air. Vizte migraci Python CLI.

Projděte si spustitelné příklady

AI Runtime Cookbook obsahuje spustitelné Databricks CLI pracovní zátěže pro trénování modelů, jemné ladění, dávkovou inferenci, Ray a vyhledávání hyperparametrů. Každý recept obsahuje YAML soubor pro pracovní zátěž, zdrojový kód a instrukce pro jeho spuštění.

Jak se pracovní zátěž spouští

Poskytujete YAML soubor pro pracovní zátěž, kód aplikace, když je potřeba, a příkaz, který aplikaci spustí. Když odešlete úlohu:

  1. Definice zátěže je ověřena vůči podporovanému schématu a konfiguračním omezením.
  2. Pokud je nakonfigurováno code_source, vybraný kód je zabalen jako snapshot a nahrán.
  3. Požadované výpočetní prostředky GPU a prostředí jsou připraveny na každém uzlu.
  4. Příkaz uvedený v YAML souboru workloadu se spouští na každém uzlu.

Odeslání vrátí ID Job Run, které identifikuje pracovní zátěž. Použijte ho ke kontrole stavu, kontrolě logů a konfigurace, nebo ke zrušení zátěže. Můžete také zobrazit stránku Jobs run a experiment MLflow, kde najdete podrobnosti o spuštění, systémové metriky, logy a artefakty.

Tento pracovní postup poskytuje spravované zřizování GPU, reprodukovatelné nastavení prostředí a integrovanou observabilitu bez nutnosti konfigurovat nebo udržovat GPU infrastrukturu.

Konfigurace pracovní zátěže

Soubor YAML zátěže popisuje následující komponenty:

  • Experiment: Experiment a spuštění v MLflow, které sledují pracovní zátěž.
  • Prostředí: Spravované prostředí, závislosti nebo vlastní obraz Dockeru k použití.
  • Compute: Typ akcelerátoru a počet akcelerátorů k zajištění.
  • Zdroj kódu: Volitelný snímek aplikačního kódu, který má být zpřístupněn pracovní zátěži.
  • Příkaz: Shell příkaz, který spustí vaši aplikaci.
  • Nastavení běhového prostředí: Možnosti jako opakované pokusy, časové limity, proměnné prostředí, tajné klíče a oprávnění.

Pro konfigurační pole a příklady viz Workload YAML reference.

Nahrát aplikační kód

Použijte code_source k nahrání aplikačních souborů v rámci úlohy. AI Runtime zpřístupňuje nahraný adresář na každém uzlu a nastavuje $CODE_SOURCE_PATH na jeho umístění. Například následující příkaz spustí train.py z nahraného adresáře:

command: python "$CODE_SOURCE_PATH/train.py"

Můžete nahrát aktuální pracovní strom nebo vybrat větev Gitu či commit. Pro kompletní příklad viz rychlý start.

Vyvíjet a spravovat úlohy

Vývoj obvykle probíhá podle tohoto postupu:

  1. Vyvíjejte aplikační kód a soubor YAML úlohy lokálně.
  2. Ověřte YAML lokálně pomocí databricks air run --file <file> --dry-run.
  3. Odešlete úlohu pomocí databricks air run --file <file>. Přidejte --watch do protokolů streamu, dokud běh neskončí.
  4. Použijte databricks air get, databricks air list a databricks air logs ke kontrole pracovních zátěží a logů.
  5. Případně zastavte spuštěnou úlohu pomocí databricks air cancel.

Pro všechny příkazy a přepínače viz skupinu příkazůair.

Pro plánované běhy, multitaskové workflow nebo propagaci napříč prostředími můžete použít databricks air convert-to-dabs jako výchozí bod pro bundle. Podívejte se na Plánování úloh GPU a vytváření úloh.

Sledování pracovních úloh pomocí MLflow

Každá odevzdaná pracovní zátěž je reprezentována spuštěním úlohy Databricks a sledována prostřednictvím experimentu MLflow:

  • Databricks job run: Zobrazuje stav pracovní zátěže, pokusy o provedení a výstup na stránce Jobs run.
  • Experiment MLflow: Obsahuje běhy MLflow s automaticky zachycovanými systémovými metrikami, konfigurací zátěže a logy. Vaše aplikace může také využívat MLflow API k zaznamenávání vlastních parametrů, metrik a artefaktů.

Použijte ID spuštění úlohy s příkazy jako databricks air get, databricks air logs, a databricks air cancel. Viz Sledování experimentu a pozorovatelnost.

Spouštějte jednouzlové a distribuované pracovní zátěže

AI Runtime spustí konfigurovaný příkaz na nastaveném uzlu. Pro multi-GPU zátěž poskytuje koordinační proměnné jako LOCAL_WORLD_SIZE a WORLD_SIZE.

Tento model spouštění je nezávislý na frameworku. Váš příkaz musí spustit a nakonfigurovat distribuovaný framework, například zavoláním torchrun, Ray bootstrap skriptu nebo jiného frameworkového launcheru. Úplné informace o úlohách najdete v AI Runtime Cookbook.

Použít agenta AI

Dovednostdatabricks-ai-runtime agenta poskytuje instrukce, které pomáhají AI agentům, jako jsou Claude Code, Cursor a Codex, pracovat s AI Runtime prostřednictvím Databricks CLI. Použijte ho k vytváření workload YAML, odesílání GPU tréninkových úloh, kontrole stavu běhu, streamování logů a rušení běhů. Obsahuje také návody pro vlastní image Dockeru.

Po instalaci Databricks CLI a nastavení autentizace spusťte následující příkaz:

databricks aitools install --skills-only --skills databricks-ai-runtime

Postupujte podle pokynů k výběru AI agenta a rozsahu instalace. Pro možnosti instalace viz aitools skupina příkazů. O tom, co dovednost pokrývá, viz Použití agentních dovedností s AI Runtime.

Dodatečné zdroje

  • Poslední aktualizace v