Databricks CLI gyorsútmutató az AI Runtime-hoz

Important

Ez a funkció nyilvános előzetes verzióban van.

Küldd be az első betanítási feladatodat a Databricks CLI-vel három lépésben: írj egy train.yaml konfigurációt, futtasd a(z) databricks air run paranccsal, majd ellenőrizd a futást.

Requirements

Ellenőrizd, hogy az AI Runtime parancsok elérhetőek-e:

databricks air --help

1. lépés: YAML-konfiguráció írása

Hozzon létre a munkaterhelést leíró train.yaml. A minimális konfigurációhoz szükség van egy kísérlet nevére, egy számítási specifikációra és egy parancsra. Az alábbi parancs helyi kód nélkül fut, így azonnal elküldheti az első futtatását:

experiment_name: my-first-air-run
compute:
  num_accelerators: 1
  accelerator_type: GPU_1xA10
command: echo "hello AIR!"

Saját kód futtatása

Helyi betanítási szkript futtatásához adjon hozzá egy environment blokkot, amely felsorolja a Python függőségeit, valamint egy code_source blokkot, amely feltölti a helyi kódot. Helyezze a szkriptet a következő mellé train.yaml:

my-project/
├── train.yaml
└── train.py

experiment_name: my-first-air-run
environment:
  version: '4'
  dependencies:
    - torch
    - transformers
compute:
  num_accelerators: 1
  accelerator_type: GPU_1xA10
code_source:
  type: snapshot
  snapshot:
    root_path: .
command: python $CODE_SOURCE_PATH/train.py

Ez a konfiguráció telepíti a felsorolt függőségeket, feltölti az aktuális könyvtárat (root_path: .), és egyetlen A10 GPU-n fut train.py . $CODE_SOURCE_PATH a távoli csomóponton lévő feltöltött kód helyére oldódik fel. A Databricks ezt javasolja, nem pedig az elérési út keménykódolását. environment.versionkiválasztja a kiszolgáló nélküli GPU-környezet verzióját, és nem kötelező (alapértelmezés szerint).'4' Minden elérhető verzióért lásd: Környezeti verziók.

A teljes mezőre vonatkozó referenciát a számítási feladat YAML-referenciája ismerteti.

2. lépés: A futtatás beküldése

Küldje el a számítási feladatot:

databricks air run -f train.yaml

A CLI feltölti a helyi kódot (ha konfigurált egy code_source-t), elküldi a feladatot, és kiír egy futtatásazonosítót. Ezzel az azonosítóval megvizsgálhatja, megnézheti és megszakíthatja a futtatásokat a későbbi parancsokban.

A beküldés létrehoz egy futtatást a nevesített MLflow-kísérletben experiment_name (egy kísérlet több futtatást is tartalmazhat). Ez a futtatás rögzíti a számítási feladat metrikáit, paramétereit, összetevőit és naplóit, amelyek mind megtekinthetők a munkaterület MLflow felhasználói felületén. A naplók az MLflow-on kívül is elérhetők: streamelhetők a terminálba vagy egy fájlba, vagy később databricks air logs letölthetik őket (lásd a 3. lépést).

Ha a naplókat a befejezésig szeretné megtekinteni, adja hozzá a következőt --watch:

databricks air run -f train.yaml --watch

3. lépés: A futtatás ellenőrzése

Állapot ellenőrzése:

databricks air get <run-id>

A kimenet a futtatás MLflow-kísérletére és a munkaterület felhasználói felületén futó MLflow-futtatásra mutató kattintható hivatkozásokat tartalmaz.

Naplók valós idejű megjelenítése vagy letöltése:

databricks air logs <run-id>
databricks air logs <run-id> --node 2
databricks air logs <run-id> --download-to ./logs/

Az elosztott számítási feladatok több csomóponton futnak. Alapértelmezés szerint a databricks air logs streamek a 0. csomópontból származnak. Ha egy adott csomópont naplóit szeretné megtekinteni, adja át --node. A naplók streamelése helyett használja a(z) --download-to elemet, hogy azokat egy helyi könyvtárba írja.

Legutóbbi futások listázása:

databricks air list --all-status --limit 10
databricks air list

Futtatás megszakítása:

databricks air cancel <run-id>

Gyakori minták

YAML-mezők felülbírálása a parancssorból:

databricks air run -f train.yaml --override compute.num_accelerators=32 --override timeout_minutes=120

Ellenőrizze a konfigurációt anélkül, hogy elküldené:

databricks air run -f train.yaml --dry-run

A beküldés biztonságos újrapróbálkozásának biztosítása:

databricks air run -f train.yaml --idempotency-key my-unique-key

Ha korábban ugyanazt a kulcsot használta, a rendszer a meglévő futtatás visszaadása helyett újat hoz létre.

További erőforrások

  • Last updated on