Referenční informace k YAML pro úlohy

Tato stránka popisuje pole YAML zatěžení přijatá .databricks air run Pro syntaxi příkazů a příznaky viz databricks air run. Pro odeslání pracovní zátěže viz AI Runtime quickstart.

Každá pracovní zátěž vyžaduje experiment_name, compute, a command.

Example

Následující příklad ukazuje ukázkovou konfiguraci pracovní zátěže:

experiment_name: my-training
compute:
  accelerator_type: GPU_1xA10
  num_accelerators: 1
environment:
  version: 6
  dependencies:
    - torch
code_source:
  root_path: .
command: python $CODE_SOURCE_PATH/train.py

experiment_name

Typ: Řetězec

Required. Klíčem experiment_name je název experimentu MLflow.

Pokud experiment s tímto názvem neexistuje, AI Runtime jej vytvoří. Jinak AI Runtime přidá nový běh do stávajícího experimentu.

vypočítat

Typ: Mapa

Required. Objekt compute definuje konfiguraci akcelerátoru.

Key Typ Description
accelerator_type řetězec Required. Typ akcelerátoru přijatý CLI a dostupný v pracovním prostoru. Porovnávání rozlišuje malá a velká písmena.
num_accelerators integer Required. Pro zvolený typ urychlovače byl podporován kladný počet akcelerátorů.

Typy a počty akcelerátorů závisí na pracovním prostoru, cloudu a regionu. Pro výběr a dostupnost hardwaru viz Hardware.

command

Typ: Řetězec

Required. Klíč command obsahuje příkaz nebo skript v neprázdném shellu. Cesty v příkazu odkazují na vzdálené cesty k souborům v kontejneru zátěže. Když code_source je nastavena, obsahuje $CODE_SOURCE_PATH absolutní cestu k extrahovanému kódu.

prostředí

Typ: Mapa

Objekt environment vybírá spravované prostředí s volitelnými závislostmi nebo vlastní obraz Unity Catalog.

Key Typ Description
version řetězec nebo celé číslo Numerická verze prostředí, například 6, nebo identifikátor prostředí Databricks AI, například databricks_ai_v6. databricks_ai_v Identifikátor vyžaduje verzi 5 nebo novější. Pokud je CLI vynecháno, používá aktuální výchozí AI Runtime.
dependencies seznam řetězců Specifikace balíčku byly předávány do serverless prostředí. Výchozí nastavení bez dalších závislostí.
unity_catalog_image řetězec Vlastní obrázek ve formátu <catalog>.<schema>.<image>:<tag>. Vzájemně se vylučuje s version a dependencies. Pro instrukce k nastavení viz Použít vlastní Docker obrázky s AI Runtime.

Pro rady ohledně výběru a rozšíření prostředí viz Nastavte své prostředí.

Příklad spravovaného prostředí
environment:
  version: 6
  dependencies:
    - torch

Pro použití vlastního obrazu místo spravovaného prostředí uveďte pouze unity_catalog_image:

Příklad vlastního obrázku
environment:
  unity_catalog_image: main.ml.training:v1

code_source

Typ: Mapa

Objekt code_source balí lokální kód pro danou pracovní zátěž.

Key Typ Description
root_path řetězec Vyžaduje se při code_source nastavení. Místní adresář pro balení. Adresář musí existovat, když CLI fázuje běh.
remote_volume řetězec Umístění svazku v Unity Catalog pro nahraný archiv. Musí začínat na /Volumes/. Výchozí umístění v pracovním prostoru.
include_paths seznam řetězců Cesty k zahrnutí vzhledem k root_path. Prvky musí být neprázdné a relativní a nesmí obsahovat ... Vynechte klíč pro zahrnutí všech vybraných souborů. Prázdný seznam není platný.
git objekt Připojí snapshot kódu ke své místní větvi nebo commitu Gitu.

Pokud vynecháte git, CLI balíčkuje pracovní strom, včetně nezáložených a nesledovaných souborů, které nejsou vyloučeny Gitem, ignoruje pravidla. Relativní root_path se vyřeší z adresáře, který obsahuje YAML soubor pracovní zátěže.

Git

Typ: Mapa

Objekt git podporuje následující klíče:

Key Typ Description
branch řetězec Povinné, když commit je vynecháno. Sbalí místního vedoucího pobočky. Vybrané soubory nesmí obsahovat nezávazné změny.
commit řetězec Povinné, když branch je vynecháno. Zabalí commit z lokálního Git objektového úložiště. Vzájemně se vylučuje s branch.
Example

Následující příklad balí vybrané cesty z lokální main větve:

code_source:
  root_path: ./src
  include_paths:
    - training
    - configs
  git:
    branch: main

env_variables

Typ: Zobrazení řetězců

Klíč env_variables obsahuje prostá jména proměnných prostředí a hodnoty řetězců. Jméno se také nemůže objevit v secrets.

Example
env_variables:
  BATCH_SIZE: '32'
  LEARNING_RATE: '0.001'

idempotency_token

Typ: Řetězec

Klíčem idempotency_token je opakované podání příspěvků. Opakované odeslání se stejným žetonem vrací stávající běh. CLI generuje UUID, když je tento klíč vynechán. Vlajka --idempotency-key velení má přednost.

max_retries

Typ: Celé číslo

Klíč max_retries určuje počet pokusů po prvním pokusu. Hodnota musí být nezáporná. Výchozí hodnota: 3.

mlflow_artifact_location

Typ: Řetězec

Klíč mlflow_artifact_location obsahuje URI neboli /Volumes/ cestudbfs:/. Pokud tento klíč vynecháte, nový experiment použije výchozí umístění DBFS a existující experiment použije jeho nakonfigurovanou lokaci artefaktu. Pro existující experiment musí hodnota odpovídat umístění artefaktu experimentu.

mlflow_experiment_directory

Typ: Řetězec

Klíč mlflow_experiment_directory obsahuje adresář pracovního prostoru pro experiment. Cesta musí začínat na /Workspace.

mlflow_run_name

Typ: Řetězec

Klíč mlflow_run_name obsahuje název běhu. Pokud tento klíč vynecháte, název běhu se automaticky změní na hodnotu .experiment_name

parameters

Typ: Mapa

Klíč parameters obsahuje volně vnořené hodnoty. CLI serializuje hodnoty na hyperparameters.yaml ostatní launchové artefakty.

Example
parameters:
  learning_rate: 0.001
  model:
    hidden_size: 1024

oprávnění

Typ: Seznam map

Klíč permissions obsahuje granty přihlášené po podání žádosti. Pokud grant selže, běh zůstává vytvořen a CLI vytiskne varování.

Každý grant podporuje následující klíče:

Key Typ Description
level řetězec Required. Úroveň oprávnění, jako CAN_VIEW je nebo CAN_MANAGE. Pracovní prostor hodnotu ověřuje.
user_name řetězec E-mail uživatele. Specifikujte přesně jeden z user_name, group_name, nebo service_principal_name pro každý grant.
group_name řetězec Název skupiny. Specifikujte přesně jeden z user_name, group_name, nebo service_principal_name pro každý grant.
service_principal_name řetězec Název instančního objektu. Specifikujte přesně jeden z user_name, group_name, nebo service_principal_name pro každý grant.
Example
permissions:
  - user_name: trainer@example.com
    level: CAN_MANAGE
  - group_name: training-team
    level: CAN_VIEW

secrets

Typ: Zobrazení řetězců

Klíč secrets obsahuje názvy proměnných prostředí mapované na tajné odkazy ve stejném scope/key formátu. Rozsah a klíč musí být neprázdné. Jméno se také nemůže objevit v env_variables.

Example
secrets:
  HF_TOKEN: my-scope/hf-token

Pro informace o vytváření a správě tajemství viz Správa tajemství.

timeout_minutes

Typ: Celé číslo

Klíč timeout_minutes nastavuje limit hodin na stěně pro celou sérii, včetně opakovaných pokusů. Hodnota musí být kladná. Pokud je vynecháno, workload používá výchozí nastavení AI Runtime.

usage_policy_id

Typ: Řetězec

Klíč usage_policy_id obsahuje kanonické UUID existující serverless politiky používání. Vzájemně se vylučuje s usage_policy_name.

usage_policy_name

Typ: Řetězec

Klíč usage_policy_name obsahuje název existující politiky serverless používání. Vzájemně se vylučuje s usage_policy_id.

Pro informace o vytváření politik používání viz Využití atributů u serverless usage policies.

Dodatečné zdroje

  • Poslední aktualizace v