İş yükü YAML başvurusu

Bu sayfa, tarafından databricks air runkabul edilen iş yükü YAML alanlarını açıklar. Komut sözdizimi ve bayraklar için databricks air run'a bakınız. Bir iş yükü göndermek için AI Çalışma Zamanı hızlı başlatma'na bakınız.

Her iş yükü , compute, ve commandgerektirirexperiment_name.

Example

Aşağıdaki örnek, örnek bir iş yükü yapılandırmasını göstermektedir:

experiment_name: my-training
compute:
  accelerator_type: GPU_1xA10
  num_accelerators: 1
environment:
  version: 6
  dependencies:
    - torch
code_source:
  root_path: .
command: python $CODE_SOURCE_PATH/train.py

experiment_name

Türü: Dize

Required. Anahtar experiment_name nokta MLflow deneyinin adıdır.

Bu isimle bir deney yoksa, AI Runtime onu oluşturur. Aksi takdirde, AI Runtime yeni koşuyu mevcut deneye ekler.

compute

Tür: Harita

Required. Nesne, compute hızlandırıcı konfigürasyonunu tanımlar.

Key Type Description
accelerator_type string Required. CLI tarafından kabul edilen ve çalışma alanında mevcut bir hızlandırıcı tipi. Eşleştirme büyük/küçük harfe duyarlıdır.
num_accelerators integer Required. Seçilen hızlandırıcı tipi için pozitif hızlandırıcı sayısı desteklenir.
pool_id string Sağlanan GPU kapasitesinin kimliği.
priority_class string Sağlanmış GPU kapasitesini kullanan iş yükleri için zamanlama önceliği. Kabul edilen değerler , BEST_EFFORTve NORMALdeğerleridirCRITICAL. gerektirir pool_id.

Hızlandırıcı türleri ve sayıları çalışma alanı, bulut ve bölgeye bağlıdır. Donanım seçimi ve erişilebilirliği için Donanım bölümüne bakınız.

command

Türü: Dize

Required. Anahtar, command boş olmayan bir kabuk komutu veya betik içerir. Komuttaki yollar, iş yükü konteynerindeki uzak dosya yollarına atıfta bulunur. Ayarlandığında code_source , $CODE_SOURCE_PATH çıkarılan kodun mutlak yolunu içerir.

environment

Tür: Harita

Nesne, environment isteğe bağlı bağımlılıklara sahip yönetilen bir ortamı veya özel bir Unity Kataloğu görgesini seçer.

Key Type Description
version dize veya tamsayı Bir sayısal ortam versiyonu, 6örneğin , veya Databricks yapay zeka ortam tanımlayıcısı, örneğin databricks_ai_v6. Bir databricks_ai_v tanımlayıcı için 5 veya üzeri sürüm gereklidir. Eğer atlanırsa, CLI mevcut AI Çalışma Zamanı varsayılan özelliğini kullanır.
dependencies dize listesi Paket özellikleri sunucusuz ortama aktarıldı. Varsayılan olarak ek bağımlılık yok.
unity_catalog_image string Formatında <catalog>.<schema>.<image>:<tag>özel bir görüntü. ve versionile dependencies birbirini dışlar. Kurulum talimatları için Use custom Docker images with AI Runtime sayfasına bakınız.

Bir ortam seçme ve genişletme konusunda rehberlik için Ortamınızı Kurulum sayfasına bakınız.

Yönetilen ortam örneği
environment:
  version: 6
  dependencies:
    - torch

Yönetilen bir ortam yerine özel bir görüntü kullanmak için yalnızca unity_catalog_imageşunları belirtin:

Özel görsel örneği
environment:
  unity_catalog_image: main.ml.training:v1

code_source

Tür: Harita

Nesne, code_source iş yükü için yerel kod paketler.

Key Type Description
root_path string code_source Ayarlandığında gereklidir. Yerel dizinden paket. Dizin, CLI çalıştırmayı aşamaladığında var olmalıdır.
remote_volume string Yüklenen arşiv için Unity Kataloğu hacim konumu. ile /Volumes/başlamalıdır. Varsayılan olarak bir çalışma alanı konumu var.
include_paths dize listesi Dahil edilecek yollar root_pathile karşılaştırıldığında. Girişler boş olmayan ve göreli olmalıdır ve içeremez ... Tüm seçilmiş dosyaları dahil etme anahtarını çıkarın. Boş bir liste geçerli değildir.
git Obje Kod kaynağı anlık görüntüsünü yerel bir Git şubesine veya commit ile sabitler.

Eğer atlarsanız git, Yönetim Kurulu Takımı çalışma ağacını paketler; bunlar Git tarafından dışlanmayan ve takip edilmemiş dosyalar da dahil olmak üzere, kuralları görmezden gelir. Bir göreli root_path , iş yükü YAML dosyasını içeren dizinden çözümlenir.

Git

Tür: Harita

git nesnesi aşağıdaki anahtarları destekler:

Key Type Description
branch string Zorunlu olduğunda commit atlanır. Şubenin yerel BAŞKAN'ını paketler. Seçilen dosyalar taahhüt edilmemiş değişiklikler içeremez.
commit string Zorunlu olduğunda branch atlanır. Yerel Git nesne deposundan bir commit paketler. branch ile birbirini dışlar.
Example

Aşağıdaki örnek yerel daldan main seçilmiş yolları paketler:

code_source:
  root_path: ./src
  include_paths:
    - training
    - configs
  git:
    branch: main

env_variables

Tip: Dizide harita

Anahtar, env_variables basit ortam değişken adları ve dizi değerleri içerir. Bir isim de içinde secretsyer alamaz.

Example
env_variables:
  BATCH_SIZE: '32'
  LEARNING_RATE: '0.001'

idempotency_token

Türü: Dize

Anahtar, idempotency_token tekrar eden gönderimleri tanımlar. Aynı tokenla tekrar yapılan gönderim mevcut koşuyu geri döndürür. CLI, bu anahtar atıldığında bir UUID oluşturur. Komuta --idempotency-key bayrağı önceliklidir.

max_retries

Tür: Tamsayı

Anahtar, max_retries ilk denemeden sonra tekrar deneme sayısını belirtir. Değer negatif olmamalıdır. Varsayılan: 3.

mlflow_artifact_location

Türü: Dize

Anahtar mlflow_artifact_location bir dbfs:/ URI veya /Volumes/ yol içerir. Bu anahtarı atlarsanız, yeni bir deney varsayılan DBFS konumunu kullanır ve mevcut deney yapılandırılmış artefakt konumunu kullanır. Mevcut bir deney için, değer deneyin eser konumuyla eşleşmelidir.

mlflow_experiment_directory

Türü: Dize

Anahtar, mlflow_experiment_directory deneyin çalışma alanı dizinini içerir. Yol ile /Workspacebaşlamalıdır.

mlflow_run_name

Türü: Dize

Anahtar mlflow_run_name koşu adını içerir. Bu anahtarı atlarsanız, çalıştırma adı varsayılan olarak değer olarak experiment_nameolur.

parameters

Tür: Harita

Anahtar, parameters serbest biçimli iç içe değerler içerir. CLI, değerleri hyperparameters.yaml diğer lansman artefaktlarıyla serileştirir.

Example
parameters:
  learning_rate: 0.001
  model:
    hidden_size: 1024

permissions

Tür: Haritalar listesi

Anahtar, permissions başvurudan sonra başvurulan hibeleri içerir. Bir destek başarısız olursa, çalışma oluşturulmaya devam eder ve CLI uyarı yazdırır.

Her hibe aşağıdaki anahtarları destekler:

Key Type Description
level string Required. Bir izin seviyesi, örneğin CAN_VIEW veya CAN_MANAGE. Çalışma alanı değeri doğrular.
user_name string Kullanıcı e-postası. Her hibe için tam olarak bir , user_namegroup_name, veya service_principal_name belirt.
group_name string Grup adı. Her hibe için tam olarak bir , user_namegroup_name, veya service_principal_name belirt.
service_principal_name string Hizmet asıl adı. Her hibe için tam olarak bir , user_namegroup_name, veya service_principal_name belirt.
Example
permissions:
  - user_name: trainer@example.com
    level: CAN_MANAGE
  - group_name: training-team
    level: CAN_VIEW

secrets

Tip: Dizide harita

Anahtar, secrets ortam değişken isimlerinin tam formatta gizli referanslara scope/key eşlenmiş olmasını içerir. Dürbün ve anahtar boş olmalı. Bir isim de içinde env_variablesyer alamaz.

Example
secrets:
  HF_TOKEN: my-scope/hf-token

Sır oluşturma ve yönetme hakkında bilgi için Gizli yönetim bölümüne bakınız.

timeout_minutes

Tür: Tamsayı

Anahtar, timeout_minutes denemeler dahil olmak üzere tüm koşu için duvar saati sınırını belirler. Değer pozitif olmalıdır. Eğer atlanırsa, iş yükü AI Çalışma Zamanı varsayılan özelliğini kullanır.

usage_policy_id

Türü: Dize

Anahtar, usage_policy_id mevcut sunucusuz kullanım politikasının kanonik UUID'sini içerir. usage_policy_name ile birbirini dışlar.

usage_policy_name

Türü: Dize

Anahtar, usage_policy_name mevcut sunucusuz kullanım politikasının adını içerir. usage_policy_id ile birbirini dışlar.

Kullanım politikaları oluşturma hakkında bilgi için bkz. Sunucusuz kullanım politikalarıyla öznitelik kullanımı.

Ek kaynaklar