Referensi YAML beban kerja

Halaman ini menjelaskan bidang YAML beban kerja yang diterima oleh databricks air run. Untuk sintaks perintah dan flag, lihat databricks air run. Untuk mengirimkan beban kerja, lihat AI Runtime quickstart.

Setiap beban kerja membutuhkan experiment_name, compute, dan command.

Contoh

Contoh berikut menunjukkan contoh konfigurasi beban kerja:

experiment_name: my-training
compute:
  accelerator_type: GPU_1xA10
  num_accelerators: 1
environment:
  version: 6
  dependencies:
    - torch
code_source:
  root_path: .
command: python $CODE_SOURCE_PATH/train.py

experiment_name

Jenis: String

Required. Kuncinya experiment_name adalah nama eksperimen MLflow.

Jika eksperimen dengan nama ini tidak ada, AI Runtime akan membuatnya. Jika tidak, AI Runtime menambahkan run baru ke eksperimen yang sudah ada.

komputasi

Tipe: Peta

Required. Objek mendefinisikan compute konfigurasi akselerator.

Key Type Description
accelerator_type string Required. Tipe akselerator yang diterima oleh CLI dan tersedia di workspace. Pencocokan peka huruf besar/kecil.
num_accelerators integer Required. Jumlah akselerator positif yang didukung untuk tipe akselerator yang dipilih.
pool_id string ID untuk kapasitas GPU yang telah disediakan.
priority_class string Prioritas penjadwalan untuk beban kerja yang menggunakan kapasitas GPU yang disediakan. Nilai yang diterima adalah BEST_EFFORT, NORMAL, dan CRITICAL. Membutuhkan pool_id.

Jenis dan jumlah akselerator tergantung pada workspace, cloud, dan wilayah. Untuk pemilihan perangkat keras dan ketersediaan, lihat Perangkat Keras.

command

Jenis: String

Required. Kunci berisi command perintah shell atau skrip yang tidak kosong. Jalur dalam perintah merujuk pada jalur file jarak jauh di kontainer beban kerja. Ketika code_source diatur, $CODE_SOURCE_PATH berisi jalur absolut ke kode yang diekstrak.

environment

Tipe: Peta

environment Objek memilih lingkungan yang dikelola dengan dependensi opsional atau citra Unity Catalog kustom.

Key Type Description
version string atau bilangan bulat Versi lingkungan numerik, seperti 6, atau pengenal lingkungan AI Databricks, seperti databricks_ai_v6. Identifikasi databricks_ai_v memerlukan versi 5 atau lebih tinggi. Jika dihilangkan, CLI menggunakan default AI Runtime saat ini.
dependencies daftar teks Spesifikasi paket diteruskan ke lingkungan serverless. Default tidak memiliki ketergantungan tambahan.
unity_catalog_image string Gambar kustom dalam format <catalog>.<schema>.<image>:<tag>. Tidak dapat digunakan bersamaan dengan version dan dependencies. Untuk petunjuk pengaturan, lihat Gunakan gambar Docker kustom dengan AI Runtime.

Untuk panduan tentang memilih dan memperluas lingkungan, lihat Atur lingkungan Anda.

Contoh lingkungan terkelola
environment:
  version: 6
  dependencies:
    - torch

Untuk menggunakan gambar kustom sebagai pengganti lingkungan terkelola, tentukan hanya unity_catalog_image:

Contoh gambar kustom
environment:
  unity_catalog_image: main.ml.training:v1

code_source

Tipe: Peta

Objek mengemas code_source kode lokal untuk beban kerja.

Key Type Description
root_path string Diperlukan saat code_source diatur. Direktori lokal untuk dikemas. Direktori harus ada saat CLI melakukan stage.
remote_volume string Lokasi volume Unity Catalog untuk arsip yang diunggah. Harus dimulai dengan /Volumes/. Default ke lokasi workspace.
include_paths daftar teks Jalur yang akan disertakan relatif terhadap root_path. Entri harus tidak kosong dan relatif, serta tidak boleh mengandung ... Hilangkan tombol untuk menyertakan semua file yang dipilih. Daftar kosong tidak valid.
git objek Menyematkan snapshot sumber kode ke cabang atau commit Git lokal.

Jika Anda menghilangkan git, CLI mengemas pohon kerja, termasuk file yang belum dikomit dan tidak dilacak yang tidak dikecualikan oleh aturan Git mengabaikan. Sebuah relatif root_path diselesaikan dari direktori yang berisi file YAML beban kerja.

Git

Tipe: Peta

Objek git mendukung kunci berikut:

Key Type Description
branch string Diperlukan saat commit dihilangkan. Mengemas HEAD cabang lokal. File yang dipilih tidak boleh berisi perubahan yang belum dikomitmen.
commit string Diperlukan saat branch dihilangkan. Mengemas commit dari store objek Git lokal. Bersifat saling eksklusif dengan branch.
Contoh

Contoh berikut mengemas jalur yang dipilih dari cabang lokal main :

code_source:
  root_path: ./src
  include_paths:
    - training
    - configs
  git:
    branch: main

env_variables

Tipe: Peta string

Kunci berisi env_variables nama variabel lingkungan biasa dan nilai string. Sebuah nama juga tidak dapat muncul di secrets.

Contoh
env_variables:
  BATCH_SIZE: '32'
  LEARNING_RATE: '0.001'

idempotency_token

Jenis: String

Kunci mengidentifikasi idempotency_token pengajuan berulang. Pengiriman berulang dengan token yang sama mengembalikan run yang ada. CLI menghasilkan UUID ketika kunci ini dihilangkan. Bendera --idempotency-key perintah menjadi prioritas.

max_retries

Tipe: Bilangan bulat

Kunci menentukan max_retries jumlah percobaan ulang setelah percobaan awal. Nilainya harus tidak negatif. Standar: 3.

mlflow_artifact_location

Jenis: String

Kunci berisi mlflow_artifact_location URI dbfs:/ atau /Volumes/ jalur. Jika Anda menghilangkan kunci ini, eksperimen baru menggunakan lokasi DBFS default, dan eksperimen yang sudah ada menggunakan lokasi artefak yang dikonfigurasi. Untuk eksperimen yang sudah ada, nilai harus sesuai dengan lokasi artefak eksperimen.

mlflow_experiment_directory

Jenis: String

Kunci berisi mlflow_experiment_directory direktori workspace untuk eksperimen. Jalur harus dimulai dengan /Workspace.

mlflow_run_name

Jenis: String

Kunci berisi mlflow_run_name nama run. Jika Anda menghilangkan kunci ini, nama run secara default akan menjadi nilai experiment_name.

parameters

Tipe: Peta

Kunci berisi parameters nilai bersarang bentuk bebas. CLI menserialisasi nilai-nilai tersebut dengan hyperparameters.yaml artefak peluncuran lainnya.

Contoh
parameters:
  learning_rate: 0.001
  model:
    hidden_size: 1024

izin

Tipe: Daftar peta

Kunci berisi permissions hibah yang diajukan setelah pengajuan. Jika sebuah hibah gagal, run tetap dibuat dan CLI akan mencetak peringatan.

Setiap hibah mendukung kunci berikut:

Key Type Description
level string Required. Tingkat izin, seperti CAN_VIEW atau CAN_MANAGE. Workspace memvalidasi nilai.
user_name string Email pengguna. Tentukan tepat salah satu dari user_name, group_name, atau service_principal_name untuk setiap hibah.
group_name string Nama grup. Tentukan tepat salah satu dari user_name, group_name, atau service_principal_name untuk setiap hibah.
service_principal_name string Nama perwakilan layanan. Tentukan tepat salah satu dari user_name, group_name, atau service_principal_name untuk setiap hibah.
Contoh
permissions:
  - user_name: trainer@example.com
    level: CAN_MANAGE
  - group_name: training-team
    level: CAN_VIEW

secrets

Tipe: Peta string

Kunci berisi secrets nama variabel lingkungan yang dipetakan ke referensi rahasia dalam format yang tepat scope/key . Ruang lingkup dan kunci harus tidak kosong. Sebuah nama juga tidak dapat muncul di env_variables.

Contoh
secrets:
  HF_TOKEN: my-scope/hf-token

Untuk informasi tentang membuat dan mengelola rahasia, lihat Manajemen rahasia.

timeout_minutes

Tipe: Bilangan bulat

Tombol ini timeout_minutes mengatur batas jam dinding untuk seluruh run, termasuk pengulangan. Nilainya harus positif. Jika dihilangkan, beban kerja menggunakan default AI Runtime.

usage_policy_id

Jenis: String

Kunci ini usage_policy_id berisi UUID kanonik dari kebijakan penggunaan serverless yang sudah ada. Bersifat saling eksklusif dengan usage_policy_name.

usage_policy_name

Jenis: String

Kunci berisi usage_policy_name nama kebijakan penggunaan serverless yang sudah ada. Bersifat saling eksklusif dengan usage_policy_id.

Untuk informasi tentang membuat kebijakan penggunaan, lihat Penggunaan atribut dengan kebijakan penggunaan serverless.

Sumber daya tambahan

  • Terakhir diperbarui pada