이 참고 자료를 사용해 선언적 자동화 번들을 맞춤 설정 ai_runtime_task 하세요. GPU 워크로드를 스케줄링하고 전처리 작업을 추가하는 실행 가능한 예제는 Schedule GPU 워크로드와 작업 컴포즈(Compose Tasks)부터 시작하세요.
작업 필드와 그 정의에 대해서는 AI 런타임 작업 참고 자료를 참조하세요. 리트리, 타임아웃, 권한, environment_key 그리고 주변 작업이나 작업에 대해 설정하세요.
교육 코드를 배송하세요
번들은 배포 시 파일을 command.sh 동기화합니다. 명령 전용 작업부하는 를 ${workspace.file_path}/command.sh 가리키 command_path 고 생략code_source_path할 수 있습니다.
별도의 교육 코드 디렉터리를 만들 경우, 패키지된 산출물이나 작업 공간 또는 볼륨 경로로 설정 code_source_path 하세요.
로컬 디렉터리를 패키징하세요
코드를 databricks bundle deploy패키징할 아티팩트를 tgz 선언하세요. 이 구성 조각은 작업 결과를 아카이브로 패키징하고 가리킵니다 src/ :
artifacts:
code:
type: tgz
path: .
include: [src]
files:
- source: ./dist/code.tgz
resources:
jobs:
train:
tasks:
- task_key: train
ai_runtime_task:
code_source_path: ./dist/code.tgz
런타임은 아카이브를 추출하여 최상위 코드 디렉터리로 설정합니다 CODE_SOURCE_PATH . 와 가 있을 때path: ., 아카이브는 와 CODE_SOURCE_PATH 를 /databricks/code_source/src포함한다src/train.py.include: [src] 해당 디렉터리로 변경한 후에는 다음을 실행하세요 python train.py:
#!/usr/bin/env bash
set -euo pipefail
cd "$CODE_SOURCE_PATH"
python train.py
아티팩트 설정, 예를 들어 path, include, gitfiles, 에 대해서는 번들 아티팩트 참고 문서를 참조하세요.
업로드된 코드를 사용하세요
이미 업로드된 코드 아카이브에 대해 A 또는 /Volumes/… 경로로 /Workspace/… 설정 code_source_path 하세요. 번들은 로컬 디렉터리를 패키징하지 않고 그 경로를 사용합니다.
컴퓨트 및 환경 구성
노드당 accelerator_typeGPU로 설정 accelerator_count 하여 . 예를 들어, 를 사용하여 accelerator_count: 8GPU_8xH100사용하자. 하드웨어 안내는 하드웨어 를 참조하세요.
작업 환경에는 와 LOCAL_WORLD_SIZE가 포함됩니다WORLD_SIZE. 분산 훈련 명령어에서 이 변수들을 읽으세요.
작업 environments 블록에서 의존성을 선언하고, 작업의 environment_key환경은 . 다음 구성 조각은 PyTorch를 훈련 환경에 설치합니다:
resources:
jobs:
train:
tasks:
- task_key: train
environment_key: training
environments:
- environment_key: training
spec:
environment_version: '6'
dependencies:
- torch
표준 환경에서 사용 environment_version 하세요. Databricks AI 환경을 base_environment 사용하려면 예를 workspace-base-environments/databricks_ai_v6들어 .
환경 설정을 참조하세요.
커스텀 Docker 이미지를 원하시면, docker_image_urlai_runtime_task 레거시 Python CLI와 함께 custom Docker 이미지를 사용하세요.
구성 및 데이터를 작업에 전달합니다
작업 수준 environment_variables 항목을 정의하고 작업의 environment_variables_key. 일반 값을 variables 입력하고 비밀 참조용으로 사용 {{secrets/scope/key}} 하세요. 이 구성은 ' 서버 없는 작업을 위한 환경 변수 구성'에 설명된 환경 변수 미리보기를 필요로 합니다.
매개변수를 전달HYPERPARAMETERS_PATH하려면 가 참조하는 command_path스크립트와 함께 파일을 저장 hyperparameters.yaml 하세요. 번들은 두 파일을 동기화하고, 런타임은 훈련 명령어의 파라미터 파일로 설정 HYPERPARAMETERS_PATH 됩니다. 기존 워크로드 YAML에서 변환하려면 'AI 런타임 워크로드를 번들로 변환하기'를 참조하세요.
비고
A ai_runtime_task 는 작업 작업 값({{tasks.<task_key>.values.<name>}} 또는 dbutils.jobs.taskValues)을 지지하지 않습니다. 작업 간 데이터를 전달할 때는 Unity 카탈로그 볼륨과 같은 공유 위치에 데이터를 쓰고, 두 작업 모두에서 동일한 경로를 사용하세요.