Important
AI 런타임용 Databricks CLI 명령어는 공개 프리뷰에 있습니다. 워크로드를 제출하기 전에 작업 공간 관리자가 AI 런타임 미리보기를 활성화해야 합니다. 요구사항 참조.
CLI는 주문형 서버리스 GPU 컴퓨트 플랫폼인 AI Runtime에서 단일 노드 및 다중 노드 GPU 워크로드를 실행합니다. YAML에서 워크로드의 컴퓨트, 환경, 명령을 정의한 후 databricks air run로 제출합니다.
AI 런타임은 GPU 프로비저닝과 환경 설정을 처리하며, 실행 상태, 로그, 시스템 지표, MLflow 추적을 제공합니다. YAML과 CLI 워크플로우는 코딩 에이전트와 자연스럽게 작동하며, 에이전트는 워크로드를 정의, 제출, 모니터링할 수 있습니다.
CLI를 사용하여 다음을 수행합니다:
- 로컬 환경에서 Python 애플리케이션을 개발하고 반복적으로 개선하세요.
- 버전 관리할 수 있는 YAML 파일에서 반복 가능한 단일 노드 또는 다중 노드 워크로드를 정의하세요.
- 터미널이나 자동화된 개발 워크플로우에서 워크로드를 제출하고 관리할 수 있습니다.
일반적인 작업 부하는 LLM 미세 조정 및 사후 학습, 분산 학습, 배치 추론, Ray 응용, 하이퍼파라미터 검색 등이 있습니다.
워크로드를 제출하려면 퀵스타트를 따라가세요.
Data Bricks CLI 명령어는 AI 런타임 워크로드와 동일한 준수 기준을 충족합니다. 지원되는 표준 및 예외는 규정 준수 보안 프로필을 참조하세요.
Note
databricks air 명령어와 워크로드 구성은 air 패키지의 레거시 Python 기반 databricks-air CLI와 다릅니다.
Python CLI 마이그레이션을 참고하세요.
실행 가능한 예제 살펴보기
AI 런타임 쿡북에는 모델 학습, 미세 조정, 배치 추론, 레이, 하이퍼파라미터 검색을 위한 실행 가능한 Databricks CLI 워크로드가 포함되어 있습니다. 각 레시피에는 워크로드 YAML 파일, 소스 코드, 실행 지침이 포함되어 있습니다.
워크로드가 실행되는 방식
사용자는 워크로드 YAML 파일, 필요할 때 애플리케이션 코드, 그리고 애플리케이션을 시작하는 명령어를 제공합니다. 워크로드를 제출할 때:
- 워크로드 정의는 지원되는 스키마 및 구성 제약 조건에 대해 검증됩니다.
-
code_source이(가) 구성되어 있으면, 선택한 코드는 스냅샷으로 패키징되어 업로드됩니다. - 요청된 GPU 컴퓨트와 환경은 각 노드에서 준비됩니다.
- 워크로드 YAML에서 제공되는 명령어는 각 노드에서 실행됩니다.
제출 시 작업 부하를 식별하는 작업 실행 ID가 반환됩니다. 상태 확인, 로그 및 설정 검사, 작업 취소 등에 사용하세요. 작업 실행 페이지와 MLflow 실험에서 실행 세부사항, 시스템 지표, 로그, 산출물 등을 확인할 수도 있습니다.
이 워크플로우는 GPU 인프라를 구성하거나 유지하지 않고도 관리형 GPU 프로비저닝, 재현 가능한 환경 설정, 내장 관측성을 제공합니다.
작업 부하 구성
워크로드 YAML 파일은 다음 구성 요소를 설명합니다:
- 실험: 워크로드를 추적하는 MLflow 실험 및 실행.
- 환경: 관리되는 환경, 의존성 또는 사용할 수 있는 커스텀 Docker 이미지 입니다.
- 컴퓨트: 제공해야 할 가속기 종류와 가속기 수.
- 코드 소스: 워크로드에 제공될 수 있는 애플리케이션 코드의 선택적 스냅샷.
- 명령어: 애플리케이션을 시작하는 셸 명령어입니다.
- 런타임 설정: 재시도, 타임아웃, 환경 변수, 시크릿, 권한 등의 옵션.
구성 필드와 예제는 Workload YAML 참조를 참조하세요.
애플리케이션 코드 업로드
code_source를 사용하여 워크로드와 함께 애플리케이션 파일을 업로드하세요. AI 런타임은 업로드된 디렉터리를 모든 노드에서 사용할 수 있게 하고, $CODE_SOURCE_PATH를 그 위치로 설정합니다. 예를 들어, 다음 명령은 업로드된 디렉터리에서 train.py를 실행합니다:
command: python "$CODE_SOURCE_PATH/train.py"
현재 작업 트리를 업로드하거나 Git 브랜치 또는 커밋을 선택할 수 있습니다. 완전한 예시는 퀵스타트를 참고하세요.
워크로드 개발 및 관리
개발은 일반적으로 다음과 같은 과정을 따릅니다:
- 애플리케이션 코드와 워크로드 YAML을 로컬에서 개발하세요.
- 로컬에서
databricks air run --file <file> --dry-run로 YAML을 검증합니다. -
databricks air run --file <file>작업량을 제출하세요. 실행이 끝날 때까지 스트림 로그에--watch를 추가하세요. -
databricks air list,databricks air logs, 및databricks air get를 사용하여 작업 부하와 로그를 검사하세요. - 선택적으로
databricks air cancel로 실행 중인 작업물을 중단할 수 있습니다.
모든 명령과 플래그는 air명령 그룹을 참조하세요.
예약된 실행, 다중 작업 워크플로우 또는 환경 간 프로모션을 위해 databricks air convert-to-dabs를 번들의 시작점으로 사용할 수 있습니다.
GPU 워크로드 예약 및 작업 작성 항목을 참조하세요.
MLflow로 작업 부하를 추적하세요
제출된 각 워크로드는 Databricks 작업 실행으로 표현되며, MLflow 실험을 통해 추적됩니다:
- Databricks 작업 실행: 작업 실행 페이지에서 워크로드 상태, 실행 시도 및 출력을 보여줍니다.
- MLflow 실험: 자동으로 캡처된 시스템 지표, 워크로드 구성, 로그가 포함된 MLflow 실행 기록을 포함합니다. 애플리케이션은 또한 MLflow API를 사용하여 맞춤형 매개변수, 지표, 산출물을 기록할 수 있습니다.
작업 실행 ID를 databricks air get, databricks air logs, databricks air cancel와 같은 명령어와 함께 사용하세요. 실험 추적 및 관측 가능성을 참조하세요.
단일 노드 및 분산 워크로드 실행
AI 런타임은 각 프로비저닝된 노드에서 설정된 명령을 한 번씩 실행합니다. 분산 작업부하의 경우, MASTER_PORT, MASTER_ADDR, LOCAL_WORLD_SIZE, NODE_RANK, NUM_NODES와 같은 조정 변수를 제공합니다.
이 실행 모델은 프레임워크와 무관합니다. 명령어는 분산 프레임워크를 시작하고 구성해야 하며, 예를 들어 torchrun, Ray 부트스트랩 스크립트 또는 다른 프레임워크 런처를 호출해야 합니다. 전체 워크로드는 AI 런타임 쿡북을 참조하세요.
AI 에이전트를 사용하세요
databricks-ai-runtime에이전트 스킬은 Claude Code, Cursor, Codex 같은 AI 에이전트가 Databricks CLI를 통해 AI 런타임과 함께 작업할 수 있도록 돕는 지침을 제공합니다. 워크로드 YAML을 생성하고, GPU 트레이닝 작업을 제출하며, 실행 상태를 확인하고, 로그를 스트리밍하고, 실행을 취소하는 데 사용할 수 있습니다. 또한 커스텀 도커 이미지에 대한 안내도 포함되어 있습니다.
Databricks CLI를 설치하고 인증을 설정한 후, 다음 명령을 실행하세요:
databricks aitools install --skills-only --skills databricks-ai-runtime
안내를 따라 AI 에이전트와 설치 범위를 선택하세요. 설치 옵션에 대해서는 aitools명령 그룹을 참조하세요.