중요합니다
이 기능은 공개 미리보기 단계에 있습니다.
노트북을 AI 런타임에 연결하는 것이 훈련 및 미세 조정 작업을 수행하는 주요 방법입니다. GPU를 대상으로 대화형으로 개발한 후, 같은 노트북을 생산 준비가 되면 반복 작업으로 스케줄링합니다.
팁 (조언)
- 노트북을 서버리스 GPU에 연결해 클러스터 설정 없이 GPU에서 인터랙티브 개발을 할 수 있습니다.
- 노트북 UI, Jobs API, 또는 선언적 자동화 번들에서 같은 노트북을 반복 작업으로 예약하세요.
- 노트북에서 다중 GPU 학습에 대해서는 노트북 내 분산 학습을 참조하세요.
팁 (조언)
이 페이지는 노트북에 대해 다룹니다. AI 런타임에 접근하려면 IDE에서 SSH 터널을 통해 연결하거나, 노트북에서 AI 런타임 CLI로 작업을 제출하거나, Ray를 실행하세요. 선언적 자동화 번들(Declarative Automation Bundles)과 함께 노트가 아닌 교육용 코드를 생산화하려면 Productionize training workloads를 참조하세요.
노트북에 연결해
이것이 AI 런타임을 사용하는 기본 방법입니다. Notebook을 연결하고 환경을 구성하려면 다음을 수행합니다.
Notebook에서 맨 위에 있는 컴퓨팅 드롭다운 메뉴를 클릭하고 서버리스 GPU를 선택합니다.
을 클릭합니다. 환경 쪽 패널을 엽니다.
액셀러레이터 필드에서 액셀러레이터를 선택합니다. 분산 학습 워크로드의 경우 8xH100을 선택합니다. 가속기 선택 지침은 하드웨어 옵션을 참조하세요.
Base environment 필드에서 Standard environment에는 Standard v6를, AI environment에는 AI v6를 선택하세요.
적용을 클릭한 다음 Notebook 환경에 AI 런타임을 적용할지 확인합니다.
메모
60분 동안 비활성 상태이면 컴퓨팅에 대한 연결이 자동으로 종료됩니다.
팁 (조언)
GPU가 필요하지 않은 작업의 경우(예: Git 리포지토리 복제, 데이터 형식 변환 또는 예비 데이터 분석) GPU 리소스를 유지하기 위해 노트북을 CPU 클러스터에 연결합니다.
노트북 예약하세요
AI 런타임을 사용하는 노트북을 노트북 UI나 프로그래밍 방식으로 반복 작업으로 예약할 수 있습니다. 자세한 내용은 예약된 Notebook 작업 만들기 및 관리를 참조하세요.
중요합니다
Databricks AI 환경을 포함한 워크스페이스 기반 환경을 사용하는 예약된 노트북 작업을 실행하는 것은 베타 단계입니다. 작업 관리자는 작업 미리보기 에서 서버리스 작업 공간 기본 환경 지원을 켜야 합니다. Azure Databricks 미리 보기 관리를 참조하세요.
실행하려는 노트북에서 일정을 설정하려면:
- 오른쪽 위에 있는 일정 단추를 선택합니다.
- 일정 추가를 선택합니다.
- 새 일정 양식을 작업 이름, 일정 및 컴퓨팅으로 채웁다.
- 선택하고생성합니다.
작업 및 파이프라인 UI에서 작업을 만들고 예약할 수도 있습니다 . 단계별 지침 은 새 작업 만들기 를 참조하세요.
메모
환경 패널을 사용하여 종속성을 추가하는 것은 AI 런타임 예약 작업에 지원되지 않습니다. 종속성은 Notebook 내에서 프로그래밍 방식으로 설치해야 합니다(예: %pip install). 자동 복구는 지원되지 않습니다. 호환되지 않는 패키지로 인해 작업이 실패하는 경우 수동으로 수정하고 다시 실행해야 합니다.
7일 최대 런타임을 초과할 수 있는 워크로드의 경우 수동 검사점을 구현하여 다시 시작할 수 있도록 합니다.
UCVolumeWriter에서 UCVolumeReader 및 serverless_gpu.data을 통해 Unity 카탈로그 볼륨을 사용하는 것이 좋습니다.
모델 체크포인팅을 참조하세요.
Jobs API와 선언적 자동화 번들로 일정
Databricks Jobs API나 선언적 자동화 번들을 사용하여 AI 런타임 노트북 작업을 프로그래밍적으로 생성하고 관리할 수 있습니다. 작업 또는 번들 정의에서 컴퓨팅 유형을 서버리스 GPU로 구성하여 배포 파이프라인을 자동화합니다.
노트북 대신 코드 디렉터리에 대해 자체 훈련 명령을 실행하고, 다중 작업 작업과 예약된 파이프라인을 구축하려면 Productionize training workloads를 참고하세요.
다음 예시는 표준 환경을 사용하여 예약된 AI 런타임 노트북 작업에 대한 선언적 자동화 번들 구성을 보여줍니다:
resources:
jobs:
sample_job:
name: sample_job_h100
trigger:
periodic:
interval: 1
unit: DAYS
parameters:
- name: catalog
default: ${var.catalog}
- name: schema
default: ${var.schema}
environments:
- environment_key: default
spec:
environment_version: '6'
tasks:
- task_key: notebook_task
notebook_task:
notebook_path: /Workspace/Users/your_email/your_notebook
environment_key: default
compute:
hardware_accelerator: GPU_8xH100
Databricks AI 환경을 표준 환경 대신 사용하려면 환경 base_environment에서 spec를 AI 환경 식별자(예: AI v6의 경우 databricks_ai_v6)로 설정하고 작업의 environment_key에서 이를 참조하세요:
중요합니다
직무에서 Databricks AI 환경을 작업 공간 기본 환경으로 선택하는 것은 베타 단계입니다. 작업 관리자는 작업 미리보기 에서 서버리스 작업 공간 기본 환경 지원을 켜야 합니다. Azure Databricks 미리 보기 관리를 참조하세요.
resources:
jobs:
sample_job:
name: sample_job_aiv6_h100
trigger:
periodic:
interval: 1
unit: DAYS
parameters:
- name: catalog
default: ${var.catalog}
- name: schema
default: ${var.schema}
environments:
- environment_key: aiv6
spec:
base_environment: databricks_ai_v6
tasks:
- task_key: notebook_task
notebook_task:
notebook_path: /Workspace/Users/your_email/your_notebook
environment_key: aiv6
compute:
hardware_accelerator: GPU_8xH100