중요합니다
단일 노드 작업에 대한 AI 런타임은 공개 미리 보기로 제공됩니다. 다중 GPU 워크로드에 대한 분산 학습 API는 베타에 남아 있습니다.
이 페이지에서는 환경 캐싱 동작, 사용자 지정 모듈 가져오기 및 알려진 제한 사항을 포함하여 AI 런타임용 Python 환경을 선택하고 구성하는 방법을 설명합니다.
사용할 환경
AI 런타임은 두 개의 관리되는 Python 환경, 즉 기본 기본 환경과 Databricks AI 환경을 제공합니다.
| 환경 | 주요 특징 | 사용 시기 |
|---|---|---|
| 기본 환경 설정 | 단순히 torch, cuda, 및 torchvision만 포함한다. |
종속성 스택을 완전히 제어하고 필요한 항목만 설치하려고 합니다. |
| Databricks AI 환경 | 인기 있는 ML 프레임워크(PyTorch, 변환기 등)로 미리 로드됨 | 수동 종속성 관리 없이 학습, 미세 조정 및 실험을 위한 완벽한 환경을 원합니다. |
메모
AI 런타임에는 작업 영역 기본 환경이 지원되지 않습니다. 대신 기본 또는 AI 환경을 사용하고 환경 사이드 패널에서 추가 종속성을 직접 지정하거나 pip install합니다.
기본 기본 환경(최소 환경)
AI 런타임 작업에 필요한 패키지만 포함하는 최소한의 안정적인 환경입니다. 환경에는 호환성을 위해 최적화된 torch, cuda, 및 torchvision가 포함되어 있습니다. 특정 패키지 버전의 경우 pip install를 사용하거나 필요한 버전을 고정합니다.
최적 대상: 종속성 스택을 완전히 제어하고 필요한 것만 설치하려는 사용자입니다.
AI 런타임을 통해 서버리스 GPU에 연결할 때 기본 환경입니다.
다른 버전에 설치된 패키지 버전에 대한 자세한 내용은 릴리스 정보를 참조하세요.
Databricks AI 환경
환경 4 이상에서 사용할 수 있습니다. AI 환경은 GPU의 기계 학습과 관련된 공용 런타임 패키지 및 패키지를 사용하여 기본 기본 환경을 기반으로 합니다. 미리 설치된 패키지는 다음과 같습니다.
- PyTorch(CUDA 지원)
- 트랜스포머(Hugging Face)
- 추가 머신러닝/딥러닝(ML/DL) 종속성
최적 대상: 수동 종속성 관리 없이 워크로드, 미세 조정 및 실험을 위한 완벽한 환경을 원하는 ML 실무자입니다.
선택하려면 환경 쪽 패널에서 AI v4 를 기본 환경으로 선택합니다.
다른 버전에 설치된 패키지 버전에 대한 자세한 내용은 릴리스 정보를 참조하세요.
작업 영역 기본 환경
AI 런타임에는 작업 영역 기본 환경이 지원되지 않습니다. 사용자 지정 작업 영역 수준 환경 구성은 사용할 수 없습니다.
프로젝트에 대한 딥 러닝 환경을 구성하려면 제공된 두 가지 기본 환경(기본값 또는 Databricks AI) 중 하나를 사용하고 Notebook 내에서 또는 학습 스크립트 맨 위에 프로그래밍 방식으로 %pip install 추가 패키지를 설치합니다.
%pip install datasets accelerate peft bitsandbytes
AI 런타임 환경에 추가 라이브러리를 설치할 수 있습니다. Notebook에 종속성 추가를 참조하세요.
행동
환경은 언제 캐시되나요?
환경은 시작 시간을 단축하기 위해 세션 간에 캐시됩니다. 동일한 환경 구성을 사용하여 AI 런타임에 다시 연결하는 경우 이전에 설치된 패키지를 캐시에서 사용할 수 있으므로 설치 시간이 단축됩니다.
그러나 캐시 동작이 보장되지는 않습니다. 항상 전자 필기장이 재현성을 위해 필요한 %pip install 명령을 포함하는지 확인합니다.
사용자 지정 모듈을 가져오면 어떻게 하나요?
사용자 지정 모듈을 /Workspace/Shared에 배치하고 sys.path에 경로를 추가하여 가져올 수 있습니다.
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function
모듈 파일을 작업 영역 파일로 업로드하고 직접 가져올 수도 있습니다. 다중 사용자 공동 작업의 경우 사용자별 폴더가 아닌 공유 코드를 /Workspace/Shared 저장합니다. 활성 개발의 경우 사용자별 폴더를 사용하고 버전 제어를 위해 원격 Git 리포지토리로 푸시합니다.
제한점
AI 런타임에서는 다음 기능을 사용할 수 없습니다.
- Spark 함수 - PySpark 함수를 직접 가져오거나 사용할 수 없습니다. AI 런타임은 Python 전용 환경입니다. Spark는 로컬 런타임으로 사용할 수 없습니다. 그러나 Spark Connect는 데이터 로드에 사용할 수 있습니다. AI 런타임에서 데이터 로드를 참조하세요.
- Databricks Runtime ML 라이브러리 - 미리 설치된 패키지는 Databricks Runtime ML을 대체하지 않습니다. Databricks Runtime ML에서 사용할 수 있는 일부 ML 라이브러리는 AI 런타임에 미리 설치되지 않을 수 있습니다.
- 작업 영역 기본 환경 - 사용자 지정 작업 영역 수준 환경 구성은 지원되지 않습니다.
- 프라이빗 아티팩트 - AI 런타임은 특정 경우에 프라이빗 아티팩트 지원을 수행합니다. 자세한 내용은 계정 팀에 문의하세요.