Important
이 기능은 공개 미리보기 단계에 있습니다.
비고
이 페이지는 AI 런타임에 관한 레이에 대해 다룹니다. Databricks classic 컴퓨트와 Databricks 런타임 머신러닝을 함께 사용하고 있다면, Ray on Databricks를 참고하세요.
Ray는 Python 워크로드 확장을 위한 오픈 소스 프레임워크입니다. AI 런타임에서 Ray 클러스터를 만들고 Ray 애플리케이션을 실행할 수 있으며, 인프라 프로비저닝을 자동으로 처리하는 서버리스 GPU 컴퓨트를 사용할 수 있습니다.
노트북에서 Ray 사용
노트북이 AI Runtime GPU 컴퓨팅 리소스에 연결되어 있으면 ray_init() 패키지의 serverless_gpu를 사용하여 연결된 컴퓨팅 리소스에서 Ray를 시작하세요:
from serverless_gpu import ray_init
ray_init()
ray_init() Databricks 드라이버 프록시를 통해 Ray 대시보드를 구성하고, 노트북 출력에 대시보드 URL을 출력합니다. 대시보드를 사용해 코드가 실행되는 동안 Ray 작업, 작업, 자원 사용량을 점검하세요.
비고
ray_init() 환경 버전 5 이상이 필요합니다. Databricks AI v6에는 Ray가 포함되어 있습니다. Standard v6를 사용한다면, 호출하기 전에 ray_init()Ray를 설치하세요.
노트북 예제
| Example | Description |
|---|---|
| 레이 코어 헬로 월드 | 비동기 GPU 작업을 첨부된 컴퓨트에 제출하고, Ray 대시보드에서 스케줄링을 점검한 후 결과를 가져옵니다. |
| Ray Data와 vLLM을 사용한 Qwen2.5-32B 배치 추론 | 8개의 H100 GPU에서 8개의 영구 vLLM 복제본으로 다국어 배치 추론을 실행하고, 결과를 Unity 카탈로그에 Parquet으로 저장하세요. |
AI 런타임 CLI와 함께 Ray를 사용하세요
AI 런타임 CLI는 단일 노드 및 다중 노드 구성에서 Ray를 지원합니다. 워크로드 command아래에 부트스트랩 스크립트를 포함시켜, 레이 클러스터를 시작하고 워크로드가 실행될 때 헤드와 워커 노드를 조정합니다.
Ray hello World 예시는 이 패턴을 보여줍니다.
AI 런타임은 Ray Core, Ray Data, Ray Train, Ray Tune 등 Ray의 핵심 라이브러리를 지원합니다. 표준 환경에서는 워크로드 종속성에 ray[data] 또는 관련 추가 항목(ray[train], ray[tune] 또는 ray)을 추가하세요. Databricks AI 환경에는 Ray가 포함되어 있습니다.
CLI 예제
| Example | Description |
|---|---|
| Ray Hello World 예제 | Ray Core, Ray Train, Ray Data, Ray Tune에 대한 최소한의 단일 노드 및 다중 노드 예시, 클러스터 부트스트랩 패턴 포함. |
| Ray Train을 사용하여 분산 학습 | Ray Train과 PyTorch를 사용해 여러 노드에 걸쳐 대규모 언어 모델을 미세 조정하세요. |
| Ray Data 및 vLLM을 사용하여 일괄 처리 유추 | 분산 데이터 로딩을 위한 Ray Data와 효율적인 모델 서빙을 위한 vLLM을 사용하여 대규모 배치 추론을 실행하세요. |
| 레이 튠을 이용한 하이퍼파라미터 탐색 | Qwen2.5의 LoRA 미세 조정 하이퍼파라미터를 Ray Tune으로 검색해 보세요. GPU당 한 번의 시도를 실행하고 ASHA 스케줄러로 부진한 시도를 조기에 중단할 수 있습니다. |