중요합니다
@distributed 노트북 예시에 사용된 데코레이터는 공개 미리 보기 상태입니다.
이 예시들은 AI 런타임에서 모델 학습을 여러 GPU와 노드로 확장합니다. 노트북 예제들은 연결된 GPU 컴퓨팅에서 serverless_gpu Python API를 사용합니다. Databricks CLI 예제는 단일 노드 및 다중 노드 훈련을 위한 워크로드 구성과 소스 코드를 제공합니다.
메모
노트북 기반 다중 GPU 분산 학습은 H100 GPU에서 지원됩니다.
병렬 처리 기술 선택
모델 크기, 사용 가능한 GPU 메모리, 성능 요구사항을 기준으로 병렬 처리 기법을 선택하세요. 다음 표는 선택지를 비교합니다.
| 기법 | 사용 시기 |
|---|---|
| DDP(분산 데이터 병렬) | 전체 모델은 단일 GPU 메모리에 적합합니다. 데이터 처리량의 크기를 조정해야 합니다. |
| FSDP(완전히 분할된 데이터 병렬) | 단일 GPU 메모리에 맞지 않는 매우 큰 모델 |
| 딥스피드 제로 | 고급 메모리 최적화 요구 사항이 있는 대형 모델 |
각 기술에 대한 자세한 내용은 DDP, FSDP 및 DeepSpeed를 참조하세요.
교육 파이프라인을 더 효율적이고 회복력 있게 만들기 위한 조언과 패턴은 성과 및 회복력 가이드를 참조하세요.
기법과 프레임워크별 노트북 예시
다음 표는 노트북의 예시를 프레임워크 또는 라이브러리, 그리고 적용된 병렬성 기법에 따라 정리합니다. 한 셀에 여러 노트북이 나타날 수 있습니다.
| 프레임워크/라이브러리 | DDP 예제 | FSDP 예제 | DeepSpeed 예제 |
|---|---|---|---|
| PyTorch(네이티브) |
간단한 MLP 신경망 RetinaNet 이미지 검색 |
10M 매개 변수 변환기 | — |
| Huggingface TRL | Gpt OSS 20B 미세 조정 | Gpt OSS 120B 미세 조정 | 라마 3.2 1B 미세 조정 |
| 언슬로드 | 라마 3.2 3B 미세 조정 | — | — |
| Axolotl | Olmo3 7B 미세 조정 | — | — |
| 번개 | 2 타워 추천 시스템 | — | — |
CLI 예제
다음 예시들은 AI 런타임 쿡북에 있는 실행 가능한 레시피로 연결됩니다.
| Example | Technique | 설명 |
|---|---|---|
| Ray Train을 이용한 ResNet-50 미세 조정 | DDP | ResNet-50을 두 개의 노드에 걸쳐 A10 GPU당 한 명의 Ray Train 워커로 미세 조정하세요. |
| Ray Train을 이용한 Qwen2.5-3B 미세 조정 | DDP | Qwen2.5-3B를 8x H100 노드에서 GPU당 Ray Train 작업자 1명으로 미세 조정하세요. |
| Llama 3.1 8B의 다중 노드 미세 조정 | FSDP | Llama 3.1 8B를 PyTorch FSDP로 두 개의 8x H100 노드에 걸쳐 미세 조정합니다. |
| Qwen3.8-27B의 다중 노드 미세 조정 | FSDP2 | Qwen3.8-27B를 PyTorch FSDP2로 4개의 8x H100 노드에서 미세 조정하세요. |
| 송장 추출을 위한 Qwen3-8B 미세 조정 | 딥스피드 ZeRO-3 | Qwen3-8B를 8x H100 노드 1개에서 TRL로 송장 및 영수증에서 엔티티를 추출하도록 미세 조정합니다. |
노트북에서 시작하세요
다음 자습서를 사용하여 분산 학습을 위해 서버리스 GPU Python 라이브러리를 시작합니다.
| 자습서 | 설명 |
|---|---|
| H100 GPU를 사용하는 AI 런타임 | H100 가속기와 함께 Databricks AI 런타임을 사용하여 serverless_gpu Python 라이브러리를 사용하여 분산 GPU 워크로드를 실행하는 방법을 알아봅니다. |