중요합니다
이 기능은 공개 미리보기 단계에 있습니다.
이 예시들은 AI 런타임에서 대형 언어 모델(LLM)을 미세 조정하고 사후 학습하는 데 사용됩니다. 이들은 LoRA(Low-Rank Adaptation)와 같은 매개변수 효율적 방법과 TRL, Unsloth, Axolotl, LLM Foundry를 비롯한 여러 라이브러리에서의 전체 감독 미세 조정을 다룹니다. 배치 추론 예시는 배치 추론을 참조하세요.
| Example | Interface | 설명 |
|---|---|---|
| Gemma4-2B의 강화 학습 | Notebook | Unsloth를 사용해 단일 H100 GPU에서 그룹 상대 정책 최적화(GRPO)와 저랭크 적응(LoRA)으로 Gemma4-2B를 사후 학습합니다. |
| Qwen3-4B의 감독 하 미세 조정(완전) | Notebook | 단일 H100 GPU에서 TRL을 사용해 BF16 혼합 정밀도와 그래디언트 체크포인팅으로 Qwen3-4B를 풀 웨이트 파인튜닝합니다. |
| Llama-3.2-3B의 감독 미세 조정(LoRA) | Notebook | LoRA는 Unsloth 라이브러리를 사용해 단일 GPU에서 Llama-3.2-3B를 미세 조정합니다. |
| GPT-OSS 20B의 감독 미세 조정(LoRA) | Notebook | LoRA는 TRL과 분산 데이터 병렬 처리를 적용한 8개의 H100 GPU에서 20B GPT-OSS 미세 조정을 했습니다. |
| Llama-3.2-1B의 감독 하 미세 조정(완전) | Notebook | 8개의 H100 GPU에 TRL과 DeepSpeed ZeRO Stage 3를 장착한 풀웨이트 미세 튜닝 Llama-3.2-1B. |
| Olmo3 7B의 감독 미세 조정(LoRA) | Notebook | LoRA는 Axolotl 라이브러리를 사용해 여러 GPU에서 Olmo3 7B를 미세 조정합니다. |
| 감독 하에 Qwen3.5-0.8B 미세 조정(완전) 및 서비스 | Notebook | Qwen3.5-0.8B를 단일 H100 GPU와 TRL에서 미세 조정한 후, vLLM 모델 서빙 엔드포인트 뒤에 서비스하세요. |
| 다중 GPU에서 Llama-3.2-3B의 감독 미세 조정 | Notebook | LoRA는 Unsloth 라이브러리를 사용해 여러 GPU에서 Llama-3.2-3B를 미세 조정했습니다. |
| GPT-OSS 120B의 감독 미세 조정(LoRA) | Notebook | LoRA로 DDP와 FSDP를 사용해 TRL에서 8개의 H100 GPU로 GPT-OSS 120B를 파인튜닝합니다. |
| 멀티 GPU에서 트랜스포머 훈련 | Notebook | PyTorch FSDP(완전 분할 데이터 병렬)를 사용하여 변환기 모델을 학습시켜 여러 GPU에서 모델 매개 변수를 분할합니다. |
| Llama 3.1 8B의 다중 노드 FSDP 미세 조정 | CLI | PyTorch FSDP로 Llama 3.1 8B를 두 개의 8x H100 노드에서 미세 조정하고, 훈련 손실을 MLflow에 기록하고, 통합 체크포인트를 저장하세요. |
| Qwen3.8-27B의 다중 노드 FSDP2 미세 조정 | CLI | 4개의 8x H100 노드에서 PyTorch FSDP2로 Qwen3.8-27B를 지도 미세 조정했습니다. |
| 송장 추출을 위한 Qwen3-8B의 전체 가중치 미세 조정 | CLI | H100 8개가 장착된 단일 노드에서 TRL과 DeepSpeed ZeRO-3를 사용해 Qwen3-8B를 세밀 조정하여 송장 및 영수증 엔터티 추출을 할 수 있습니다. |
| Ray Train을 이용한 Qwen2.5-3B 지도 파인튜닝 | CLI | Ray Train을 사용해 H100 GPU 8개가 장착된 노드에서 GPU당 하나의 분산 데이터 병렬 워커로 Qwen2.5-3B를 미세 조정하세요. |
| Qwen2.5-0.5B에 대한 LoRA 하이퍼파라미터 탐색 | CLI | Ray Tune과 비동기 연속 절반 알고리즘(ASHA)을 사용하여 4개의 A10 GPU에서 LoRA 구성을 검색하고 최적의 구성을 MLflow에 기록하세요. |
비디오 데모
이 영상은 Llama-3.2-3B 예제 노트북의 감독 미세 조정(LoRA) 을 자세히 설명합니다(12분).