중요합니다
이 기능은 베타 버전으로 제공됩니다. 작업 영역 관리자는 미리 보기 페이지에서 이 기능에 대한 액세스를 제어할 수 있습니다. Azure Databricks 미리 보기 관리를 참조하세요.
이 페이지에서는 서버리스 GPU 컴퓨팅을 사용하여 LLM(대규모 언어 모델)을 미세 조정하기 위한 Notebook 예제를 제공합니다. 이러한 예제에서는 LoRA(Low-Rank 적응) 및 전체 감독 미세 조정과 같은 매개 변수 효율적인 방법을 포함하여 미세 조정에 대한 다양한 방법을 보여 줍니다.
Qwen2-0.5B 모델 미세 조정
다음 Notebook은 다음을 사용하여 Qwen2-0.5B 모델을 효율적으로 미세 조정하는 방법의 예를 제공합니다.
- 감독된 미세 조정을 위한 TRL(변환기 보충 학습)
- 최적화된 Triton 커널을 사용하여 메모리 효율적인 학습을 위한 Liger 커널입니다.
- 매개 변수 효율적인 미세 조정을 위한 LoRA입니다.
Notebook
언슬로스로 라마-3.2-3B 미세 조정
이 Notebook에서는 Unsloth 라이브러리를 사용하여 Llama-3.2-3B를 미세 조정하는 방법을 보여 줍니다.
라마 해제
비디오 데모
이 비디오는 전자 필기장을 자세히 안내합니다(12분).
DeepSpeed 및 TRL을 사용하여 감독된 미세 조정
이 Notebook에서는 서버리스 GPU Python API를 사용하여 DeepSpeed ZeRO 3단계 최적화가 있는 TRL(변환기 보충 학습) 라이브러리 를 사용하여 감독된 SFT(미세 조정)를 실행하는 방법을 보여 줍니다.
TRL DeepSpeed
Axolotl을 사용한 LORA 미세 조정
이 Notebook은 서버리스 GPU Python API를 사용하여 Axolotl 라이브러리를 사용하여 Olmo3 7B 모델을 LORA로 미세 조정하는 방법을 보여 봅니다.