미세 조정은 특정 작업 또는 데이터 세트에 대한 추가 교육을 통해 미리 학습된 AI 모델을 사용자 지정하여 성능을 향상시키거나, 새 기술을 추가하거나, 정확도를 향상시킵니다. 결과는 제공된 예제를 기반으로 하는 새로운 최적화된 GenAI 모델입니다. 이 문서에서는 사용 사례에 적합한 미세 조정 유형, 미세 조정을 위한 학습 기술 사용 사례 및 GenAI 여정에 도움이 되는 방법을 기반으로 하는 모델 선택 조건을 포함하여 미세 조정하기 전에 내려야 할 주요 개념과 결정을 안내합니다.
미세 조정을 시작하는 경우 언어 번역, 도메인 적응 또는 고급 코드 생성과 같은 복잡한 기술에 GPT-4.1 을 사용하는 것이 좋습니다. 더 집중적인 작업(예: 분류, 감정 분석 또는 콘텐츠 조정)을 사용하거나 보다 정교한 모델에서 지식을 증류하는 경우 더 빠른 반복 및 비용 절감을 위해 GPT-4.1-mini 로 시작합니다.
미세 조정을 위한 상위 사용 사례
미세 조정은 특정 애플리케이션 및 도메인에 대한 언어 모델을 사용자 지정하는 데 탁월합니다. 몇 가지 주요 사용 사례는 다음과 같습니다.
- 도메인 전문화: 도메인별 지식 및 용어가 중요한 의학, 재무 또는 법률과 같은 전문 분야에 대한 언어 모델을 조정합니다. 모델에서 기술 전문 용어를 이해하고 보다 정확한 응답을 제공하도록 교육합니다.
- 작업 성능: 감정 분석, 코드 생성, 번역 또는 요약과 같은 특정 작업에 대한 모델을 최적화합니다. 범용 모델에 비해 특정 애플리케이션에서 더 작은 모델의 성능을 크게 향상시킬 수 있습니다.
- 스타일 및 톤: 모델에서 선호하는 커뮤니케이션 스타일과 일치하도록 교육합니다. 예를 들어 공식적인 비즈니스 쓰기, 브랜드별 음성 또는 기술 쓰기에 맞게 모델을 조정합니다.
- 지침: 특정 서식 요구 사항, 다단계 지침 또는 구조적 출력을 따르는 모델의 기능을 개선합니다. 다중 에이전트 프레임워크에서 모델을 학습하여 올바른 작업에 적합한 에이전트를 호출하도록 합니다.
- 규정 준수 및 안전: 조직 정책, 규정 요구 사항 또는 애플리케이션에 고유한 기타 지침을 준수하도록 미세 조정된 모델을 학습시킵니다.
- 언어 또는 문화 적응: 학습 데이터에 잘 표시되지 않을 수 있는 특정 언어, 방언 또는 문화 컨텍스트에 맞게 언어 모델을 조정합니다. 미세 조정은 범용 모델이 특정 요구 사항을 충족하지 않지만 모델을 처음부터 학습하는 비용과 복잡성을 방지하려는 경우에 특히 유용합니다.
서버리스 또는 관리형 컴퓨팅?
모델을 선택하기 전에 요구 사항에 맞는 미세 조정 제품을 선택하는 것이 중요합니다. Azure의 AI Foundry는 미세 조정을 위한 두 가지 기본 형식인 서버리스 및 관리형 컴퓨팅을 제공합니다.
- 서버리스를 사용하면, 소비 기반 가격 책정으로 용량을 활용하여 모델을 사용자 정의할 수 있으며, 비용은 입력 토큰 100만 개당 1.70달러부터 시작합니다. 모든 인프라 관리를 처리하는 동안 속도 및 확장성을 위한 교육을 최적화합니다. 이 방법은 GPU 할당량이 필요하지 않으며 OpenAI 모델에 대한 단독 액세스를 제공하지만 관리되는 컴퓨팅보다 하이퍼 매개 변수 옵션이 적습니다.
- 관리형 컴퓨팅 은 AzureML을 통해 광범위한 모델 및 고급 사용자 지정을 제공하지만 학습 및 호스팅을 위해 고유한 VM을 제공해야 합니다. 리소스를 완전히 제어할 수 있는 반면, 많은 고객이 부족한 높은 할당량이 필요하며, OpenAI 모델을 포함하지 않고, 다중 테넌트 최적화를 사용할 수 없습니다.
대부분의 고객에게 서버리스는 사용 편의성, 비용 효율성 및 프리미엄 모델에 대한 액세스의 최상의 균형을 제공합니다. 이 문서에서는 서버리스 옵션에 중점을 둡니다.
AI Foundry에서 모델을 미세 조정하는 단계를 찾으려면 AI Foundry의 모델 미세 조정 또는 관리형 컴퓨팅을 사용하여 모델 미세 조정을 참조하세요. OpenAI 미세 조정에 대한 자세한 지침은 Azure OpenAI 모델 미세 조정을 참조하세요.
학습 기술
사용 사례를 식별한 후에는 학습을 위해 선택한 모델을 안내하는 적절한 학습 기술을 선택해야 합니다. 모델을 최적화하는 세 가지 학습 기술을 제공합니다.
SFT(감독 미세 조정): 입력-출력 쌍에 대한 모델을 학습하여 특정 입력에 대해 원하는 응답을 생성하도록 가르치는 기본 기술입니다.
- 최적 대상: 도메인 전문화, 작업 성능, 스타일 및 톤, 다음 지침 및 언어 적응을 포함한 대부분의 사용 사례
- 사용 시기: 대부분의 프로젝트에 대해 여기에서 시작합니다. SFT는 가장 광범위한 미세 조정 시나리오를 해결하고 명확한 입력 출력 학습 데이터와 함께 신뢰할 수 있는 결과를 제공합니다.
- 지원되는 모델: GPT 4o, 4o-mini, 4.1, 4.1-mini, 4.1 nano; 라마 2 및 라마 3.1; Phi 4, Phi-4-mini-instruct; Mistral Nemo, Ministral-3B, Mistral Large (2411); NTT 츠즈미-7b
DPO(직접 기본 설정 최적화): 별도의 보상 모델을 요구하지 않고 비교 피드백을 학습하여 특정 유형의 응답을 다른 모델보다 선호하도록 모델을 학습시킵니다.
- 최적 대상: 응답 품질, 안전성 및 인간의 선호도와의 맞춤 개선.
- 사용 시기: 기본 설정 출력과 기본 설정이 아닌 출력의 예가 있거나 유용성, 무해성 또는 스타일과 같은 주관적인 품질을 최적화해야 하는 경우 사용 사례에는 모델을 특정 스타일 및 톤에 맞게 조정하거나 모델을 문화권 기본 설정에 맞게 조정하는 것이 포함됩니다.
- 지원되는 모델: GPT 4o, 4.1, 4.1-mini, 4.1-nano
RFT(보충 Fine-Tuning): 보강 학습을 사용하여 보상 신호를 기반으로 모델을 최적화하여 보다 복잡한 최적화 목표를 가능하게 합니다.
- 최적 대상: 간단한 입력-출력 쌍으로는 충분하지 않은 복잡한 최적화 시나리오입니다.
- 사용 시기: RFT는 명확한 옳고 그름의 답변이 있고 모델이 이미 몇 가지 역량을 보여주는 수학, 화학 및 물리학과 같은 객관적인 도메인에 이상적입니다. 운에 의존한 추측이 어렵고 전문가 평가자가 명확하고 올바른 정답에 일관되게 동의할 때 가장 잘 작동합니다. 효과적으로 구현하려면 더 많은 ML 전문 지식이 필요합니다.
- 지원되는 모델: o4-mini
대부분의 고객은 가장 광범위한 미세 조정 사용 사례를 해결하므로 SFT로 시작해야 합니다.
이 링크를 따라 예제 데이터 세트를 보고 다운로드하여 미세 조정을 시도합니다.
학습 형식
- 텍스트 텍스트 변환(모든 모델): 모든 모델은 언어 기반 작업에 대한 표준 텍스트 텍스트 변환 미세 조정을 지원합니다.
- Vision + Text(GPT 4o, 4.1): 일부 모델은 텍스트 출력을 생성하는 동안 이미지와 텍스트 입력을 모두 허용하는 비전 미세 조정을 지원합니다. 시각 미세 조정의 사용 사례에는 차트, 그래프 및 시각적 데이터 해석이 포함됩니다. 콘텐츠 조정; 시각적 품질 평가; 혼합 텍스트 및 이미지를 사용하여 문서 처리 및 사진의 제품 카탈로그화
모델 비교 테이블
이 표에서는 사용 가능한 모델에 대한 개요를 제공합니다.
| 모델 | 방식 | 기술 | 강점 |
|---|---|---|---|
| GPT 4.1 | 텍스트, 비전 | SFT, DPO | 정교한 작업에서 뛰어난 성능, 미묘한 이해 |
| GPT 4.1-mini | 문자 메시지 | SFT, DPO | 빠른 반복, 비용 효율, 간단한 작업에 적합 |
| GPT 4.1나노 | 문자 메시지 | SFT, DPO | 빠르고 비용 효율적이며 최소한의 리소스 사용량 |
| o4-mini | 문자 메시지 | RFT | 복잡한 논리 작업에 적합한 추론 모델 |
| Phi 4 | 문자 메시지 | SFT | 더 간단한 작업에 대한 비용 효율적인 옵션 |
| Ministral 3B | 문자 메시지 | SFT | 더 빠른 반복을 위한 저렴한 옵션 |
| 미스트랄 니모 | 문자 메시지 | SFT | 크기와 기능 간의 균형 |
| Mistral Large (2411) | 문자 메시지 | SFT | 가장 유능한 Mistral 모델, 복잡한 작업에 더 적합 |
미세 조정 시작
- 사용 사례를 정의합니다. 고성능 범용 모델(예: GPT 4.1), 특정 작업에 대한 더 작은 비용 효율적인 모델(GPT 4.1-mini 또는 nano) 또는 복잡한 추론 모델(o4-mini)이 필요한지 여부를 식별합니다.
- 데이터 준비: 초기 테스트를 위한 50~100개의 고품질 예제부터 시작하여 프로덕션 모델에 대한 500개 이상의 예제로 확장합니다.
- 기술을 선택합니다. 추론 모델/RFT에 대한 특정 요구 사항이 없는 한 SFT(감독 Fine-Tuning)로 시작합니다.
- 반복 및 평가: 미세 조정은 반복적인 프로세스로, 기준부터 시작하여 성능을 측정하고 결과에 따라 접근 방식을 구체화합니다.
AI Foundry에서 모델을 미세 조정하는 단계를 찾으려면 AI Foundry에서 모델 미세 조정, Azure OpenAI 모델 미세 조정 또는 관리형 컴퓨팅을 사용하여 모델 미세 조정을 참조하세요.
가용성 미세 조정
이제 사용 사례에 맞는 미세 조정을 사용해야 하는 시점을 알았으므로 Azure AI 파운드리로 이동하여 미세 조정에 사용할 수 있는 모델을 찾을 수 있습니다.
서버리스를 사용하여 AI Foundry 모델을 미세 조정하려면 모델을 미세 조정하는 데 사용할 수 있는 지역에 허브/프로젝트가 있어야 합니다. 모델 및 지역 가용성에 대한 자세한 내용은 표준 배포의 모델에 대한 지역 가용성 및 프로젝트를 만드는 허브 기반 프로젝트를 만드는 방법을 참조하세요.
OpenAI 모델을 미세 조정하려면 Azure OpenAI 리소스, Foundry 리소스 또는 기본 프로젝트 또는 허브/프로젝트를 사용할 수 있습니다. GPT 4.1, 4.1-mini 및 4.1-nano는 글로벌 교육을 통해 모든 지역에서 사용할 수 있습니다. 지역별 가용성은 Azure OpenAI 미세 조정에 대한 지역 가용성 및 제한을 참조하세요. 새 프로젝트를 만드는 방법에 대한 지침은 Azure AI Foundry 용 프로젝트 만들기를 참조하세요.
Managed Compute를 사용하여 모델을 미세 조정하려면 허브/프로젝트와 학습 및 추론에 사용할 수 있는 VM 할당량이 있어야 합니다. 관리 컴퓨팅 미세 조정을 사용하는 방법 및 허브 기반 프로젝트를 만들어 프로젝트를 만드는 방법에 대한 자세한 내용은 관리형 컴퓨팅(미리 보기)을 사용하여 모델 미세 조정을 참조하세요.