Microsoft Foundry에서 관리형 학습을 사용하여 데이터를 준비하고 감독된 SFT(미세 조정) 작업을 만듭니다. 방법 비교 및 학습 개념에 대해서는 미세 조정 개요를 참조하세요.
필수 구성 요소
- SFT 지원 모델 및 학습 지역이 있는 Foundry 리소스 또는 프로젝트
- 학습을 위해서는 Foundry 사용자 역할이, 파인 튜닝된 모델을 배포하는 경우에는 Foundry 소유자 역할이 필요합니다.
- Python 프로시저에 설명된 클라이언트 패키지 및 자격 증명.
- 리소스 엔드포인트와 자격 증명, 그리고 REST 예시를 실행할 수 있는 Bash 호환 셸이 필요합니다.
- Azure Developer CLI 버전 1.22.1 이상.
중요
Foundry RBAC 역할의 이름이 최근에 바뀌었습니다. Foundry User, Foundry OwnerFoundry 계정 소유자 및 Foundry Project Manager는 이전에 Azure AI 사용자, Azure AI 소유자, Azure AI 계정 소유자 및 Azure AI Project Manager로 이름이 지정되었습니다. 이름 바꾸기가 롤아웃되는 동안 일부 위치에서는 이전 이름이 계속 표시될 수 있습니다. 역할 ID 및 핵심 권한은 이름 바꾸기에 의해 변경되지 않습니다.
데이터 준비
GitHub의 text-only GSM8K 쌍 샘플 데이터세트를 사용하거나 자체 데이터를 준비하세요.
한 줄당 하나의 대화가 되도록 별도의 validation.jsonl 및 training.jsonl 파일을 저장합니다. 각 예제에 프롬프트 및 원하는 도우미 응답을 포함합니다.
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the biggest city in France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}
참고: Chat Completions message format.
선택한 모델에 대한 데이터 형식, 파일 크기 및 최소 예제 요구 사항을 확인합니다. 유효성 검사 및 최종 테스트 예제를 학습 집합에서 제외합니다.
특수한 데이터 형식은 vision fine-tuning 또는 tool calling을 참조하세요.
포털에서 SFT 작업 만들기
준비된 데이터 세트를 사용하여 작업을 만듭니다.
- Foundry 포털에 로그인하고 프로젝트를 선택합니다.
- 구축>파인 튜닝으로 이동하여 파인 튜닝을 선택하세요.
- 지원되는 기본 모델 및 지도 미세 조정을 선택합니다.
- 모델 및 리소스에서 지원하는 학습 유형을 선택합니다.
- 학습 및 유효성 검사 파일에 대해 기존 데이터 세트 또는 새 데이터 세트 업로드를 선택합니다. 미리 보기를 확인하고 유효성 검사 오류를 해결하세요.
- Batch 크기, 학습률 배수 및 epoch 수와 같은 사용 가능한 하이퍼 매개 변수를 구성합니다. 첫 번째 작업에 대한 모델의 기본값을 유지하세요. 아래 하이퍼파라미터 설명을 참조하세요.
하이퍼파라미터 설정
하이퍼 매개 변수는 학습 중에 작업이 모델을 업데이트하는 방법을 제어합니다. 사용 가능한 설정 및 허용되는 값은 선택한 모델에 따라 달라집니다. 기본 설정으로 시작하고 설정을 변경하기 전에 유효성 검사 결과를 비교합니다.
작업 구성에서 다음과 같은 일반적인 설정을 검토합니다.
| Setting | 설명 |
|---|---|
| 배치 크기 | 한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
| 학습률 조정 | 학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
| 에포크 수 (Number of Epochs) | 학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 반복 횟수가 많을수록 모델에 더 많은 학습 기회를 제공하지만 과적합이 증가할 수 있습니다. |
작업 본문에서 method.supervised.hyperparameters 아래에 지원되는 값을 설정하세요.
| 하이퍼 매개 변수 | Value | 설명 |
|---|---|---|
batch_size |
정수 또는 auto |
한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
learning_rate_multiplier |
숫자 또는 auto |
학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
n_epochs |
정수 또는 auto |
학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 패스가 많을수록 학습이 향상될 수 있지만 과적합이 증가할 수 있습니다. |
v1 예제는 서비스에서 선택한 값에 auto를 사용합니다. 모델이 auto을(를) 허용하지 않는 경우, 해당 모델에서 지원하는 값을 사용하세요.
요청 스키마는 v1 미세 조정 API를 참조하세요.
SFT YAML 파일에서 지원되는 설정을 구성합니다. CLI SFT 샘플에서는 다음 이름을 사용합니다.
| 하이퍼 매개 변수 | 설명 |
|---|---|
batch_size |
한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
learning_rate_multiplier |
학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
epochs |
학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 이 CLI 구성은 v1 API의 epochs 대신 n_epochs를 사용합니다. |
다른 모델에서 설정을 복사하는 대신 선택한 모델에 대한 구성 샘플을 사용합니다.
필요에 따라 결과 모델을 식별하도록 접미사를 설정합니다. 설정을 검토하고 제출을 선택하세요. 작업 ID를 유지합니다.
Python으로 SFT 작업 생성
프로젝트에 맞는 Microsoft Foundry SDK를 사용하여 클라이언트를 초기화하거나, 리소스 엔드포인트를 사용하여 OpenAI SDK를 사용하세요. 두 클라이언트 모두 아래의 동일한 업로드 및 작업 명령을 사용합니다.
설치하세요: azure-ai-projects, azure-identity, openai.
DefaultAzureCredential에서 지원하는 자격 증명으로 로그인하고 프로젝트 엔드포인트를 FOUNDRY_PROJECT_ENDPOINT(으)로 설정하세요.
import os
from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential
project = AIProjectClient(
endpoint=os.environ["FOUNDRY_PROJECT_ENDPOINT"],
credential=DefaultAzureCredential(),
)
client = project.get_openai_client()
이 API를 사용하여 SFT를 지원하는 지원 모델 ID 및 버전 중 하나의 식별자로 FINE_TUNING_MODEL을(를) 설정하세요.
를 지원되는 FINE_TUNING_TRAINING_TYPE의 API 값으로 설정합니다. 예를 들어 Global training은 GlobalStandard를 사용합니다.
하이퍼파라미터 설정
하이퍼 매개 변수는 학습 중에 작업이 모델을 업데이트하는 방법을 제어합니다. 사용 가능한 설정 및 허용되는 값은 선택한 모델에 따라 달라집니다. 기본 설정으로 시작하고 설정을 변경하기 전에 유효성 검사 결과를 비교합니다.
작업 구성에서 다음과 같은 일반적인 설정을 검토합니다.
| Setting | 설명 |
|---|---|
| 배치 크기 | 한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
| 학습률 조정 | 학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
| 에포크 수 (Number of Epochs) | 학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 반복 횟수가 많을수록 모델에 더 많은 학습 기회를 제공하지만 과적합이 증가할 수 있습니다. |
작업 본문에서 method.supervised.hyperparameters 아래에 지원되는 값을 설정하세요.
| 하이퍼 매개 변수 | Value | 설명 |
|---|---|---|
batch_size |
정수 또는 auto |
한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
learning_rate_multiplier |
숫자 또는 auto |
학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
n_epochs |
정수 또는 auto |
학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 패스가 많을수록 학습이 향상될 수 있지만 과적합이 증가할 수 있습니다. |
v1 예제는 서비스에서 선택한 값에 auto를 사용합니다. 모델이 auto을(를) 허용하지 않는 경우, 해당 모델에서 지원하는 값을 사용하세요.
요청 스키마는 v1 미세 조정 API를 참조하세요.
SFT YAML 파일에서 지원되는 설정을 구성합니다. CLI SFT 샘플에서는 다음 이름을 사용합니다.
| 하이퍼 매개 변수 | 설명 |
|---|---|
batch_size |
한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
learning_rate_multiplier |
학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
epochs |
학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 이 CLI 구성은 v1 API의 epochs 대신 n_epochs를 사용합니다. |
다른 모델에서 설정을 복사하는 대신 선택한 모델에 대한 구성 샘플을 사용합니다.
training.jsonl와 validation.jsonl를 업로드한 다음, 작업을 제출합니다. 이 예제에서는 작업 본문에 하이퍼 매개 변수를 포함하고 auto를 사용하여 서비스에서 선택한 값을 요청합니다.
import os
with open("training.jsonl", "rb") as training:
training_file = client.files.create(file=training, purpose="fine-tune")
with open("validation.jsonl", "rb") as validation:
validation_file = client.files.create(
file=validation, purpose="fine-tune"
)
client.files.wait_for_processing(training_file.id)
client.files.wait_for_processing(validation_file.id)
job = client.fine_tuning.jobs.create(
model=os.environ["FINE_TUNING_MODEL"],
training_file=training_file.id,
validation_file=validation_file.id,
suffix="my-model",
method={
"type": "supervised",
"supervised": {
"hyperparameters": {
"batch_size": "auto",
"learning_rate_multiplier": "auto",
"n_epochs": "auto",
}
},
},
extra_body={
"trainingType": os.environ["FINE_TUNING_TRAINING_TYPE"],
},
)
print(job.id, job.status)
참조: 파일 API 및 v1 미세 조정 API.
반환된 작업 ID를 보관하고 계속 작업을 모니터링하세요.
REST를 사용하여 SFT 작업 만들기
AZURE_OPENAI_ENDPOINT 및 AZURE_OPENAI_API_KEY을(를) 리소스로 설정하세요. Bash 호환 셸에서 이러한 명령을 실행합니다.
각 데이터세트를 purpose=fine-tune와(과) 함께 업로드할 때, 고유한 파일 ID를 유지하세요.
curl -X POST "$AZURE_OPENAI_ENDPOINT/openai/v1/files" \
-H "api-key: $AZURE_OPENAI_API_KEY" \
-F "purpose=fine-tune" -F "file=@training.jsonl"
curl -X POST "$AZURE_OPENAI_ENDPOINT/openai/v1/files" \
-H "api-key: $AZURE_OPENAI_API_KEY" \
-F "purpose=fine-tune" -F "file=@validation.jsonl"
참조: Files API.
이 API를 사용하여 SFT를 지원하는 지원 모델 ID 및 버전 중 하나에서 식별자가 있는 <SUPPORTED_MODEL_ID>(으)로 대체하세요.
지원되는 학습 유형에 대한 API 값으로 <SUPPORTED_TRAINING_TYPE>을(를) 대체하세요. 예를 들어 Global training은 GlobalStandard를 사용합니다.
하이퍼파라미터 설정
하이퍼 매개 변수는 학습 중에 작업이 모델을 업데이트하는 방법을 제어합니다. 사용 가능한 설정 및 허용되는 값은 선택한 모델에 따라 달라집니다. 기본 설정으로 시작하고 설정을 변경하기 전에 유효성 검사 결과를 비교합니다.
작업 구성에서 다음과 같은 일반적인 설정을 검토합니다.
| Setting | 설명 |
|---|---|
| 배치 크기 | 한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
| 학습률 조정 | 학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
| 에포크 수 (Number of Epochs) | 학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 반복 횟수가 많을수록 모델에 더 많은 학습 기회를 제공하지만 과적합이 증가할 수 있습니다. |
작업 본문에서 method.supervised.hyperparameters 아래에 지원되는 값을 설정하세요.
| 하이퍼 매개 변수 | Value | 설명 |
|---|---|---|
batch_size |
정수 또는 auto |
한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
learning_rate_multiplier |
숫자 또는 auto |
학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
n_epochs |
정수 또는 auto |
학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 패스가 많을수록 학습이 향상될 수 있지만 과적합이 증가할 수 있습니다. |
v1 예제는 서비스에서 선택한 값에 auto를 사용합니다. 모델이 auto을(를) 허용하지 않는 경우, 해당 모델에서 지원하는 값을 사용하세요.
요청 스키마는 v1 미세 조정 API를 참조하세요.
SFT YAML 파일에서 지원되는 설정을 구성합니다. CLI SFT 샘플에서는 다음 이름을 사용합니다.
| 하이퍼 매개 변수 | 설명 |
|---|---|
batch_size |
한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
learning_rate_multiplier |
학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
epochs |
학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 이 CLI 구성은 v1 API의 epochs 대신 n_epochs를 사용합니다. |
다른 모델에서 설정을 복사하는 대신 선택한 모델에 대한 구성 샘플을 사용합니다.
파일 ID를 바꾸고 작업을 제출합니다. 요청에는 작업 본문에 하이퍼 매개 변수가 포함되며 auto를 사용하여 서비스가 선택한 값을 요청합니다:
curl -X POST "$AZURE_OPENAI_ENDPOINT/openai/v1/fine_tuning/jobs" \
-H "api-key: $AZURE_OPENAI_API_KEY" \
-H "Content-Type: application/json" \
--data '{
"model": "<SUPPORTED_MODEL_ID>",
"training_file": "<TRAINING_FILE_ID>",
"validation_file": "<VALIDATION_FILE_ID>",
"trainingType": "<SUPPORTED_TRAINING_TYPE>",
"method": {
"type": "supervised",
"supervised": {
"hyperparameters": {
"batch_size": "auto",
"learning_rate_multiplier": "auto",
"n_epochs": "auto"
}
}
},
"suffix": "my-model"
}'
참조: v1 미세 조정 API.
반환된 작업 ID를 보관하고 계속 작업을 모니터링하세요.
Azure Developer CLI를 사용하여 SFT 작업 만들기
Azure Developer CLI 버전 1.22.1 이상을 설치한 다음, 미세 조정 확장을 설치하고 로그인합니다.
azd ext install azure.ai.finetune
azd auth login
참조: Azure 개발자 CLI.
모델에 대한 SFT 구성 샘플 및 해당 데이터 파일을 다운로드하세요. 지원되는 모델 ID 및 버전 중에서 모델을 설정하고, 데이터 경로 및 지원되는 학습 유형을 검토하세요.
하이퍼파라미터 설정
하이퍼 매개 변수는 학습 중에 작업이 모델을 업데이트하는 방법을 제어합니다. 사용 가능한 설정 및 허용되는 값은 선택한 모델에 따라 달라집니다. 기본 설정으로 시작하고 설정을 변경하기 전에 유효성 검사 결과를 비교합니다.
작업 구성에서 다음과 같은 일반적인 설정을 검토합니다.
| Setting | 설명 |
|---|---|
| 배치 크기 | 한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
| 학습률 조정 | 학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
| 에포크 수 (Number of Epochs) | 학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 반복 횟수가 많을수록 모델에 더 많은 학습 기회를 제공하지만 과적합이 증가할 수 있습니다. |
작업 본문에서 method.supervised.hyperparameters 아래에 지원되는 값을 설정하세요.
| 하이퍼 매개 변수 | Value | 설명 |
|---|---|---|
batch_size |
정수 또는 auto |
한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
learning_rate_multiplier |
숫자 또는 auto |
학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
n_epochs |
정수 또는 auto |
학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 패스가 많을수록 학습이 향상될 수 있지만 과적합이 증가할 수 있습니다. |
v1 예제는 서비스에서 선택한 값에 auto를 사용합니다. 모델이 auto을(를) 허용하지 않는 경우, 해당 모델에서 지원하는 값을 사용하세요.
요청 스키마는 v1 미세 조정 API를 참조하세요.
SFT YAML 파일에서 지원되는 설정을 구성합니다. CLI SFT 샘플에서는 다음 이름을 사용합니다.
| 하이퍼 매개 변수 | 설명 |
|---|---|
batch_size |
한 번의 전방 및 후진 패스로 함께 처리된 학습 예제의 수입니다. 일괄 처리가 클수록 업데이트 빈도는 낮아지고 분산도 더 낮아집니다. |
learning_rate_multiplier |
학습률을 조정합니다. 더 작은 배수를 사용하면 과적합을 줄이는 데 도움이 될 수 있습니다. |
epochs |
학습 데이터 세트를 완전히 한 번씩 도는 횟수입니다. 이 CLI 구성은 v1 API의 epochs 대신 n_epochs를 사용합니다. |
다른 모델에서 설정을 복사하는 대신 선택한 모델에 대한 구성 샘플을 사용합니다.
다음 발췌문에서는 작업 구성에 하이퍼 매개 변수를 포함하는 방법을 보여 줍니다. 모든 모델에 대한 기본값이 아니라 공식 CLI 샘플의 값을 사용합니다. 모델의 나머지 설정은 그대로 유지하고, 이러한 값들을 모델에서 지원하는 설정값으로 조정하세요.
model: <SUPPORTED_MODEL_ID>
method:
type: supervised
supervised:
hyperparameters:
epochs: 4
batch_size: 8
learning_rate_multiplier: 0.1
참조: SFT CLI 구성.
선택한 모델 ID로 대체 <SUPPORTED_MODEL_ID> 합니다. 구성 디렉터리에서 프로젝트를 초기화하고, 전체 작업 구성을 제출하고, 상태를 확인합니다:
azd ai finetuning init -e <project-endpoint>
azd ai finetuning jobs submit -f <path-to-job-yaml>
azd ai finetuning jobs show -i <job-id>
https://<account>.services.ai.azure.com/api/projects/<project> 형식의 프로젝트 엔드포인트를 사용하세요.
<job-id>를 제출 시 반환된 ID로 바꿉니다.
참조: 미세 조정 CLI 샘플 및 명령.
일시 중지, 다시 시작 또는 취소
모델, 메서드 및 작업 상태가 라이프사이클 명령을 지원하는 경우에만 실행하세요. 일시 중지 및 다시 시작은 모든 모델 또는 메서드에 사용할 수 없습니다.
azd ai finetuning jobs pause -i <job-id>
azd ai finetuning jobs resume -i <job-id>
azd ai finetuning jobs cancel -i <job-id>
참조: CLI 명령 미세 조정.
교육 지표 검토
SFT는 모델이 예제에서 대상 응답을 얼마나 잘 예측하는지 측정합니다. 학습 성능만으로 모델을 판단하는 대신 학습 및 유효성 검사 결과를 비교합니다.
메트릭 가용성은 모델에 따라 달라집니다. 작업에 대해 보고된 메트릭을 사용합니다.
| 지표 | 확인할 사항 |
|---|---|
| 학습 손실. | 현재 학습 일괄 처리의 손실입니다. 감소하는 추세를 찾으세요. |
| 전체 검증 손실. | 에포크 끝의 검증 세트 손실. 학습 손실이 감소하지만 유효성 검사 손실이 증가하는 경우 실패한 유효성 검사 예제를 검사합니다. |
| 학습 평균 토큰 정확도입니다. | 학습 일괄 처리에서 올바르게 예측된 대상 토큰의 비율입니다. 증가하는 추세를 찾으세요. |
| 완전한 검증은 토큰의 정확성을 의미합니다. | 에포크 끝의 검증 세트 전반에 걸친 토큰 정확도입니다. 개선 사항이 작업에도 도움이 되는지 확인하세요. |
해당 메트릭 이름은 train_loss, full_valid_loss, train_mean_token_accuracy, 및 full_valid_mean_token_accuracy입니다. 일괄 처리 유효성 검사 메트릭은 보고되는 경우 전체 유효성 검사 메트릭과 동일하지 않습니다.
유효성 검사 메트릭 및 홀드아웃 작업 결과를 사용하여 사용 가능한 체크포인트를 비교합니다. 검사점 만들기 및 보존은 모델 및 학습 워크플로에 따라 달라집니다.
과적합 및 평가 위험에 대한 설명은 과제 및 제한 사항을 참조하세요.
작업을 모니터링하고 체크포인트를 선택합니다
배포할 모델 또는 체크포인트를 선택하기 전에 학습 진행률을 검사합니다.
포털에서 작업 세부 정보를 엽니다.
- 상태 및 이벤트 로그를 확인합니다. 학습이 시작되기 전에 작업이 대기열에 들어갈 수 있습니다. 작업이 실패하면 오류 세부 정보를 확인하세요.
- 위의 지침을 사용하여 학습 및 유효성 검사 메트릭을 비교하려면 Monitor를 엽니다.
- Checkpoints를 열어 사용 가능한 모델 버전 및 해당 메트릭을 확인하세요. 배포할 후보를 선택하기 전에 보류된 작업에서 후보를 비교하세요.
Python을 사용하여 로그 및 체크포인트 검사
제출한 예시에 포함된 Python client을(를) 사용하세요. 사용자의 작업 ID로 <JOB_ID>을(를) 교체하세요. 작업이 완료될 때까지 상태 검사를 반복합니다. 대기 중인 작업을 다시 제출하지 마십시오.
상태, 이벤트 로그, 사용 가능한 체크포인트 및 결과 파일 ID를 검색하세요.
job = client.fine_tuning.jobs.retrieve("<JOB_ID>")
print("Status:", job.status)
print("Error:", job.error)
print("Model:", job.fine_tuned_model)
print("Result files:", job.result_files)
for event in client.fine_tuning.jobs.list_events(job.id).data:
print(event.created_at, event.message)
checkpoints = client.fine_tuning.jobs.checkpoints.list(job.id)
print(checkpoints.model_dump_json(indent=2))
참고: 파인튜닝 API.
완료 후 작업이 CSV 형식의 메트릭 파일을 반환하면 <RESULT_FILE_ID>를 해당 ID로 바꾸고 파일을 다운로드하세요.
with open("results.csv", "wb") as result_file:
result_file.write(client.files.content("<RESULT_FILE_ID>").read())
참조: Files API.
REST로 로그 및 체크포인트 확인
REST용 리소스 엔드포인트 및 키를 사용합니다. 사용자의 작업 ID로 <JOB_ID>을(를) 교체하세요. 작업이 완료될 때까지 상태 검사를 반복합니다. 대기 중인 작업을 다시 제출하지 마십시오.
작업, 이벤트 로그 및 사용 가능한 체크포인트를 검색합니다.
JOB_URL="$AZURE_OPENAI_ENDPOINT/openai/v1/fine_tuning/jobs/<JOB_ID>"
curl "$JOB_URL" -H "api-key: $AZURE_OPENAI_API_KEY"
curl "$JOB_URL/events" -H "api-key: $AZURE_OPENAI_API_KEY"
curl "$JOB_URL/checkpoints" -H "api-key: $AZURE_OPENAI_API_KEY"
참고: 파인튜닝 API.
완료 후 작업 응답에서 result_files를 검사합니다. CSV 지표 파일이 포함되어 있는 경우, 해당 파일의 ID로 <RESULT_FILE_ID>을(를) 교체하고 다운로드하세요.
curl "$AZURE_OPENAI_ENDPOINT/openai/v1/files/<RESULT_FILE_ID>/content" \
-H "api-key: $AZURE_OPENAI_API_KEY" --output results.csv
참조: Files API.
Azure 개발자 CLI 작업 워크플로를 사용하여 작업 상태를 검사합니다.
체크포인트는 학습이 진행됨에 따라 생성되며, 대기 중인 작업에는 체크포인트가 없을 수 있습니다. 최신 버전이 가장 잘 수행되는 것으로 가정하지 않고 반환된 검사점 식별자 및 메트릭을 검사합니다.
학습이 성공하면 학습된 모델 또는 선택한 체크포인트를 유지합니다. 배포를 위해 하나를 선택하기 전에 홀드아웃 작업에 대한 후보자를 비교합니다.
모델을 배포하세요
학습 작업을 제출하는 방식과 관계없이 Foundry 포털을 사용하여 모델을 배포하세요. 모델에서 지원하는 서비스 옵션 및 추론 절차에 맞춰 파인 튜닝된 모델을 배포하세요.
배포 후 Foundry 포털에서 실행 평가를 사용하여 보류된 작업에 대한 후보를 비교하세요.
학습 중단 및 정리
포털 보기에서 불필요한 작업을 취소합니다. 업로드된 파일은 더 이상 필요하지 않은 경우 포털을 통해 개별적으로 삭제합니다.
client.fine_tuning.jobs.cancel("<JOB_ID>")를 사용하여 불필요한 작업을 취소합니다. 업로드된 파일 중 사용하지 않는 파일은 개별적으로 client.files.delete("<FILE_ID>")을(를) 통해 삭제하세요.
미세 조정 취소 API를 사용하여 불필요한 작업을 취소합니다. 파일 API를 사용하여 사용하지 않는 업로드된 파일을 별도로 삭제합니다.
위 CLI 명령어를 사용하여 불필요한 작업을 취소하세요. 사용 가능한 정리 작업은 미세 조정 CLI 참조를 참조하세요.
배포 정리 절차를 사용하여 사용하지 않는 배포를 삭제합니다. 교육을 취소해도 배포가 삭제되거나 요금이 중지되지 않습니다.
실험을 재현하는 데 필요한 데이터 및 작업 레코드를 유지합니다.