미세 조정을 위한 학습 데이터 준비

Completed

팁 (조언)

자세한 내용은 텍스트 및 이미지 탭을 참조하세요.

에이전트 품질 문제를 해결하는 미세 조정 방법을 확인했습니다. 이제 실제로 작동하는 학습 데이터를 준비합니다. 품질 교육 데이터는 미세 조정이 성공하거나 리소스를 낭비하는지 여부를 결정합니다. 데이터 준비에는 세 가지 주요 단계가 포함됩니다. 데이터 유효성 검사는 선택한 방법에 대한 올바른 형식을 따르고, 콘텐츠 품질이 학습 표준을 충족하는지 확인하고, 올바른 도구와 워크플로를 사용하여 데이터 세트를 만듭니다.

데이터 형식 유효성 검사

다양한 미세 조정 방법에는 서로 다른 데이터 구조가 필요합니다. 이 단원의 예제에서는 관리되는 학습 작업에 대한 데이터를 준비합니다. 학습하기 전에 데이터가 선택한 메서드 및 지원되는 모델에 대한 정확한 형식 사양과 일치하는지 확인합니다.

SFT(감독 미세 조정)

SFT에는 시스템 지침, 사용자 프롬프트 및 이상적인 도우미 응답이 포함된 JSONL(JSON Lines) 형식의 대화가 필요합니다.

각 학습 예제에는 역할이 사용자와 도우미 간에 대체되는 배열이 포함되어 messages 있습니다.

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}

특정 응답만 최적화하려는 다중 턴 대화의 경우 선택적 weight 매개 변수(0 = 무시, 1 = 학습에 포함)를 사용합니다.

{"messages": [{"role": "system", "content": "Adventure Works Trail Guide provides helpful outdoor gear recommendations."}, {"role": "user", "content": "What's the waterproof rating on the StormShield jacket?"}, {"role": "assistant", "content": "IPX4 rated.", "weight": 0}, {"role": "user", "content": "What does that mean practically?"}, {"role": "assistant", "content": "The StormShield jacket has an IPX4 rating with 3000mm hydrostatic head, which means it handles light to moderate rain well. Perfect for day hikes in variable weather, though you might want additional protection for extended downpours.", "weight": 1}]}

형식 유효성 검사 목록:

• 각 줄은 유효한 JSON(전체 파일이 아님)입니다.
• 모든 예제에는 배열이 있습니다.messages
• 시스템 메시지(선택 사항이지만 권장됨)가 먼저 표시됨
• 두 역할 user 및 assistant 간에 번갈아 가며 실행됩니다.
• 도우미 응답은 원하는 동작을 보여 줍니다.
• 선택적 weight 매개 변수는 0 또는 1입니다(생략된 경우 기본값은 1).

DPO(직접 기본 설정 최적화)

DPO는 JSONL 형식의 기본 설정 쌍을 요구하며, 이 쌍에는 세 가지 최상위 필드가 포함됩니다: input (시스템 메시지와 초기 사용자 메시지를 포함), preferred_output (더 나은 응답), non_preferred_output (더 나쁜 응답).

각 학습 예제는 프롬프트(input)를 두 개의 대체 응답(preferred_output 및 non_preferred_output)과 구분합니다.

{  
  "input": {  
    "messages": [{"role": "system", "content": "You are an Adventure Works outdoor gear advisor. Provide helpful safety recommendations that balance caution with encouragement for outdoor activities."}, {"role": "user", "content": "I'm planning my first winter mountain hike in Scotland. What safety gear should I bring?"}]
  },  
  "preferred_output": [{"role": "assistant", "content": "Winter mountain hiking in Scotland requires serious preparation, and it's great that you're thinking about safety! Here's what you'll need: navigation tools (map, compass, GPS), insulated and waterproof layers, emergency shelter, headlamp with spare batteries, first aid kit, and extra food and water. Given this is your first winter mountain hike, I'd also strongly recommend: going with an experienced group, checking weather forecasts carefully, and starting with a shorter route to build experience. The Scottish mountains demand respect, but with proper preparation, they offer incredible experiences."}],  
  "non_preferred_output": [{"role": "assistant", "content": "Winter mountaineering is extremely dangerous for beginners. You need avalanche transceivers, ice axes, crampons, emergency shelter, PLB, first aid, backup navigation. Do not attempt this without professional training and experienced guides."}]
}

형식 유효성 검사 목록:

• 각 줄은 유효한 JSON(전체 파일이 아님)입니다.
• 모든 예제에는 input, preferred_output및 필드가 있습니다 non_preferred_output .
• input 에는 messages 시스템 메시지(선택 사항) 및 사용자 메시지가 포함된 배열이 포함되어 있습니다.
• preferred_output 에는 기본 동작을 보여주는 하나 이상의 도우미 메시지가 포함되어 있습니다.
• non_preferred_output 에는 권장되지 않는 행동을 보이는 하나 이상의 도우미 메시지가 포함되어 있습니다.
• 기본 설정과 추천이 아닌 항목 간의 차이는 최적화하는 특정 품질(톤, 안전 균형, 스타일)을 보여 줍니다.

RFT(보충 미세 조정)

RFT에는 JSONL 형식의 프롬프트와 모델 응답의 점수를 매기는 별도의 채점기 함수가 필요합니다. 모델은 응답을 생성하고 채점자로부터 보상 점수를 받아 보강을 통해 학습합니다. 학습 데이터에는 채점을 위해 채점자가 액세스하는 선택적 필드(예: ideal_itinerary)가 포함될 수 있습니다.

각 학습 예제에는 사용자 메시지로 끝나는 messages 배열이 포함되며, 채점자가 채점에 사용하는 선택적 필드가 추가될 수 있습니다.

{
  "messages": [
    {
      "role": "system",
      "content": "You are a trip planning assistant for Adventure Works. Create multi-day hiking itineraries that balance fitness level, experience, budget, weather conditions, and safety."
    },
    {
      "role": "user",
      "content": "Plan a 3-day coastal hiking trip in Wales for April. I have moderate fitness, limited camping experience, and a £500 budget."
    }
  ],
  "ideal_itinerary": "Day 1: Marloes to Broad Haven (8 miles, +800ft) - Stay at Broad Haven campground (facilities for beginners, £12/night). Day 2: Broad Haven to Little Haven (5 miles, +400ft) - Stay at Little Haven campground (£14/night). Day 3: Little Haven to St Brides (6 miles, +600ft). Total: 19 miles over 3 days (conservative for moderate fitness), established campsites (suitable for limited experience), total camping cost £26 + food/transport under £500. April weather: pack waterproofs, expect 10-15°C."
}

Grader 함수 (별도로 정의됨, 학습 중 모델 응답 점수 매기기):

{
  "type": "text_similarity",
  "name": "itinerary_similarity_grader",
  "input": "{{ sample.output_text }}",
  "reference": "{{ item.ideal_itinerary }}",
  "evaluation_metric": "fuzzy_match"
}

이 텍스트 유사성 등급자는 유사 항목 일치(RapidFuzz 알고리즘)를 사용하여 모델의 생성된 여정을 ideal_itinerary 필드와 비교하고 유사성에 따라 점수를 반환합니다.

형식 유효성 검사 목록:

• 학습 데이터는 JSONL 형식messages 배열을 따릅니다.
• 최종 메시지에는 역할이 있어야 합니다 user (모델은 학습 중에 응답을 생성합니다.)
• 학습 및 유효성 검사 데이터 세트를 모두 제공해야 합니다.
• 선택적 필드(예: ideal_itinerary 또는 solution)를 채점자 액세스에 포함할 수 있습니다.
• 모델 응답 점수 매기기(텍스트 비교, 모델 기반, 사용자 지정 Python 코드 또는 다중 그라더)를 채점하려면 채점기 함수를 별도로 정의해야 합니다.

데이터 품질 유효성 검사

콘텐츠의 품질이 부족한 경우에도 올바르게 서식이 지정된 데이터는 실패할 수 있습니다. 형식 준수를 확인한 후 쿼리, 응답 및 기본 진리가 이러한 품질 표준을 충족하는지 확인합니다.

고품질 학습 데이터는 미세 조정 방법에 관계없이 예측 가능한 특성을 공유합니다. 다음 5가지 원칙에 따라 데이터 세트를 평가합니다.

일관성: 모든 예제는 강화하려는 정확한 동작을 보여 줍니다. Adventure Works는 각 기어 사양 응답을 검토하여 표준 형식을 따르는지 확인합니다. 기술 사양, 가격 책정, 가용성 및 보완 제안은 일관된 순서로 표시됩니다. 학습 데이터의 혼합 형식은 출력에서 혼합 형식을 생성합니다.

정확도: 예제에는 실제로 올바른 정보와 적절한 권장 사항이 포함되어 있습니다. 한 가지 부정확한 교육 예(예: 겨울 조건에 여름 기어 권장)는 관련 시나리오에서 모델 동작을 손상할 수 있습니다. 예제를 포함하기 전에 도메인 정확성을 확인합니다.

다양성: 학습 데이터는 모델에서 발생할 수 있는 쿼리 변형, 에지 사례 및 응답 시나리오의 전체 범위를 다룹니다. Adventure Works는 안전 데이터 세트에 다양한 경험 수준, 다양한 계절, 여러 활동 유형 및 다양한 지리적 컨텍스트(한 지역의 여름 하이킹뿐만 아니라)를 포함하도록 보장합니다.

명확성: 각 예제는 원하는 동작을 명확하게 보여 줍니다. "올바른" 응답에 주관적인 해석이 필요하거나 여러 가지 유효한 접근 방식이 있는 경우 예제를 사용하지 않습니다. DPO(기본 설정 쌍)을 사용하여 어떤 접근 방식을 선호하는지 명시하지 않는 한

대표성: 학습 데이터 배포는 실제 사용 패턴과 일치합니다. Adventure Works 쿼리의 40%가 방수 등급에 대해 묻지만, 방수 예제가 학습 데이터에서 차지하는 비율이 5%에 불과한 경우 모델은 빈번한 사용 사례에서 성능이 저하됩니다.

팁 (조언)

수량 대비 품질: 100개의 고품질 다양한 예제가 500개의 평범한 예제를 능가합니다. 최상의 50-100개 예제부터 시작하여 세부 조정, 평가, 오류 분석에 따라 볼륨 확장 또는 기존 예제 개선 여부를 결정합니다.

데이터 세트 만들기

이 체계적인 워크플로에 따라 형식 요구 사항 및 품질 표준을 충족하는 학습 데이터를 만듭니다.

1. 데이터 취득 전략 선택: 상호 작용을 문서화한 경우 실제 데이터가 작동합니다. 가상 생성은 예제가 부족하거나 중요한 정보를 포함할 때 작동합니다. 하이브리드는 둘 다 결합합니다. 예를 들어 일반적인 시나리오에 실제 데이터를 사용할 수 있으며 에지 사례에는 합성입니다.

2. 원본 자료 준비: 가상 데이터의 경우: Q&A 생성을 위한 클린 PDF/마크다운 또는 도구 사용 생성을 위한 OpenAPI 사양. 실제 데이터의 경우: 채팅 로그 수집, 지원 티켓 또는 문서화된 상호 작용 불필요한 서식 및 마케팅 콘텐츠를 제거합니다.

3. 학습 예제 생성 또는 큐레이팅: Foundry의 가상 데이터 생성기(간단한 Q&A 또는 도구 사용)를 사용하여 JSONL 예제를 만들거나 실제 상호 작용을 JSONL 형식으로 수동으로 구성합니다.

4. 형식 및 품질 유효성 검사: 형식 준수 및 품질 원칙을 확인합니다. 잘못된 정보에 대한 가상 예제를 검토합니다. 50-100개의 예제로 시작하고 철저하게 유효성을 검사한 다음 크기를 조정합니다.

5. 모델 성능 모니터링 및 감사: 미세 조정 후 유효성 검사 데이터에 대한 모델 벤치마크 및 메트릭을 평가합니다. 성능이 부족한 경우 오류를 분석하여 더 많은 예제, 더 나은 예제 또는 다른 예제가 필요한지 확인합니다.

팁 (조언)

Microsoft Foundry 생성하는 방법에 대해 자세히 알아봅니다>

적절한 형식의 고품질 학습 데이터를 만들면 모델 미세 조정을 최적화하는 방법을 배울 준비가 된 것입니다.