채팅 및 추론
Tip
자세한 내용은 텍스트 및 이미지 탭을 참조하세요.
채팅 애플리케이션은 간단한 질문 답변부터 계획, 분석 및 도구 사용이 필요한 대화에 이르기까지 다양합니다. 채팅 환경이 유창한 응답을 생성하는 것이 아니라 어려운 문제를 해결해야 하는 경우 추론 모델이 적절한 선택입니다.
MAI-Thinking
MAI-Thinking는 MICROSOFT AI의 첫 번째 추론 모델입니다. 심각한 수학, 코딩, 소프트웨어 엔지니어링 및 실제 엔터프라이즈 배포를 위해 처음부터 빌드되었습니다. 전문가 아키텍처의 혼합은 유추 중에 전체 매개 변수의 하위 집합을 활성화하여 비슷한 크기의 조밀한 모델보다 더 작은 유추 공간을 제공합니다.
MAI-Thinking 다음과 같은 워크로드용으로 설계되었습니다.
- 다단계 수학 및 논리 문제를 해결합니다.
- 요구 사항 분석 및 코드 생성 또는 검토
- 에이전트에 대한 일련의 작업 계획
- 엔터프라이즈 결정을 지원하기 위해 정보를 합성합니다.
- 멀티턴 문제 해결 대화 전반에서 맥락 유지
모델은 평가, 관찰 가능성, 안전성 및 배포를 위한 Microsoft Foundry 기능과 통합됩니다. 이러한 기능은 팀이 출력 품질을 평가하고, 애플리케이션 동작을 추적하고, 실험에서 프로덕션으로 이동할 때 컨트롤을 적용하는 데 도움이 됩니다.
Tip
MAI-Thinking-1 모델 카드에서 현재 기능, 제한 사항 및 배포 세부 정보를 검토합니다.
모델을 채팅 환경에 맞추기
추론은 어려운 질문에 대한 답변을 향상시킬 수 있지만 직접 응답보다 더 많은 처리가 필요할 수도 있습니다. 모든 메시지에 대한 사고 모델을 선택하기 전에 채팅 애플리케이션이 수행하는 작업을 분류합니다.
요청에 여러 제약 조건 간의 분해, 계산, 코딩, 계획 또는 비교가 필요한 경우 추론 모델을 사용합니다. 간단한 추출, 라우팅 또는 자주 반복되는 답변의 경우 더 빠른 모델이 짧은 대기 시간 및 비용으로 품질 목표를 충족할 수 있는지 여부를 평가합니다.
실질적인 평가 프로세스는 다음과 같습니다.
- 의도한 워크로드에서 대표적인 단일 턴 및 다중 턴 대화를 수집합니다.
- 대답을 정확하고 유용하며 안전하며 적절하게 간결하게 만드는 항목을 정의합니다.
- 프로덕션 애플리케이션에서 제공할 도구 및 컨텍스트를 사용하여 모델을 테스트합니다.
- 응답이 얼마나 유창하게 들리는지뿐만 아니라 작업 완료 및 오류 패턴을 측정합니다.
- 배포를 선택하기 전에 품질, 대기 시간 및 비용을 비교합니다.
메모
추론 모델은 여전히 실수를 할 수 있습니다. 사람, 돈, 보안 또는 기타 영향력이 높은 의사 결정에 영향을 주는 애플리케이션에는 접지, 평가, 보호 및 적절한 사용자 감독이 필요합니다.