소개
효과적인 생성 AI 애플리케이션을 빌드하려면 특정 사용 사례에 적합한 기본 모델을 선택해야 합니다. 수천 개의 모델을 사용할 수 있는 경우 모델이 요구 사항을 충족하는지 검색, 비교, 배포 및 유효성을 검사하는 구조화된 접근 방식이 필요합니다.
소매 회사를 위한 AI 기반 고객 지원 챗봇을 빌드하는 시나리오를 고려해 보세요. 고객 질문을 이해하고, 정확한 응답을 제공하고, 적절한 톤 및 안전 표준을 유지할 수 있는 언어 모델을 선택해야 합니다. 하지만 사용 가능한 모델의 방대한 카탈로그에서 어떻게 선택해야 할까요? 모델이 특정 요구 사항에 맞게 잘 수행되는지 어떻게 알 수 있나요? 배포된 후에는 성능을 어떻게 측정하고 개선해야 할까요?
Microsoft Foundry 포털은 이 전체 워크플로에 대한 포괄적인 플랫폼을 제공합니다. Microsoft, Anthropic, OpenAI, Meta 및 Hugging Face와 같은 공급자에서 1,900개 이상의 모델을 탐색할 수 있습니다. 품질, 안전성, 비용 및 성능을 위해 업계 표준 벤치마크를 사용하여 모델을 비교할 수 있습니다. 모델을 선택한 후 애플리케이션에서 사용할 수 있는 엔드포인트에 배포합니다. 마지막으로 자동화된 메트릭과 수동 테스트를 모두 사용하여 모델의 성능을 평가하여 품질 및 안전 요구 사항을 충족하는지 확인합니다.
이 모듈에서는 Microsoft Foundry 포털을 사용하여 모델 카탈로그에서 모델을 선택, 배포 및 평가하는 방법을 살펴봅니다. 모델 선택에 대해 정보에 입각한 의사 결정을 내리고, 다양한 배포 옵션을 이해하고, 다양한 평가 방법을 사용하여 모델 성능을 평가하는 방법을 알아봅니다.
이 모듈을 마치면 다음을 수행할 수 있습니다.
- 모델 카탈로그에서 모델 탐색 및 필터링
- 품질, 안전성, 비용 및 성능에 대한 벤치마크 메트릭을 사용하여 모델 비교
- 엔드포인트에 모델 배포 및 플레이그라운드에서 테스트
- 수동 및 자동화된 방법을 사용하여 모델 성능 평가
- 다양한 평가 메트릭 및 사용 시기 이해