중요합니다
이 문서에 표시된 항목(미리 보기)은 현재 퍼블릭 미리 보기에서 확인할 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.
이 문서에서는 Azure AI Foundry 포털에서 사용할 수 있는 모델 순위표(미리 보기)의 모델을 비교하여 Azure AI Foundry 모델 카탈로그 에서 모델 선택 프로세스를 간소화하는 방법을 알아봅니다. 이 비교는 특정 사용 사례 또는 애플리케이션에 대한 요구 사항을 충족하는 모델에 대해 정보에 입각한 결정을 내리는 데 도움이 될 수 있습니다. 다음 순위표를 확인하여 모델을 비교할 수 있습니다.
- 품질, 안전성, 비용 및 성능 순위표 는 단일 기준(품질, 비용 또는 처리량)을 따라 모델 리더를 신속하게 식별합니다.
- Trade-off 차트는 품질 대 비용 등 서로 다른 선택 기준 간에 하나의 메트릭 대 다른 메트릭에서 모델이 어떻게 수행하는지를 확인하기 위한 것입니다.
- 시나리오별 순위표를 사용하여 귀하의 시나리오에 적합한 최상의 순위표를 찾습니다.
필수 조건
유효한 결제 방법을 사용하는 Azure 구독입니다. 무료 또는 평가판 Azure 구독은 작동하지 않습니다. Azure 구독이 없는 경우, 시작하려면 유료 Azure 계정을 만드세요.
모델 순위표에 액세스
- Azure AI Foundry에 로그인합니다.
- 프로젝트에 아직 없는 경우 선택합니다.
- 왼쪽 창에서 모델 카탈로그 를 선택합니다.
모델 카탈로그의 모델 순위표 섹션으로 이동합니다. 이 섹션에서는 품질, 비용 및 성능에 따라 순위가 매겨진 상위 3개 모델 리더를 표시합니다. 이러한 모델을 선택하여 자세한 내용을 확인할 수 있습니다.
모델 카탈로그의 모델 순위표 섹션에서 순위표 찾아보기를 선택하여 모델 순위표 방문 페이지 로 이동하여 사용 가능한 전체 순위표 제품군을 확인합니다.
홈페이지에는 모델 선택 조건에 대한 순위표 강조 표시가 표시됩니다. 품질은 모델 선택에 가장 일반적인 기준이며, 그 다음으로 안전, 비용 및 성능이 뒤따릅니다.
절충 차트에서 모델을 비교하세요.
장차 차트를 사용하면 더 관심 있는 기준에 따라 모델을 비교할 수 있습니다. 품질보다 비용에 더 관심이 있고 최고 품질의 모델이 가장 저렴한 모델이 아니라는 것을 알게 된 경우 품질, 비용 및 성능 기준 간에 절판이 필요할 수 있습니다. 장단점 차트에서는 모델이 두 메트릭을 따라 수행하는 방식을 한눈에 비교할 수 있습니다.
- 선택한 모델 드롭다운 메뉴를 선택하여 장차 차트에서 모델을 추가하거나 제거합니다.
- 품질 및 비용 탭을 선택하고 품질 및 처리량 탭을 선택하여 선택한 모델에 대한 차트를 봅니다.
- 메트릭 간 비교를 선택하여 각 모델에 대한 자세한 결과에 액세스합니다.
시나리오별 순위표 보기
특정 모델 기능이 필요한 시나리오가 있다고 가정해 보겠습니다. 예를 들어 좋은 질문과 대답 및 추론 기능이 필요한 질문과 대답 챗봇을 빌드한다고 가정해 보겠습니다. 기능별 벤치마크에서 지원하는 이러한 순위표의 모델을 비교하는 것이 유용할 수 있습니다.
순위표를 탐색한 후에는 사용할 모델을 결정할 수 있습니다.
모델 카드에서 벤치마크 보기
원하는 모델을 선택하고 모델 세부 정보를 선택합니다. 모델 순위표 홈페이지 맨 위에 있는 품질 순위표와 같이 표시된 순위표 중 하나에서 모델을 선택할 수 있습니다. 이 예제에서는 gpt-4o를 선택합니다. 이 작업을 수행하면 모델의 개요 페이지가 열립니다.
벤치마크 탭으로 이동하여 모델에 대한 벤치마크 결과를 확인합니다.
더 많은 모델과 비교를 선택합니다.
목록 보기로 전환하여 각 모델에 대한 자세한 결과에 액세스합니다.
벤치마크 결과 분석
특정 모델의 "벤치마크" 탭에 있는 경우 다음을 포함하여 벤치마크 결과를 더 잘 이해하고 해석하기 위해 광범위한 정보를 수집할 수 있습니다.
높은 수준의 집계 점수: AI 품질, 비용, 대기 시간 및 처리량에 대한 이러한 점수는 모델의 성능에 대한 빠른 개요를 제공합니다.
비교 차트: 이러한 차트는 관련 모델에 비해 모델의 상대 위치를 표시합니다.
메트릭 비교 테이블: 이 테이블은 각 메트릭에 대한 자세한 결과를 제공합니다.
기본적으로 Azure AI Foundry는 다양한 메트릭 및 데이터 세트에 평균 인덱스를 표시하여 모델 성능에 대한 개략적인 개요를 제공합니다.
특정 메트릭 및 데이터 세트에 대한 벤치마크 결과에 액세스하려면 다음을 수행합니다.
차트에서 확장 단추를 선택합니다. 팝업 비교 차트는 자세한 정보를 표시하고 비교에 더 큰 유연성을 제공합니다.
관심 있는 메트릭을 선택하고 특정 시나리오에 따라 다른 데이터 세트를 선택합니다. 결과를 계산하는 데 사용되는 공용 데이터 세트의 메트릭 및 설명에 대한 자세한 정의는 자세히 알아보기를 선택합니다.
데이터를 사용하여 벤치마크 결과 평가
이전 섹션에서는 공용 데이터 세트를 사용하여 Microsoft에서 계산한 벤치마크 결과를 보여 줍니다. 그러나 데이터를 사용하여 동일한 메트릭 집합을 다시 생성할 수 있습니다.
모델 카드의 벤치마크 탭으로 돌아갑니다.
사용자 고유의 데이터로 사용해보기를 선택하여 데이터로 모델을 평가합니다. 데이터를 평가하면 특정 시나리오에서 모델이 수행하는 방식을 확인할 수 있습니다.
