평가는 개발 및 프로덕션 전반에 걸쳐 모델 및 에이전트의 품질, 안전성 및 안정성을 측정하는 데 도움이 됩니다. Microsoft Foundry에서는 테스트 데이터 세트의 기존 출력을 평가하거나, 테스트 입력을 사용하여 모델 또는 에이전트에서 응답을 생성하거나, 프로덕션 추적을 평가할 수 있습니다.
평가는 데이터 또는 애플리케이션에 하나 이상의 평가자를 적용합니다. 평가자는 메트릭을 생성하고, 지원되는 경우 설명도 제공하여 버전을 비교하고, 품질 문제를 찾고, 애플리케이션을 배포할 준비가 되었는지 여부를 결정하는 데 도움을 줍니다.
평가 워크플로 구축
대부분의 평가 워크플로는 다음 단계를 따릅니다:
- 평가할 대상을 선택합니다. 개별 턴 또는 전체 대화를 선택하고 기존 데이터 세트, 생성된 응답, 시뮬레이션된 대화 또는 프로덕션 추적을 사용합니다.
- 평가자를 선택합니다. 작업 완료, 관련성, 근거 충실성, 유사성 또는 콘텐츠 안전성 등 애플리케이션에 중요한 품질 및 안전 메트릭을 선택합니다.
- 평가를 실행합니다. 개발 중에 한 번 실행하거나, CI/CD에 추가하거나, 프로덕션에 대한 반복 평가를 구성하세요.
- 검토 및 개선. 집계 메트릭 및 개별 결과를 분석하고, 버전을 비교하고, 되풀이 실패 패턴을 해결합니다.
어디서부터 시작할지 선택하세요
메모
시작하기 전에 평가 워크플로에 대한 사용 권한, 지원되는 지역 및 속도 제한 및 가상 네트워크 요구 사항을 검토하세요.
평가 방법 선택
평가기를 선택하기 전에 평가 단위를 선택합니다. 턴 수준 평가는 개별 응답을 점수화합니다. 대화 수준 평가는 전체 다중 턴 상호작용을 평가하고 여러 단계에서 작업 완료와 같은 결과를 측정할 수 있습니다. 평가자는 특정 평가 수준을 지원합니다.
| 저는 ~하고 싶습니다 | 여기에서 시작 |
|---|---|
| 호스트된 에이전트를 처음으로 평가합니다. | 빠른 시작: 호스트된 에이전트 평가 |
| 기존 쿼리 응답 테스트 데이터 평가하기 | 쿼리 응답 데이터 세트 평가 |
| 테스트 입력을 사용해 응답 생성 및 평가 | 모델 및 에이전트 응답 평가 |
| 배포된 모델 또는 에이전트에서 캡처된 개별 상호 작용을 평가 | 배포된 상호작용 평가하기 |
| 전체 대화 데이터 세트를 평가 | 대화 데이터 세트 평가 |
| 프로덕션 추적에서 캡처된 전체 대화를 평가 | 배포된 대화 평가하기 |
| 배포 전에 다중 턴 에이전트 동작 시뮬레이션 | 에이전트 대화 시뮬레이션 |
| 테스트 데이터를 직접 작성하지 않고 시나리오 및 대화 생성 | 가상 대화 생성 및 평가 |
| 적대적 안전 및 보안 테스트 실행 | AI 레드 팀에 대해 알아보기 |
평가를 실행하는 방법 선택
| 저는 ~하고 싶습니다 | 여기에서 시작 |
|---|---|
| Foundry 포털에서 평가 실행 | Microsoft Foundry 포털에서 평가를 실행합니다 |
| 프로그래밍으로 평가 실행 | Microsoft Foundry SDK를 사용한 클라우드 평가 소개 |
| 명령줄에서 에이전트 평가 실행 | azd CLI를 사용하여 에이전트 평가 실행 |
| 정기적으로 프로덕션 트래픽을 평가하세요 | 에이전트 모니터링 및 지속적인 평가 설정 |
| 배포 파이프라인에 평가 추가 | GitHub Actions에서 평가 실행 또는 Azure DevOps |
필요한 구성 요소 찾기
- 평가자:기본 제공 평가기로 시작하거나 사용자 고유의 기준에 대한 사용자 지정 평가기를 만듭니다.
- 평가 데이터:평가 데이터 세트를 사용하는 경우, 가상 데이터를 생성하는 방법 또는 프로덕션 추적에서 데이터 세트를 만드는 방법을 알아봅니다.
- 결과:Foundry 포털에서 결과를 검토하거나, SDK를 사용하여 클라우드 평가 결과를 검색하거나, 클러스터 분석을 사용하여 일반적인 오류 패턴을 찾습니다.