관찰 가능성 이해
생성 AI의 응답 품질을 측정하는 방법에는 여러 가지가 있습니다. 일반적으로 생성형 AI를 평가하고 모니터링하기 위한 세 가지 차원을 생각할 수 있습니다. 여기에는 다음이 포함됩니다.
- 성능 및 품질 평가자: 생성된 콘텐츠의 정확도, 근거 및 관련성을 평가합니다.
- 위험 및 안전 평가자: AI 생성 콘텐츠와 관련된 잠재적 위험을 평가하여 콘텐츠 위험으로부터 보호합니다. 여기에는 유해하거나 부적절한 콘텐츠를 생성하는 AI 시스템의 경향을 평가하는 것이 포함됩니다.
- 사용자 지정 평가자: 특정 요구 사항 및 목표를 충족하는 산업별 메트릭입니다.
Microsoft Foundry는 생성 AI 응답의 성능과 신뢰성을 향상시키는 가시성 기능을 지원합니다. 평가자는 AI 응답의 품질, 안전성 및 안정성을 측정하는 Microsoft Foundry의 특수 도구입니다.
일부 평가기는 다음과 같습니다.
- 근거: 검색된 컨텍스트와 관련하여 응답이 얼마나 일관된지 측정합니다.
- 관련성: 쿼리와 관련하여 응답이 얼마나 관련성이 있는지 측정합니다.
- 유창성: 자연어 품질과 가독성을 측정합니다.
- 일관성: 논리적 일관성 및 응답 흐름을 측정합니다.
- 콘텐츠 안전: 다양한 안전 문제에 대한 포괄적인 평가입니다.
다음으로 Microsoft Foundry에서 생성 AI 기능을 사용해 보겠습니다.