디자인 평가 실험
팁 (조언)
자세한 내용은 텍스트 및 이미지 탭을 참조하세요.
AI 에이전트를 최적화하려면 변경을 수행하고 더 잘 작동하기를 바라는 것 이상이 필요합니다. 효과적인 최적화는 에이전트 변형을 객관적으로 비교하여 품질 향상, 비용 영향 및 성능 특성을 측정하는 구조적 실험에 따라 달라집니다. 고객이 트레일 추천, 숙박 예약 및 기어 제안으로 하이킹 여행을 계획하는 데 도움이되는 트레일 가이드 에이전트를 관리하는 야외 모험 회사 인 Adventure Works를 고려하십시오. 팀은 GPT-4에서 GPT-4 mini로 전환하여 운영 비용을 줄이려고 하지만 품질이 4.2/5.0 고객 만족도 목표 이하로 저하되지 않고 응답 시간이 30초 미만으로 유지되는지 확인해야 합니다. 여기서는 메트릭을 정의하고, 테스트할 변형을 선택하고, 체계적인 테스트 방법을 만들어 평가 실험을 디자인하는 방법을 알아봅니다.
평가 메트릭은 목표 품질(의도 확인, 관련성, 접지성), 비용(토큰 사용량, 모델 가격 책정) 및 성능(응답 시간, 최초 토큰에 대한 시간)을 측정합니다.
테스트할 변형 에는 기준 버전, 프롬프트 변형, 모델 대안(GPT-4, GPT-4 mini) 및 에이전트 구성 변경(max_tokens, 스트리밍)이 포함되어 세 가지 차원 모두에 걸쳐 성능을 향상시키는 변경 내용을 표시합니다.
테스트 방법은 다양한 사용 사례, 성공 조건 및 임계값, 비교 방법론 및 재현성을 위한 설명서를 포함하는 테스트 프롬프트를 포함하며, 신뢰할 수 있는 결과와 팀 협업을 보장합니다.
평가 메트릭 정의
모든 실험에는 변경 내용이 에이전트 성능을 향상시키거나 저하하는지를 나타내는 객관적인 측정값이 필요합니다. 명확한 메트릭이 없으면 실제 개선 사항과 주관적인 기본 설정을 구별할 수 없습니다.
품질 메트릭은 에이전트가 사용자 요구에 얼마나 잘 도움이 되는지 측정합니다. Microsoft Foundry는 다양한 평가 시나리오를 위해 설계된 범주로 구성된 기본 제공 평가기를 제공합니다.
범용 평가기 (일관성, 흐름): 모든 애플리케이션에서 논리적 흐름, 일관성 및 자연어 품질을 평가하는 데 사용합니다.
텍스트 유사성 평가기 (유사성, F1 점수, BLEU, GLEU, ROUGE, METEOR): 생성된 응답을 예상 또는 지상 진리 답변과 비교할 때, 특히 번역 또는 벤치마킹 작업에 사용합니다.
에이전트 계산기 (작업 준수, 작업 완료, 의도 확인, 도구 호출 정확도, 도구 선택, 도구 입력 정확도): 다단계 워크플로를 수행하거나, 도구를 호출하거나, 올바른 작업 실행의 유효성을 검사해야 하는 에이전트 애플리케이션에 사용합니다.
RAG 평가자 (검색, 문서 검색, 접지성, 접지 프로): 에이전트가 지식 기반이나 문서에서 정보를 검색하고, 응답이 권위 있는 출처에 기반하는지 검증해야 할 때 사용합니다.
위험 및 안전 평가자 (증오 및 불공정, 성폭력, 자해, 보호 자료, 콘텐츠 안전): 모든 고객 관련 애플리케이션에 사용하여 책임 있는 AI 관행을 보장하고 사용자 신뢰를 유지합니다.
Azure OpenAI 채점자 (모델 레이블, 문자열 검사기, 텍스트 유사성, 모델 점수 매기기): 기본 제공 평가자가 특정 조건과 일치하지 않는 경우 사용자 지정 채점 논리 및 유연한 유효성 검사 패턴에 사용합니다.
사용자 지정 평가자: 브랜드 음성 준수, 규정 준수 또는 도메인별 정확도 측정값과 같은 비즈니스별 요구 사항에 대한 고유한 평가 논리를 만듭니다.
팁 (조언)
필요한 입력, 점수 매기기 범위 및 구현 지침을 포함하여 각 평가자의 자세한 사양은 평가자 참조를 통해 자세히 알아보세요.
비용 메트릭은 에이전트 실행의 운영 비용을 정량화합니다. 토큰 사용량은 모델에서 각 요청에 대해 처리하는 입력 및 출력 토큰의 수를 측정합니다. 모델 가격 책정은 모델의 요금 구조에 따라 토큰 수를 실제 비용으로 변환합니다. GPT-4의 경우 백만 토큰당 30개, GPT-4 미니는 백만 토큰당 7.50의 비용이 들 수 있습니다. 이러한 메트릭을 사용하면 GPT-4를 사용하여 800개의 토큰을 처리하는 데 요청당 약 0.024의 비용이 드는 반면 GPT-4 mini를 사용하는 동일한 요청의 비용은 0.006(75% 감소)을 계산할 수 있습니다. Adventure Works가 매일 수천 개의 고객 문의를 처리하는 규모에서 이러한 차이는 운영 효율성 목표에 크게 영향을 줍니다. 모든 모델에 대한 현재 가격 책정 세부 정보는 Microsoft Foundry 가격 책정에서 사용할 수 있습니다.
성능 메트릭은 응답 속도 및 사용자 환경을 측정합니다. 엔드투엔드 응답 시간은 Adventure Works가 30초 평균 응답을 대상으로 하는 실시간 상호 작용에 중요한 완전한 답변을 기다리는 시간을 캡처합니다. 스트리밍을 사용하는 애플리케이션의 경우 Time-to-First 토큰은 인식된 응답성을 측정합니다. 사용자가 에이전트가 응답을 생성하기 시작하는 것을 보는 빈도입니다. 처음 토큰까지 시간이 짧을수록 총 응답 시간이 동일하게 유지되더라도 사용자 환경이 향상됩니다. 모델 선택은 이러한 메트릭에 큰 영향을 줍니다. GPT-4 미니는 일반적으로 GPT-4보다 빠르게 응답하지만 프롬프트 길이 및 생성 크기(제어됨 max_tokens)는 응답 시간에 직접적인 영향을 줍니다.
팁 (조언)
성능 및 대기 시간에 대한 최적화 기술에 대해 자세히 알아봅니다.
테스트할 변형 선택
최적화 실험은 기준 버전을 하나 이상의 변형과 비교하여 가장 잘 수행되는 구성을 식별합니다. 기준은 현재 프로덕션 에이전트 또는 시작점을 나타내며 변형은 평가하려는 특정 변경 내용을 도입합니다.
프롬프트 변형은 에이전트 동작을 안내하는 시스템 지침을 수정합니다. 자세한 프롬프트에 대해 간결한 프롬프트를 테스트하거나 에지 사례 처리와 다른 방법을 비교할 수 있습니다. Adventure Works 트레일 가이드 에이전트를 사용하면 한 변형이 기어 판매 권장 사항을 강조할 수 있고 다른 변형은 안전 고려 사항으로 기어 제안의 균형을 맞출 수 있습니다. 프롬프트 길이는 성능에도 영향을 줍니다. 프롬프트가 짧을수록 대기 시간이 줄어들고, 자세한 프롬프트는 응답 품질을 향상시킬 수 있습니다. 두 극단을 모두 테스트하면 사용 사례에 대한 최적 균형이 표시됩니다.
모델 대안은 다양한 모델 계층을 비교하여 기능, 비용 및 성능의 균형을 조정합니다. GPT-4는 복잡한 여정 계획 시나리오에서 뛰어난 성능을 발휘하지만 비용이 더 많이 들며 응답 속도가 느려지는 정교한 추론을 제공합니다. GPT-4 mini는 응답 시간이 빨라 더 낮은 비용으로 강력한 성능을 제공하므로 대기 시간에 민감한 대용량 애플리케이션에 이상적입니다. 둘 다 테스트를 통해 간단한 모델이 사람의 개입 없이 Adventure Works의 85% 문의 해결 목표와 30초 평균 응답 시간 요구 사항을 충족하면서 품질을 유지하는지 확인할 수 있습니다.
에이전트 구성 변경은 품질, 비용 및 사용자 환경에 영향을 주는 기술 매개 변수를 조정합니다.
-
max_tokens매개 변수: 생성 길이를 제한합니다. 값이 낮을 경우 비용과 대기 시간이 모두 줄어들지만 유용한 정보가 잘리게 될 수 있습니다. -
스트리밍(
stream: true): 총 응답 시간은 변경되지 않지만 생성할 때 토큰을 표시하여 인식된 응답성을 향상시켜 대화형 인터페이스에 대한 사용자 환경을 개선합니다. - 온도 설정: 온도가 낮을수록 예측 가능하고 일관된 응답이 생성되는 반면, 온도가 높을수록 더 창의적인 변화가 가능합니다.
- 검색 전략: 조정된 검색 구성은 컨텍스트, 근접성 또는 기타 기준에 따라 보다 관련성이 큰 정보를 표시할 수 있습니다.
에이전트 최적화에는 품질 (응답이 사용자 요구에 얼마나 잘 부합하는지), 비용 (대규모 운영 비용) 및 성능 (응답 속도 및 사용자 환경)의 세 가지 경쟁 우선 순위의 균형을 맞추는 것이 포함됩니다. 75% 비용을 절감하는 변형은 허용 가능한 임계값 미만의 품질을 저하시키거나 실시간 고객 상호 작용에 대해 허용할 수 없는 대기 시간을 도입하는 경우 도움이 되지 않습니다. 실험은 정보에 입각한 장단점 결정을 내리기 위해 세 가지 차원을 모두 측정해야 합니다.
주요 원칙은 비교를 제어합니다. 여러 변경 내용을 동시에 테스트하는 경우 관찰된 차이를 발생시킨 변경 내용을 확인할 수 없습니다. 새 모델을 사용하여 새 프롬프트를 테스트하면 모호성이 생깁니다. 프롬프트, 모델 또는 상호 작용으로 인해 고객 만족도가 향상했나요? 한 번에 하나의 변수를 변경하여 각 수정의 영향을 격리합니다. 개별 변경 내용의 유효성을 검사한 후 성공적인 변형의 조합을 테스트할 수 있습니다.
테스트 접근 방식 디자인
체계적인 테스트 접근 방식은 신중한 테스트 프롬프트 디자인, 명확한 성공 기준 및 문서화된 방법론을 통해 모호한 개선 목표를 신뢰할 수 있는 실험적 결과로 변환합니다.
대표 테스트 프롬프트는 실제 사용의 스펙트럼을 다룹니다. Adventure Works 트레일 가이드 에이전트의 경우 테스트 프롬프트에는 기어 권장 사항을 찾는 여러 고객 세그먼트의 쿼리가 포함됩니다.
- 주말 하이킹을 계획하는 디지털 노매드: "3월에 스코틀랜드 고원지대에서 하이킹을 하고 있는데, 어드벤처 웍스에서 어떤 방수 장비가 필요한가요?"
- 첫 번째 야외 모험을 준비하는 가족: "우리는 다음 달 런던 근처의 쉬운 트레일에서 십대들을 데리고 가며 어떤 기본 장비를 구입하거나 임대해야 할까요?"
- 연장 여행을 계획하는 경험이 풍부한 등산객 : "나는 변수 날씨와 중간 지형에서 5 일 배낭 여행에 대한 완전한 기어 목록이 필요합니다."
Edge 사례는 에이전트가 어려운 상황을 처리하는 방법을 테스트합니다.
- 모호한 요청: "하이킹을 위해 무엇을 포장해야 하나요?"
- 불완전한 여행 세부 정보 : "나는 스코틀랜드에 대한 장비가 필요합니다."
- 마지막 순간의 장비 변경: "캠핑 장비 대여를 다른 크기로 교체할 수 있나요?"
5~10개의 다양한 테스트 프롬프트를 포함하면 수동 테스트 및 연기 테스트를 위한 충분한 검사를 제공하는 동시에 인간 평가에 실용적입니다. 각 테스트 프롬프트는 사용자 쿼리, 예상 정보 요구 사항 및 이상적인 응답 특성을 캡처합니다.
성공 조건은 실험을 실행하기 전에 허용되는 성능을 구성하는 항목을 설정합니다. 임계값을 미리 설정하면 실망스러운 결과를 합리화하는 것을 방지할 수 있습니다. Adventure Works는 다음 세 가지 최적화 차원에 걸쳐 성공 임계값을 정의합니다.
- 품질: 고객 만족도 목표에 부합하고 신뢰 침식을 방지하기 위해 응답당 평균 4.2 이상(5포인트 배율), 응답당 최소 3.5개.
- 비용: 85% 해결률을 유지하면서 운영 효율성 목표를 달성하기 위해 60% 비용 절감.
- 성능: 실시간 상호 작용에 허용되는 사용자 환경을 보장하기 위해 평균 응답 시간 <30초, 최초 토큰 <2초(스트리밍)입니다.
비즈니스 요구 사항은 이러한 임계값에 영향을 줍니다. 여행 계획을 처리하는 고객 관련 에이전트는 내부 도구보다 더 높은 품질 표준과 더 빠른 응답 시간이 필요합니다.
비교 방법론은 동일한 테스트 프롬프트에 대해 각 변형을 실행하여 품질 점수, 토큰 사용량 및 응답 시간을 기록합니다. 결과를 구성하면 패턴이 표시됩니다. 예를 들어 GPT-4 mini는 간단한 쿼리에서 탁월하지만 복잡한 계획에 어려움을 겪을 수 있습니다. 테스트 프롬프트, 점수 매기기 조건, 변형 구성 및 근거를 재현할 수 있도록 실험 디자인을 문서화합니다.
포괄적인 실험 디자인이 완료되면 안전한 테스트 및 팀 공동 작업을 가능하게 하는 버전 제어 워크플로를 사용하여 이러한 실험을 구현할 준비가 된 것입니다.