에이전트 사양 정의
Tip
자세한 내용은 텍스트 및 이미지 탭을 참조하세요.
Adventure Works 팀은 채팅 놀이터를 열고 프롬프트 작성을 시작하려고 합니다. 그러나 "쇼핑객을 돕는 에이전트" 와 같은 모호한 아이디어는 끝없는 재작업으로 이어집니다: 모든 리뷰어는 다른 에이전트를 상상하며, 출시 하기에 충분한 시기에 아무도 동의할 수 없습니다.
대신 에이전트 사양 을 먼저 작성합니다. 에이전트에 대한 청사진 또는 작업 설명으로 간주합니다. 이는 한 줄의 코드도 작성되기 전에 에이전트가 무엇을 하는지, 어떻게 동작하는지, 그리고 그것이 제대로 작동한다는 것을 어떻게 알 수 있는지를 정의합니다.
완전한 명세는 각각 앞선 질문을 바탕으로 하는 다섯 가지 질문에 답한다.
팀은 에이전트가 존재하는 이유부터 작동 방식을 증명하기 위해 순서대로 작업합니다. 읽을 때 각각이 사용자 고유의 사용 사례에 적용되는 방식을 고려합니다.
사용자 의도
에이전트가 존재하는 이유부터 시작합니다. 에이전트의 작업 설명, 대상 대상 그룹 및 에이전트가 해결하는 문제를 캡처합니다.
Adventure Works의 경우 에이전트의 임무는 종종 수십 개의 유사한 제품에 압도되는 야외 초보자인 웹 사이트 쇼핑객에게 장비를 추천하는 것입니다. 대상 그룹의 이름을 지정하면 톤과 읽기 수준이 적절하게 유지됩니다.
추천 프롬프트
다음으로, 사용자가 에이전트와 상호 작용하는 방법을 결정합니다.
디스플레이 프롬프트는 쇼핑객이 보고 클릭할 수 있는 질문의 예입니다(예: "겨울 캠핑을 위해 어떤 텐트를 구입해야 하나요?"명령 프롬프트는 에이전트에 동작 방법을 알려주는 기본 명령입니다. 이러한 항목을 함께 작성하면 사용자가 기대하는 내용이 에이전트가 실제로 수행하는 작업과 일치하게 됩니다.
역량
이제 에이전트가 수행할 수 있는 작업과 수행할 수 없는 작업을 정의합니다.
기본 기능(제품 추천, 두 항목 비교), 필요한 도구 및 데이터 액세스(Foundry IQ 기술 자료를 통한 제품 카탈로그, Cosmos DB의 구매 기록) 및 제한 사항을 나열합니다. 제약 조건은 중요합니다. Adventure Works 에이전트는 할인을 지어내거나 실제 데이터에 근거하지 않은 안전 관련 조언을 해서는 안 됩니다.
Evaluation
빌드 하기 전에 품질을 판단하는 방법을 결정합니다.
루브릭은 점수 매기기 가이드입니다. 각각은 좋은 답변의 모양에 대한 설명이 있는 명명된 조건 집합이므로 다른 검토자가 동일한 방식으로 동일한 응답을 채점합니다. Adventure Works 에이전트의 경우 루브릭은 관련성, 접지성 및 친숙한 톤에 대한 각 답변의 점수를 매깁니다. 섀도 평가는 에이전트를 인간 지원 담당자와 나란히 조용히 실행하여 실제 고객에게 영향을 줄 위험 없이 응답을 비교할 수 있게 합니다.
테스트 데이터
마지막으로 에이전트의 작동을 증명하는 데이터를 준비합니다.
연기 테스트는 알려진 좋은 대답과 함께 "방수 재킷을 판매합니까?" 와 같은 모든 작은 업데이트 후 실행하는 짧고 빠른 검사입니다. 속도가 빠르기 때문에 지속적으로 실행하여 눈에 띄는 문제를 바로 포착할 수 있습니다. 더 큰 변경 전에 먼저 전체 자동화된 평가를 실행합니다. 즉, 대규모로 에이전트의 점수를 매깁니다.
이러한 점수를 신뢰하려면 의도적인 커버리지 믹스를 사용합니다. 즉, 쉬운 질문뿐만 아니라 실제 사용의 전체 범위를 반영하는 테스트 질문을 선택하는 것을 의미합니다. 쇼핑객이 매일 묻는 일반적인 질문과 모호한 요청, 재고 부족 항목 또는 에이전트가 거부해야 하는 질문과 같은 드문 경우를 포함합니다. 적절한 커버리지 조합은 테스트하지 않은 상황에서만 나타나는 오류를 숨기지 않고 높은 점수를 유지하는 데 도움이 됩니다.
이 사양을 통해 Adventure Works 팀은 이제 어떤 모델을 사용할지와 같은 디자인 선택을 할 수 있으며, 명확한 목표를 목표로 삼을 수 있습니다.