모니터 탭은 제작자에게 에이전트의 생산 상태를 맥락 내에서 볼 수 있게 해줍니다. 사용량, 결과, 사용자 피드백, 신뢰성, Copilot 크레딧 소비를 이해하여 추세를 파악하고 에이전트를 개선할 부분을 결정하는 데 활용하세요.
메모
이 글의 기능들은 GitHub Copilot 하네스를 기반으로 한 에이전트나 워크플로우에서 사용됩니다.
사용량 기반 청구는 에이전트를 사용, 구축, 테스트, 평가하는 데 적용됩니다. 이러한 행동은 Copilot 크레딧을 소모할 수 있습니다. GitHub Copilot 하네스로 구동되는 에이전트 비용 관리에서 더 알아보세요.
메모
에이전트를 게시하기 전에 모니터 탭을 열 수 있습니다. 제작 사용량, 피드백, 신용 데이터는 에이전트를 게시하고 사람들이 사용하기 시작한 후에 나타납니다.
무엇을 모니터링할 수 있나요?
모니터는 개별 에이전트의 요약 수준 뷰를 제공합니다. 다음을 포함합니다.
- 개요: 총 세션 수, 사용자 수, 자율 실행, 평균 지속 시간, 성공률, 실패율.
- 반응: 에이전트 반응에 대한 긍정 및 부정 피드백.
- 총 예상 사용 크레딧: 선택한 기간 동안 에이전트가 사용한 크레딧입니다.
- 세션: 개별 상호작용, 그 상호작용이 발생한 장소, 그리고 그들이 소비한 크레딧.
날짜 필터를 사용해 특정 보고 기간에 집중하세요. 백분율 지표는 각 지표를 이전 기간과 비교합니다.
모니터 및 에이전트 작업
Monitor는 개별 에이전트를 구축하고 개선하는 동안 그 상태를 빠르게 확인해야 하는 개발자를 위해 설계되었습니다. 플릿 전체의 모니터링, 거버넌스, 상세한 조사 및 에이전트 및 환경 전반의 운영 최적화를 위해서는 에이전트 운영 경험을 활용하세요.
개요 메트릭
개요 섹션은 다음과 같이 나와 있습니다:
- 총 세션 수: 선택한 기간 동안 진행된 대화 세션 수.
- 총 사용자: 선택한 기간 동안 에이전트와 상호작용한 사용자 수.
- 평균 지속 시간: 세션과 런의 평균 지속 시간입니다.
- 성공률: 상담원이 세션과 런을 얼마나 성공적으로 완료했는지.
총 추정 사용 크레딧
크레딧 카드는 선택한 기간 동안 상담원이 소비한 총 Copilot 크레딧과 이전 기간과의 변동 사항을 보여줍니다. Preview and Evaluate에서 볼 수 있는 거의 실시간 추정치와 달리, Monitor에 표시되는 값은 그 시점까지 처리된 모든 이벤트를 반영하며, 청구에 사용되는 최종 진실의 출처 수치입니다.
내역이 제공되면, 경험별 사용량 분배를 추정하며, 생산 사용량, 미리보기 테스트, 평가 및 기타 지원되는 표면을 포함합니다. 어떤 활동이나 결과가 크레딧을 소모했는지 이해하기 위해 활용하세요.
추정 신용 사용량 이해 및 사용량 기반 청구 개요에서 더 알아보세요.
반응
반응 섹션에서는 에이전트 응답에 대한 사용자 피드백을 보여줍니다. 이 차트는 사용자가 에이전트로부터 받은 각 응답에 대해 엄지척(긍정적) 또는 부정적(부정적) 선택하는 빈도를 나타냅니다.
에이전트 기능
역량 섹션은 사용자가 상담원과 어떻게 상호작용하는지, 그리고 응답 신뢰성을 높일 수 있는 부분을 이해하는 데 도움을 줍니다. 다음을 포함합니다.
- 도구 사용: 세션 중에 에이전트가 호출한 도구 목록.
세션 추적
세션 목록에는 에이전트와의 개별 대화 세션이 나옵니다. 각 세션은 다음을 포함합니다:
- 상태: 세션이 완료되었는지, 실패했는지, 진행 중인지.
- 지속 시간: 세션이 얼마나 오래 지속되었는지.
- 사용자 메시지: 교환된 메시지 수.
- 사용한 도구: 세션 중에 에이전트가 호출한 도구들.
실패, 완료, 진행 등 상태별로 세션을 필터링하여 주의가 필요한 세션을 빠르게 찾아보세요.
세션을 선택하여 사용자의 메시지, 에이전트의 응답, 도구 호출 및 지식 소스 사용 세부사항을 포함한 전체 대본을 볼 수 있습니다.
오류 모니터링
모니터 탭은 문제를 식별하고 진단하는 데 도움을 줍니다:
- 세션을 실패 또는 거부 상태로 필터링하여 문제 상호작용을 찾아보세요.
- 무엇이 잘못되었는지 이해하기 위해 세션 기록을 검토하세요.
- 도구 연결 상태와 인증 오류를 확인하세요.
- 실패한 세션에서 설정 문제를 나타낼 수 있는 패턴을 찾아보세요.
모니터 탭 사용에 대한 단계별 안내는 '에이전트 모니터링'을 참조하세요.
세션 대본 다운로드
세션 타임 종료 후 몇 분 후에 세션 대본을 다운로드할 수 있습니다. 최근 29일 이내의 시간대도 다운로드할 수 있습니다. Power Apps 포털을 사용하여 데이타버스에서 다운로드할 수 있으며, Copilot Studio 앱을 사용하여 세션 채팅 대본으로 다운로드할 수 있습니다. 분석 세션이 끝난 후 관련 데이터가 모니터 탭에 나타나기까지 최대 한 시간이 걸릴 수 있습니다.
검토 세션
세션 목록에는 최근 에이전트와의 상호작용이 나와 있습니다.
메모
세션 목록에는 지난 28일간의 세션만 표시됩니다.
상호작용에 따라 목록은 다음과 같이 나타날 수 있습니다:
- 이름: 상호작용에 연관된 사용자.
- 날짜: 상호작용이 일어난 시점.
- 채널: 상호작용이 일어난 채널 또는 Copilot Studio 표면.
- 메시지 수: 상호작용에 포함된 메시지 수.
- 지속 시간: 상호작용의 길이.
- 사용된 크레딧: 해당 상호작용에 사용된 Copilot 크레딧.
세션 세부 정보 페이지를 열어 세션 지표를 집계하고, 목록을 필터링하며, 세션을 검색하고, 세션 데이터를 다운로드하세요.
다른 전사본 내보내기 옵션에 대해서는 '에이전트 세션 전사본 다운로드'에서 자세히 알아보세요.
단계별 안내를 원하시면 '에이전트 성과 모니터링 및 분석'에서 더 알아보세요.