에이전트의 성과를 파악하는 것은 사용자 경험을 향상시키고 비즈니스 목표를 달성하는 데 중요합니다. Copilot Studio 에이전트에는 내장된 분석 및 KPI가 포함되어 있으며, 맞춤형 분석과 보고서를 생성할 수 있는 옵션도 제공합니다. 이러한 메트릭을 정기적으로 검토하고 격차를 파악함으로써 시간이 지남에 따라 에이전트 성과를 지속적으로 최적화할 수 있습니다.
참여율 측정
대화형 에이전트의 참여율은 분석 세션 중 참여로 간주되는 세션의 비율을 측정합니다. 세션은 사용자가 에이전트와 상호작용하거나 에이전트가 사용자에게 초기 메시지를 보낼 때 비참여 상태에서 시작됩니다. 세션은 맞춤형 토픽이 트리거되거나 대화가 다음 시스템 토픽(대화형 부스팅, 에스컬레이션 및 대체) 중 하나에 진입하면 참여 상태가 됩니다.
높은 참여율은 에이전트가 여러 토픽으로 효과적으로 이끌고 있다는 것을 나타냅니다. 낮은 참여율은 토픽 커버리지 부족이나 사용자가 에이전트의 기능을 명확하게 이해하지 못함을 나타냅니다. 에이전트의 분석 대시보드에서 참여율을 모니터링할 수 있습니다.
에이전트 참여 측정에서 자세히 알아보세요.
세션 결과 추적
세션 결과는 대화가 어떤 상태로 종료되었는지를 나타냅니다. 참여 세션의 결과는 해결되거나, 중단되거나, 에스컬레이션될 수 있습니다.
해결된 세션: 성공적으로 종료됩니다.
확인된 해결된 결과는 대화 종료 토픽이 트리거되고 사용자가 자신의 질문에 대한 답변을 확인했을 때 발생합니다. 사용자는 고객 만족도 점수(CSAT)를 입력할 수 있습니다. 이러한 이유로, 대화가 대화 종료 토픽으로 마무리되도록 설계하는 것이 권장됩니다.
사용자가 확인하지 않고 세션이 종료되었지만, 에이전트의 논리로 해결된 것으로 판단될 때 암묵적으로 해결된 결과가 발생합니다.
에스컬레이션된 세션은 에이전트가 에스컬레이트 토픽에 진입하거나 대화 전환 노드를 사용할 때 발생합니다.
중단된 세션은 세션이 해결 또는 에스컬레이션 없이 종료될 때 발생합니다.
대화 결과는 에이전트의 분석 대시보드에서 확인할 수 있습니다.
에이전트 결과 측정에서 자세히 알아보세요.
분석 전략 선택
Copilot Studio는 각 에이전트에 대해 상세한 분석을 제공하며, 사용 패턴과 기타 주요 성과 지표에 대한 인사이트를 제공합니다. 분석 개요에서 자세히 알아보세요. Copilot Studio에서 생성된 분석 데이터를 사용자 지정 보고서에서 사용할 수 있습니다. 사용자 지정 보고서를 작성할 때, 데이터의 저장 위치와 방법을 미리 계획하세요. 사용자 지정 분석 전략 개발에서 자세히 알아보세요.
최적화 전략 정의
Copilot Studio로 구축한 에이전트를 시간이 지남에 따라 개선하여 투자 수익률과 고객 만족도를 높이세요.
매월 에이전트 성과를 점검하고 다음 항목에 집중하세요.
- 회피율: 셀프 서비스를 통해 완료된 요청의 비율.
- 해결률: 세션 중 해결된 결과의 비율.
- 참여율: 전체 세션 중 참여된 세션의 비율.
- 해결률이 낮은 토픽: 개별 토픽의 해결률.
- 인식되지 않은 발화: 사용자 지정 토픽이 활성화되지 않은 문구
- 채널별 분석: 채널 간 성능 차이를 식별하는 지표.
편향 개요에서 자세히 알아보세요.
좋아요, 싫어요 및 사용자 댓글 수집
사용자는 에이전트가 보내는 메시지에 대해 좋아요 버튼과 싫어요 버튼을 사용하여 반응할 수 있습니다. 사용자가 반응 버튼을 선택하면, 댓글로 더 자세한 피드백을 남기도록 안내하세요. Copilot Studio의 에이전트 분석 탭에서 지난 28일 동안의 모든 반응과 댓글을 조회할 수 있습니다.
반응에서 자세히 알아보세요.
테마별 사용자 질문 분석
Copilot Studio는 생성형 AI 응답을 유발하는 모든 사용자 질문을 분석하여 공통 테마로 분류합니다. 테마는 제작자가 사용자가 어떤 질문을 하는지와 에이전트가 얼마나 성과를 내는지 이해하는 데 도움을 줍니다. 테마별 관련 질문과 응답 품질 메트릭을 모두 확인할 수 있습니다.
자세한 내용은 테마별 사용자 질문 분석에서 확인하세요.
Copilot Studio Kit에서 대화 KPI 확인
에이전트 성과를 추적하기 위한 대화 핵심 성과 지표(KPI)도 Copilot Studio Kit의 일부로 제공됩니다.
Copilot Studio Kit은 다음과 같은 장점을 제공합니다.
- Dataverse에 에이전트용 집계된 메트릭을 저장합니다.
- 장기적인 추적을 위해 KPI 데이터를 저장할 수 있습니다.
- Net Promoter Score(NPS)와 같은 KPI의 일부로 추적할 특정 변수를 정의합니다.
- 전체 대화록과 KPI 레코드를 저장합니다.
- 샘플 Power BI 보고서를 확장하여 사용자 지정 보고서를 만들 수 있습니다.
자세히 알아보려면 Copilot Studio Kit에서 대화 KPI로 에이전트 성과 추적하기를 확인하세요.
다음 단계
대화량, 세션 품질, 재사용 패턴과 같은 신호를 해석하는 방법을 배우면 사용자가 에이전트와 어떻게 상호 작용하는지 이해할 수 있습니다.