상담원의 성과를 이해하는 것은 사용자 경험을 향상시키고 비즈니스 목표를 달성하는 데 중요합니다. Copilot Studio 에이전트는 내장된 분석 및 KPI를 포함하고 있으며, 맞춤형 분석 및 보고서를 생성할 수 있는 옵션도 제공합니다. 이러한 지표를 정기적으로 검토하고 격차를 파악함으로써 시간이 지남에 따라 에이전트 성과를 지속적으로 최적화할 수 있습니다.
참여율 측정
대화형 에이전트의 참여율은 분석 세션 중 참여 중으로 분류되는 비율을 측정합니다. 세션은 사용자가 에이전트와 상호작용하거나 에이전트가 사용자에게 초기 메시지를 보낼 때 비 관문 상태에서 시작됩니다. 세션은 맞춤형 주제가 트리거되거나 대화가 다음 시스템 주제 중 하나로 넘어가면 참여 하게 됩니다: 대화 부스트, 에스컬레이트, 또는 후퇴.
높은 참여율은 에이전트가 사용자를 주제로 성공적으로 안내한다는 의미입니다. 낮은 참여율은 주제 범위 공백이나 사용자가 에이전트 역량에 대해 불확실함을 의미합니다. 상담원의 분석 대시보드에서 참여율을 모니터링할 수 있습니다.
Measure 상담원 참여도에서 더 알아보세요.
세션 결과 추적
세션 결과는 대화가 어떤 상태로 끝났는지를 결정합니다. 참여 세션의 결과는 해결, 포기, 또는 확대될 수 있습니다.
해결된 세션은 성공적으로 종료됩니다.
대화 종료 주제가 트리거되고 사용자가 질문에 답변을 확인하면 확인된 해결 결과가 발생합니다. 사용자는 고객 만족도 점수(CSAT)를 입력할 수 있는 옵션이 있습니다. 이러한 이유로, 대화를 끝내는 주제로 마무리하도록 대화를 설계하는 것이 권장됩니다.
암묵적으로 해결된 결과는 세션이 사용자 확인 없이 종료되었으나 에이전트의 논리가 해결되었다고 판단할 때 발생합니다.
에스컬레이션 세션 은 에이전트가 Escalate 주제에 들어가거나 Transfer Conversation 노드를 사용할 때 발생합니다.
중단된 세션 은 세션이 해결되거나 상급되지 않고 종료될 때 발생합니다.
상담원의 분석 대시보드에서 대화 결과를 확인할 수 있습니다.
에이전트 결과 측정에서 더 알아보세요.
분석 전략을 선택하세요
Copilot Studio는 각 상담원에 대한 상세한 분석을 제공하여 사용 패턴과 기타 주요 성과 지표에 대한 인사이트를 제공합니다. 분석 개요에서 더 알아보세요. Copilot Studio에서 생성된 분석 데이터를 사용자 지정 보고서에 사용할 수 있습니다. 맞춤형 보고서를 만들 때는 데이터를 어떻게, 어디에 저장할 것인지 계획하세요. 맞춤형 분석 전략 개발에서 더 알아보세요.
최적화 전략을 정의하세요
Copilot Studio로 구축한 에이전트를 시간이 지남에 따라 개선하여 투자 수익률과 고객 만족도를 높이세요.
매월 에이전트 성과를 점검하고 다음 항목에 집중하세요:
- 회피율: 셀프 서비스를 통해 완료된 요청의 비율.
- 해결률: 세션 중 결과가 해결된 비율.
- 참여율: 참여한 세션의 비율.
- 해상도가 낮은 주제: 개별 주제의 해결률.
- 인식되지 않은 발화: 어떤 맞춤형 주제도 유발하지 않은 구절.
- 채널별 분석: 채널 간 성능 차이를 식별하는 지표.
편 향 개요에서 더 알아보세요.
사용자 피드백과 댓글을 좋아하고 반대하는 댓글을 수집하세요
사용자는 엄지척 및 거부 버튼을 사용해 상담원이 보내는 메시지에 반응할 수 있습니다. 사용자가 반응 버튼을 선택하면, 댓글에 더 자세한 피드백을 남기도록 안내하세요. 지난 28일간의 모든 반응과 댓글은 Copilot Studio 내 상담원의 분석 탭에서 확인할 수 있습니다.
더 자세한 내용은 반응에서 확인하세요.
주제별로 사용자 질문을 분석하세요
Copilot Studio는 생성형 AI 응답을 유발하는 모든 사용자 질문을 분석하여 공통 주제로 분류합니다. 테마는 사용자가 어떤 질문을 하는지, 에이전트가 어떻게 작동하는지 이해하는 데 도움을 줍니다. 각 주제별로 관련된 모든 질문과 응답 질 지표를 확인할 수 있습니다.
주제 별 사용자 질문 분석에서 더 알아보세요.
Copilot Studio Kit에서 대화 KPI를 확인하세요
상담원 성과를 추적하는 대화 핵심성과 지표(KPI)도 Copilot Studio Kit의 일부로 제공됩니다.
Copilot Studio Kit은 다음과 같은 장점을 제공합니다:
- Dataverse에 에이전트용 집계된 메트릭을 저장합니다
- 장기 추적을 위해 KPI 데이터를 보관하세요
- 순 프로모터 점수(NPS)와 같은 KPI의 일부로 추적할 특정 변수를 정의하세요
- 전체 대화 기록과 KPI 기록을 저장하세요
- 샘플 Power BI 보고서를 확장하여 맞춤형 보고서를 만들 수 있습니다
Copilot Studio Kit에서 대화 KPI로 상담원 성과 추적하기에서 더 알아보세요.
다음 단계
대화 양, 세션 품질, 재사용 패턴 등 신호를 해석하는 방법을 배우고, 사용자가 에이전트와 어떻게 상호작용하는지 이해하세요.