분석을 사용하여 에이전트가 얼마나 잘 수행되고 있는지 이해하고 개선이 필요한 영역을 식별합니다.
Copilot Studio의 Analytics 페이지에서는 에이전트의 주요 지표 개요부터 구성 요소별 심층 사용 분석까지 포괄적인 데이터를 보여줍니다. 각 데이터 항목을 더 자세히 드릴다운하여 세부 정보를 확인할 수 있습니다.
분석 경험은 대화형 에이전트와 자율 에이전트를 위해 맞춤 설계되어 있습니다.
분석은 모든 지역에서 이용 가능합니다. 분석 데이터는 최대 360일 동안 이용 가능합니다. 세션 세부 정보와 대화록 정보는 최근 28일 동안 이용할 수 있습니다. 분석 데이터의 시간 및 타임스탬프는 협정 세계시(UTC)로 표시됩니다. 시간과 날짜 스탬프에는 하루 시작과 종료 시간, 세션 시간, 그리고 에이전트 데이터의 기타 시간 표시가 포함됩니다.
참고
분석 페이지에서는 Copilot Studio에서 테스트 패널을 사용하여 에이전트를 테스트할 때 완료한 활동에 대한 분석이 표시되지 않습니다.
제한된 뷰 전용 분석 접근 권한 부여
만약 여러분이 에이전트 소유자이고, 에이전트의 분석 페이지에만 접근 권한을 부여하고 싶다면, Analytics Viewer 공유 역할을 부여하여 에이전트를 공유하면 됩니다. 에이전트를 공유하려는 사람이 대화록의 정보를 액세스할 수 있도록 하려면 봇 대화록 뷰어 보안 역할도 있어야 합니다.
에이전트 분석 정보 공유에 대해 자세히 알아보세요.
중요
에이전트 소유자는 Analytics Viewer 역할을 사용자 그룹이 아닌 개별 사용자에게만 부여할 수 있습니다.
에이전트의 분석 페이지에 액세스하려면:
- Copilot Studio에서 에이전트를 엽니다.
- 상단 메뉴 모음에서 분석을 선택합니다.
요약
요약 영역에서는 Copilot을 활용하여 에이전트의 주요 분석 인사이트에 대한 AI 요약을 제공합니다. 전체 요약된 인사이트 목록을 보려면 더 보기를 선택하세요.
선택한 보고 기간 동안 글머리표 목록으로 공통 주제와 지표를 요약하여, 에이전트의 개선이 필요한 부분을 빠르게 파악할 수 있도록 도와줍니다. 여기에는 참여 지표, 고객 감정과 피드백, 그리고 이전 보고 기간 대비 추세가 포함될 수 있습니다.
고객 의견 요약 (프리뷰)은 에이전트에 대한 전반적인 고객 감정, 예를 들어 피드백과 의견을 이해하는 데 도움을 줍니다. 인사이트는 관련 댓글의 양과 전반적인 중요성에 따라 우선순위가 결정됩니다. 가치가 낮거나 관련 없는 의견은 필터링되고, 관련 피드백은 그룹화됩니다.
만족 및 불만족 아이콘 
으로 이 섹션에 대한 피드백을 Microsoft에 제공할 수 있습니다.
Microsoft에 피드백 제출 패널을 사용하여 주석을 추가하고 관련 파일을 공유합니다. 이와 같은 설명적인 피드백을 제공하여 지속적으로 제품을 개선하기 위해 함께 작업할 수 있습니다.
- Microsoft에 피드백 제출 패널에서 패널을 열기 위해 선택한 아이콘에 따라 좋아요 또는 싫어요 같은 자연어로 설명합니다.
- 프롬프트, 생성된 응답, 관련 콘텐츠 샘플 및 추가 로그 파일을 공유할지 여부를 선택합니다.
- 제출을 선택합니다.
또한 “개요” 영역에서 전체적인 성능 요약을 확인한 후, 성능을 더 깊이 분석할 수 있습니다.
활성 사용자
활성 사용자 지표는 대화형 에이전트의 도입 정도와 사용 추세에 대한 인사이트를 제공합니다. 활성 사용자는 보고서 기간 내에 대화형 에이전트와 최소 한 번 이상 상호작용한 고유한 사용자입니다. Copilot Studio Analytics는 두 가지 사전에 정의된 기간에 따라 활성 사용자 수를 표시합니다: 일일 활성 사용자(DAU)와 월간 활성 사용자(MAU). 일일 집계는 UTC 기준 24시간의 하루를 기준으로 시작되고 종료됩니다. 월간 집계는 달력 월을 기준으로 하며, UTC 기준으로 첫날과 마지막 날에 시작하고 끝납니다.
중요
활성 사용자 지표 기능은 설정>보안>인증에서 에이전트가 인증을 요구하도록 설정한 경우에만 지원됩니다.
선택된 기간의 평균 DAU와 이전 기간과의 비율 변화는 개요 섹션의 핵심성과 지표(KPI)로 표시됩니다.
참고
평균 DAU 계산 지표의 공식은 다음과 같습니다: (sum of all full-day active user counts in the period) / (count of full days in the period).
일일 및 월간 활성 사용자 수의 자세한 정보를 확인하려면 개요 패널 오른쪽 상단에 있는 활성 사용자 보기 버튼을 선택하세요.
대화형 세션만 해당됩니다
Copilot Studio의 대화형 에이전트 분석은 에이전트와의 사용자 참여를 추적하고 에이전트가 사용자 작업을 얼마나 효과적으로 처리하는지 평가합니다.
대화형 분석은 다음과 같은 개념과 용어를 사용합니다:
대화는 채널의 특정 사용자 또는 사용자 그룹과 에이전트 간의 지속적인 상호작용입니다 .
대화를 일시 중지하고 나중에 다시 시작하거나 고객 서비스 담당자에게 연결해 드릴 수 있습니다. 대화는 고객이 에이전트에게 또는 에이전트가 고객에게 일방적으로 전달될 수도 있지만, 보통은 고객과 에이전트 간에 주고받는 상호작용입니다.
30분 동안 활동이 없으면 대화가 타임아웃 처리됩니다.
전화 통신 채널에 게시된 에이전트의 경우, 대화 종료 이벤트 후 3분이 지나면 대화가 시간 초과됩니다.
단일 대화에는 하나 이상의 분석 세션이 포함될 수 있습니다.
클래식 모드에서의 분석 세션은 사용자가 트리거한 마지막 사용자 지정 토픽과 연관되어 있습니다. 세션에 커스텀 주제가 포함되어 있지 않으면, 사용자가 직접 트리거하는 마지막 시스템 주제가 됩니다.
이벤트 트리거 세션에만 해당
자율 에이전트란 이벤트 트리거가 있는 에이전트입니다. 이러한 에이전트는 트리거가 있는 에이전트에 대한 분석만 지원합니다.
트리거가 있는 에이전트의 분석 세션은 에이전트가 트리거로부터 페이로드를 수신하는 시점부터 에이전트가 응답으로 실행하는 모든 작업을 추적합니다. 이러한 분석 세션은 에이전트가 무엇에 응답하고 있는지, 에이전트가 얼마나 잘 수행하는지 캡처합니다.
참고
트리거가 실패하고 에이전트가 트리거 페이로드를 받지 못하면 분석 세션이 시작될 수 없습니다. 분석에서는 성공적으로 트리거된 실행 건만 추적합니다.
하이브리드 뷰 - 대화형 및 이벤트 트리거 세션
에이전트의 데이터에 보고 기간 동안 하나 이상의 대화 세션과 하나 이상의 트리거 기반 실행이 포함된 경우, Analytics 페이지에는 대화형 세션과 이벤트 트리거 세션 모두에 대한 관련 지표를 보여주는 hybrid 뷰가 표시됩니다. 이 뷰에서는 개요, 효과성 섹션이 대화형 세션과 이벤트 트리거 세션의 지표를 나란히 보여줍니다. 사용 섹션에서는 대화 또는 실행 중 선택할 수 있으며, 관련 데이터만 표시됩니다. 전체를 선택하면 모든 사용 관련 데이터가 표시됩니다. 만족도 섹션은 대화 세션의 만족도 메트릭을 표시합니다.
대한 자세한 내용:
대화형 세션과 관련된 표시된 지표에 대해서는 대화형 에이전트 성능 분석를 참조하세요.
이벤트 트리거 세션과 관련된 표시되는 지표는 자율 에이전트 건강 분석을 참조하세요.
대화 대화록 다운로드
대화록은 세션이 종료된 후 몇 분 내에 다운로드할 수 있습니다. 최근 29일 이내의 원하는 기간을 다운로드할 수 있습니다. Power Apps 포털을 사용하여 Dataverse에서 다운로드할 수 있고 Copilot Studio 앱에서는 세션 대화록으로 다운로드할 수 있습니다. 분석 대시보드에 관련 데이터가 표시되기까지는 분석 세션이 종료된 후 최대 1시간이 걸릴 수 있습니다.
참고
Teams의 Copilot Studio 앱에서는 Dataverse에서 대화록을 다운로드할 수 없습니다. Dataverse에서 대화록을 검토하고 내보내려면 Copilot Studio 웹 앱에 가입해야 합니다. Copilot Studio 앱을 사용하여 세션 채팅 대화록을 다운로드할 수 있습니다. 자세한 내용은 에이전트 세션 대화록 다운로드를 참조하세요.
토픽 사용량 분석
Copilot Studio에서 토픽은 에이전트 대화가 진행되는 방식을 정의하며, 사용자와 에이전트 간의 대화의 일부를 구성합니다. 토픽 분석 창에서는 개별 토픽이 얼마나 자주 활성화되는지, 해당 토픽을 포함하는 세션이 어떻게 해결되는지, 그리고 사용자가 그 세션에 얼마나 만족하는지 등을 확인할 수 있습니다. 이러한 인사이트를 활용하여 자주 에스컬레이션되거나 포기되는 토픽을 식별하고, 개선을 우선시할 수 있습니다. 토픽에 대해 더 알아보고 생성하는 방법을 확인하려면 토픽 생성 및 편집를 참조하세요.
참고
토픽 분석은 클래식 모드의 에이전트와 분석 세션에 연결된 토픽에서만 사용할 수 있습니다. 에이전트가 생성형 오케스트레이션을 사용한다면, 분석 페이지에서 대화 결과와 토픽을 사용하세요.
토픽 분석 패널을 확인하려면:
Copilot Studio에서 에이전트의 토픽 페이지로 이동하세요.
분석할 토픽을 선택합니다. 토픽을 사용할 수 없는 경우, 토픽 생성 및 편집를 확인하세요.
토픽 페이지의 오른쪽 상단 모서리에서 더 보기 (...) >분석을 선택합니다.
토픽 분석 패널에는 다음 정보가 표시됩니다:
-
토픽 결과: 이 토픽이 트리거된 세션에 대한 세션 결과,
Escalated,Resolved및Abandoned의 차트입니다. 이 차트를 사용하여 토픽 상태를 빠르게 평가하세요.Escalated또는Abandoned결과의 비율이 높으면 해당 토픽의 개선이 필요할 수 있습니다. - 전체 토픽 사용: 시간에 따른 토픽 결과 추세를 차트로 보여줍니다. 이를 사용하여 회귀를 감지할 수 있습니다. 예를 들어, 토픽이 수정된 후 방치된 세션이 급증하거나 최근 변경 사항이 해결률을 개선했는지 확인할 수 있습니다.
- 고객 만족도 점수: 이 토픽과 관련된 세션에서 사용자 설문 응답을 기반으로 산정된 점수입니다.
- 만족도 점수 추이: 만족도 점수가 시간에 따라 어떻게 변하는지 보여주는 차트입니다. 이 추세를 활용해 사용자 만족도가 감소하거나 향상된 시기를 확인하세요.
시간 범위를 변경하려면 토픽 분석 패널 상단의 시간 범위 드롭다운을 선택하세요.