분석 개요

분석을 사용하여 에이전트가 얼마나 잘 수행되고 있는지 이해하고 개선이 필요한 영역을 식별합니다.

Copilot Studio의 Analytics 페이지에는 주요 메트릭 개요부터 에이전트 구성 요소에 대한 심층 사용 현황 분석에 이르기까지 에이전트에 대한 포괄적인 데이터가 표시됩니다. 각 데이터로 드릴다운하여 자세한 내용을 확인할 수 있습니다.

분석 환경은 대화형 에이전트 및 자율 에이전트에 맞게 조정됩니다.

분석은 모든 지역에서 사용할 수 있습니다. 분석 데이터는 최대 180일 동안 사용할 수 있습니다. 세션 세부 정보 및 성적 증명서 정보는 지난 28일 동안 사용할 수 있습니다. 분석에서 시간과 날짜 스탬프는 조정 세계시(UTC)로 표시됩니다. 시간과 날짜 스탬프에는 요일 시작과 종료 시간, 세션 시간, 그리고 에이전트 데이터에 포함된 기타 시간 표시가 포함됩니다.

메모

분석 페이지에는 테스트 패널을 사용하여 Copilot Studio에서 에이전트를 테스트할 때 완료한 활동에 대한 분석이 표시되지 않습니다.

분석에 제한된 보기 전용 액세스 권한 부여

에이전트 소유자이고 에이전트의 분석 페이지에만 액세스 권한을 부여하려는 경우 분석 뷰어 공유 역할을 사용하도록 설정된 에이전트와 공유하면 됩니다. 에이전트를 공유받는 사람이 대화 기록의 정보에 액세스하려면 Bot Transcript Viewer 보안 역할도 있어야 합니다.

에이전트의 분석 공유에 대해 자세히 알아봅니다.

Important

에이전트 소유자는 분석 뷰어 역할을 사용자 그룹이 아닌 개인과만 공유할 수 있습니다.

에이전트의 분석 페이지에 액세스하려면 다음을 수행합니다.

  1. Copilot Studio에서 에이전트를 엽니다.
  2. 위쪽 메뉴 모음에서 분석을 선택합니다.

요약

요약 영역에서는 Copilot를 사용하여 에이전트에 대한 주요 분석 인사이트에 대한 AI 요약을 생성합니다. 자세히 보기를 선택하여 요약된 전체 인사이트 목록을 확인합니다.

Copilot Studio의 분석 페이지에서 요약 카드의 자세히 보기 버튼을 보여 주는 스크린샷입니다.

Copilot Studio의 분석 페이지에서 확장된 요약 카드가 표시된 스크린샷입니다.

이를 통해 일반적인 테마 및 메트릭을 빠르게 이해하고 선택한 보고 기간의 글머리 기호 목록에 요약하여 에이전트의 개선 영역을 식별할 수 있습니다. 여기에는 참여 메트릭, 고객 감정 및 피드백 및 마지막 보고 기간 이후의 추세가 포함될 수 있습니다.

고객 의견 요약(미리 보기)을 사용하면 피드백 및 의견과 같은 에이전트에 대한 높은 수준의 고객 감정을 이해할 수 있습니다. 인사이트는 관련 주석의 양과 전반적인 중요성을 기반으로 우선 순위가 지정됩니다. 낮은 값 또는 관련이 없는 주석이 필터링되고 관련 피드백이 함께 그룹화됩니다.

좋아요 및 싫어요 아이콘을 사용하여 이 섹션에 대한 피드백을 Microsoft에 제공할 수 있습니다. Microsoft에 피드백 제출 패널을 사용하여 주석을 추가하고 관련 파일을 공유합니다. 이와 같은 설명적인 피드백을 제공함으로써 우리는 제품을 지속적으로 개선하기 위해 협력할 수 있습니다.

  1. Microsoft에 피드백 제출 패널에서 패널을 열기 위해 선택한 아이콘에 따라 좋아하는 것 또는 싫어하는 것을 자연어로 설명합니다.
  2. 프롬프트, 생성된 응답, 관련 콘텐츠 샘플 및 추가 로그 파일을 공유할지 여부를 선택합니다.
  3. 제출을 선택합니다.

개요 영역에서 대략적인 성능 요약을 확인한 다음, 해당 성능을 자세히 살펴볼 수도 있습니다.

차트 및 세부 정보 옵션을 보여 주는 Copilot Studio의 분석 페이지 스크린샷

활성 사용자

활성 사용자 메트릭은 대화형 에이전트가 채택되는 정도와 시간에 따른 추세에 대한 인사이트를 제공합니다. 활성 사용자는 보고서 기간 동안 대화형 에이전트와 한 번 이상 상호 작용하는 고유한 사용자입니다. Copilot Studio Analytics는 미리 정의된 두 기간(DAU(일일 활성 사용자) 및 MAU(월간 활성 사용자))에 대한 활성 사용자 수를 표시합니다. 일별 개수는 UTC 표준 시간대의 전체 24시간 하루에 따라 시작되고 끝납니다. 월별 수는 UTC 표준 시간대에 따라 첫 번째 및 마지막 날에 시작 및 종료되는 달력 월을 따릅니다.

Important

활성 사용자 메트릭 기능은 설정>보안>인증에서 인증을 요구하도록 에이전트를 설정한 경우에만 지원됩니다.

평균 DAU가 상자로 표시되고 자세한 활성 사용자 패널이 표시된 분석 탭의 개요 섹션 스크린샷

선택한 기간의 평균 DAU와 이전 기간의 백분율 변경은 개요 섹션에서 KPI(핵심 성과 지표)로 표시됩니다.

메모

평균 DAU 계산 메트릭의 수식은 다음과 (sum of all full-day active user counts in the period) / (count of full days in the period)같습니다.

시간 경과에 따른 일별 및 월간 활성 사용자 수에 대한 자세한 내용을 보려면 개요 패널의 오른쪽 위 모서리에 있는 활성 사용자 보기 단추를 선택합니다.

대화형 세션만

Copilot Studio의 대화형 에이전트에 대한 분석 에이전트와의 사용자 참여를 추적하고 에이전트가 사용자 작업을 얼마나 잘 처리하는지 캡처하려고 합니다.

대화형 분석은 다음과 같은 개념과 용어를 사용합니다.

  • 대화는 채널 내 특정 사용자 또는 사용자 그룹과 에이전트 간의 지속적인 상호작용입니다.

  • 대화를 일시 중지하고 나중에 다시 시작하거나 고객 지원 담당자에게 연결해 드릴 수 있습니다. 대화는 고객과 상담원, 또는 상담원에서 고객으로의 일방향일 수 있지만, 보통은 고객과 상담원 간의 상호작용입니다.

  • 30분 동안 비활성 상태이면 대화가 종료됩니다.

  • 전화 채널에 게시된 상담원의 경우, 대화 종료 이벤트 후 3분 후에 타임아웃됩니다.

  • 단일 대화에는 하나 이상의 분석 세션이 포함될 수 있습니다.

  • 클래식 모드의 분석 세션은 사용자가 트리거한 마지막 사용자 지정 주제와 연결됩니다. 세션에 커스텀 주제가 포함되어 있지 않으면, 사용자가 직접 트리거하는 마지막 시스템 주제가 됩니다.

이벤트 트리거 세션만

자율 에이전트는 이벤트 트리거가 있는 에이전트입니다. 이러한 에이전트는 트리거가 있는 에이전트에 대한 분석만 지원합니다.

트리거가 있는 에이전트의 분석 세션은 에이전트가 트리거로부터 페이로드를 수신하는 시점부터 에이전트가 응답으로 실행하는 모든 작업을 추적합니다. 이러한 분석 세션은 에이전트가 무엇에 응답하고 있는지, 에이전트가 얼마나 잘 수행하는지 캡처합니다.

메모

트리거가 실패하고 에이전트가 트리거 페이로드를 수신하지 않으면 분석 세션을 시작할 수 없습니다. 분석에서 성공적으로 트리거된 실행만 추적합니다.

하이브리드 뷰 - 대화형 및 이벤트 트리거 세션 모두

상담원의 데이터에 보고서 기간 내에 최소 한 번의 대화 세션과 최소 한 번의 트리거 기반 실행이 포함되어 있다면, 분석 페이지는 대화 세션과 자율 세션 모두에 대한 관련 지표를 하이브리드 뷰로 보여줍니다. 이 뷰에서는 개요 와 효과 성 섹션이 대화형 세션과 이벤트 트리거 세션 모두의 지표를 나란히 보여줍니다. 사용 섹션에서는 관련 데이터만 표시하는 대화 또는 실행 중에서 선택할 수 있습니다. 모두 선택 시 모든 사용 관련 데이터가 표시됩니다. 만족도 섹션에는 대화형 세션에 대한 만족도 메트릭이 표시됩니다.

에 대한 자세한 정보를 원하시면:

대화록 다운로드

대화 타임아웃 후 몇 분 후에 대화 대본을 다운로드할 수 있습니다. 최근 29일 이내의 어떤 시기든 다운로드할 수 있습니다. Power Apps 포털을 사용하여 데이타버스에서 다운로드할 수 있으며, Copilot Studio 앱을 사용하여 세션 채팅 대본으로 다운로드할 수 있습니다. 분석 대시보드에 관련 데이터가 표시되기까지는 분석 세션이 종료된 후 최대 1시간이 걸릴 수 있습니다.

메모

Teams의 Copilot Studio 앱에서 Dataverse에서 대화 대본을 다운로드할 수 없습니다. Dataverse에서 대본을 검토하고 내보내려면 Copilot Studio 웹앱 등록해야 합니다. Copilot Studio 앱을 사용하여 세션 채팅 대본을 다운로드할 수 있습니다. 자세한 내용은 에이전트 세션 대화록 다운로드를 참조하세요.

토픽 사용 현황 분석

Copilot Studio 항목은 에이전트 대화가 진행되는 방식을 정의하고 사용자와 에이전트 간의 대화 부분을 나타냅니다. 토픽 분석 창에는 개별 토픽의 성과가 표시되며, 여기에는 해당 토픽이 얼마나 자주 트리거되는지, 해당 토픽이 포함된 세션이 어떻게 해결되는지, 그리고 사용자가 해당 세션에 얼마나 만족하는지가 포함됩니다. 이러한 인사이트를 사용하여 자주 에스컬레이션되거나 중단되는 토픽을 식별한 다음 개선에 우선 순위를 지정할 수 있습니다. 토픽 및 토픽을 만드는 방법에 대한 자세한 내용은 항목 만들기 및 편집을 참조하세요.

메모

토픽 분석은 클래식 모드 의 에이전트 및 분석 세션과 연결된 토픽에만 사용할 수 있습니다. 에이전트가 생성 오케스트레이션을 사용하는 경우 대신 분석 페이지에서 대화 결과 및 테마를 사용합니다.

토픽 분석 패널을 보려면 다음을 수행합니다.

  1. Copilot Studio에서 에이전트의 토픽 페이지로 이동합니다.

  2. 분석하려는 항목을 선택합니다. 사용할 수 있는 항목이 없으면 항목 만들기 및 편집을 참조하세요.

  3. 항목 페이지의 오른쪽 위 모서리에서 자세히(...) > 를 선택합니다.분석.

분석 옵션이 강조 표시된 항목의 자세히 메뉴를 보여 주는 스크린샷

토픽 분석 패널에는 다음이 표시됩니다.

  • 토픽 결과: 이 항목이 트리거된 세션에 대한 세션 결과EscalatedResolved, 및 Abandoned세션의 차트입니다. 이 차트를 사용하여 항목 상태를 빠르게 평가합니다. 높은 비율 Escalated 또는 Abandoned 결과가 토픽에 개선이 필요하다는 것을 의미할 수 있습니다.
  • 총 항목 사용: 시간에 따른 토픽 결과 추세의 차트입니다. 예를 들어 토픽을 편집한 후 중단된 세션이 급증하여 회귀를 감지하거나 최근 변경 내용으로 해결 속도가 향상되었는지 확인할 수 있습니다.
  • 고객 만족도 점수: 이 항목과 연결된 세션의 사용자 설문 조사 응답을 기반으로 하는 점수입니다.
  • 만족도 점수 추세: 시간에 따라 만족도 점수 가 어떻게 변하는지 보여 주는 차트입니다. 이 추세를 사용하여 사용자 감정이 감소하거나 개선된 기간을 식별합니다.

시간 범위를 변경하려면 토픽 분석 패널의 맨 위에 있는 시간 범위 드롭다운을 선택합니다.

  • Last updated on