모니터 개요

메모

이 글에서는 표준 하네스로 구동되는 에이전트 또는 에이전트 플로우에서 사용되는 기능에 대해 설명합니다.

분석을 사용하여 에이전트가 얼마나 잘 수행되고 있는지 이해하고 개선이 필요한 영역을 식별합니다.

Copilot Studio의 모니터 페이지는 주요 지표 개요부터 에이전트 구성 요소에 대한 심층 사용량 분석까지 에이전트에 대한 포괄적인 데이터를 보여줍니다. 각 데이터로 드릴다운하여 자세한 내용을 확인할 수 있습니다.

모니터 경험은 대화형 에이전트 와 자율 에이전트를 위해 맞춤 설계되었습니다.

모니터링은 모든 지역에서 가능합니다. 모니터 데이터는 최대 360일 동안 이용 가능합니다. 세션 세부 정보 및 성적 증명서 정보는 지난 28일 동안 사용할 수 있습니다. 분석에서 시간과 날짜 스탬프는 조정 세계시(UTC)로 표시됩니다. 시간과 날짜 스탬프에는 요일 시작과 종료 시간, 세션 시간, 그리고 에이전트 데이터에 포함된 기타 시간 표시가 포함됩니다.

메모

모니터 페이지에는 테스트 패널을 사용해 Copilot Studio에서 에이전트를 테스트할 때 완료한 활동에 대한 분석이 표시되지 않습니다.

분석에 제한된 보기 전용 액세스 권한 부여

에이전트 소유자이고 에이전트의 모니터 페이지에만 접근 권한을 부여하고 싶다면, Analytics Viewer 공유 역할을 활성화한 상태에서 에이전트를 공유하면 됩니다. 에이전트를 공유하려는 사람이 대화록의 정보를 액세스할 수 있도록 하려면 봇 대화록 뷰어 보안 역할도 있어야 합니다.

에이전트의 분석 공유에 대해 자세히 알아봅니다.

Important

에이전트 소유자는 분석 뷰어 역할을 사용자 그룹이 아닌 개인과만 공유할 수 있습니다.

에이전트의 모니터 페이지에 접근하려면:

  1. Copilot Studio에서 에이전트를 엽니다.
  2. 상단 메뉴 바에서 모니터 를 선택하세요.

요약

요약 영역에서는 Copilot를 사용하여 에이전트에 대한 주요 분석 인사이트에 대한 AI 요약을 생성합니다. 자세히 보기를 선택하여 요약된 전체 인사이트 목록을 확인합니다.

Copilot Studio의 모니터 페이지 스크린샷으로, 요약 카드의 보기 버튼이 보입니다.

Copilot Studio의 모니터 페이지 스크린샷으로, 확장된 요약 카드가 보입니다.

이를 통해 일반적인 테마 및 메트릭을 빠르게 이해하고 선택한 보고 기간의 글머리 기호 목록에 요약하여 에이전트의 개선 영역을 식별할 수 있습니다. 여기에는 참여 메트릭, 고객 감정 및 피드백 및 마지막 보고 기간 이후의 추세가 포함될 수 있습니다.

고객 의견 요약(미리 보기)을 사용하면 피드백 및 의견과 같은 에이전트에 대한 높은 수준의 고객 감정을 이해할 수 있습니다. 인사이트는 관련 주석의 양과 전반적인 중요성을 기반으로 우선 순위가 지정됩니다. 낮은 값 또는 관련이 없는 주석이 필터링되고 관련 피드백이 함께 그룹화됩니다.

좋아요 및 싫어요 아이콘을 사용하여 이 섹션에 대한 피드백을 Microsoft에 제공할 수 있습니다. Microsoft에 피드백 제출 패널을 사용하여 주석을 추가하고 관련 파일을 공유합니다. 이와 같은 설명적인 피드백을 제공함으로써 우리는 제품을 지속적으로 개선하기 위해 협력할 수 있습니다.

  1. Microsoft에 피드백 제출 패널에서 패널을 열기 위해 선택한 아이콘에 따라 좋아하는 것 또는 싫어하는 것을 자연어로 설명합니다.
  2. 프롬프트, 생성된 응답, 관련 콘텐츠 샘플 및 추가 로그 파일을 공유할지 여부를 선택합니다.
  3. 제출을 선택합니다.

개요 영역에서 대략적인 성능 요약을 확인한 다음, 해당 성능을 자세히 살펴볼 수도 있습니다.

Copilot Studio의 모니터 페이지 스크린샷으로, 차트와 세부 정보 옵션이 보여요.

활성 사용자

활성 사용자 메트릭은 대화형 에이전트가 채택되는 정도와 시간에 따른 추세에 대한 인사이트를 제공합니다. 활성 사용자는 보고서 기간 동안 대화형 에이전트와 한 번 이상 상호 작용하는 고유한 사용자입니다. 모니터 탭은 두 가지 미리 정의된 기간, 즉 일일 활성 사용자(DAU)와 월간 활성 사용자 수(MAU)를 표시합니다. 일별 개수는 UTC 표준 시간대의 전체 24시간 하루에 따라 시작되고 끝납니다. 월별 수는 UTC 표준 시간대에 따라 첫 번째 및 마지막 날에 시작 및 종료되는 달력 월을 따릅니다.

Important

활성 사용자 메트릭 기능은 설정>보안>인증에서 인증을 요구하도록 에이전트를 설정한 경우에만 지원됩니다.

모니터 탭의 Overview 섹션 스크린샷으로, 평균 DAU가 박스로 표시되어 있고 상세한 활성 사용자 패널 선택이 표시되어 있습니다.

선택한 기간의 평균 DAU와 이전 기간의 백분율 변경은 개요 섹션에서 KPI(핵심 성과 지표)로 표시됩니다.

메모

평균 DAU 계산 메트릭의 수식은 다음과 (sum of all full-day active user counts in the period) / (count of full days in the period)같습니다.

시간 경과에 따른 일별 및 월간 활성 사용자 수에 대한 자세한 내용을 보려면 개요 패널의 오른쪽 위 모서리에 있는 활성 사용자 보기 단추를 선택합니다.

대화형 세션만

Copilot Studio의 대화형 에이전트에 대한 분석 에이전트와의 사용자 참여를 추적하고 에이전트가 사용자 작업을 얼마나 잘 처리하는지 캡처하려고 합니다.

대화형 분석은 다음과 같은 개념과 용어를 사용합니다.

  • 대화는 채널 내 특정 사용자 또는 사용자 그룹과 에이전트 간의 지속적인 상호작용입니다.

  • 대화를 일시 중지하고 나중에 다시 시작하거나 고객 지원 담당자에게 연결해 드릴 수 있습니다. 대화는 고객과 상담원, 또는 상담원에서 고객으로의 일방향일 수 있지만, 보통은 고객과 상담원 간의 상호작용입니다.

  • 30분 동안 비활성 상태이면 대화가 종료됩니다.

  • 전화 채널에 게시된 상담원의 경우, 대화 종료 이벤트 후 3분 후에 타임아웃됩니다.

  • 단일 대화에는 하나 이상의 분석 세션이 포함될 수 있습니다.

  • 클래식 모드의 분석 세션은 사용자가 트리거한 마지막 사용자 지정 주제와 연결됩니다. 세션에 커스텀 주제가 포함되어 있지 않으면, 사용자가 직접 트리거하는 마지막 시스템 주제가 됩니다.

이벤트 트리거 세션만

자율 에이전트는 이벤트 트리거가 있는 에이전트입니다. 이러한 에이전트는 트리거가 있는 에이전트에 대한 분석만 지원합니다.

트리거가 있는 에이전트의 분석 세션은 에이전트가 트리거로부터 페이로드를 수신하는 시점부터 에이전트가 응답으로 실행하는 모든 작업을 추적합니다. 이러한 분석 세션은 에이전트가 무엇에 응답하고 있는지, 에이전트가 얼마나 잘 수행하는지 캡처합니다.

메모

트리거가 실패하고 에이전트가 트리거 페이로드를 수신하지 않으면 분석 세션을 시작할 수 없습니다. 분석에서 성공적으로 트리거된 실행만 추적합니다.

하이브리드 뷰 - 대화형 및 이벤트 트리거 세션 모두

상담원의 데이터에 보고서 기간 내에 최소 한 번의 대화와 최소 한 번의 트리거 기반 실행에 대한 세션이 포함되어 있을 경우, 모니터 페이지는 대화 세션과 자율 세션 모두에 대한 관련 지표를 혼합 뷰로 보여줍니다. 이 뷰에서는 개요 와 효과 성 섹션이 대화형 세션과 이벤트 트리거 세션 모두의 지표를 나란히 보여줍니다. 사용 섹션에서는 관련 데이터만 표시하는 대화 또는 실행 중에서 선택할 수 있습니다. 모두 선택 시 모든 사용 관련 데이터가 표시됩니다. 만족도 섹션에는 대화형 세션에 대한 만족도 메트릭이 표시됩니다.

에 대한 자세한 정보를 원하시면:

대화록 다운로드

대화 타임아웃 후 몇 분 후에 대화 대본을 다운로드할 수 있습니다. 최근 29일 이내의 어떤 시기든 다운로드할 수 있습니다. Power Apps 포털을 사용하여 데이타버스에서 다운로드할 수 있으며, Copilot Studio 앱을 사용하여 세션 채팅 대본으로 다운로드할 수 있습니다. 분석 대시보드에 관련 데이터가 표시되기까지는 분석 세션이 종료된 후 최대 1시간이 걸릴 수 있습니다.

메모

Teams의 Copilot Studio 앱에서 Dataverse에서 대화 대본을 다운로드할 수 없습니다. Dataverse에서 대본을 검토하고 내보내려면 Copilot Studio 웹앱 등록해야 합니다. Copilot Studio 앱을 사용하여 세션 채팅 대본을 다운로드할 수 있습니다. 자세한 내용은 에이전트 세션 대화록 다운로드를 참조하세요.

토픽 사용 현황 분석

Copilot Studio 항목은 에이전트 대화가 진행되는 방식을 정의하고 사용자와 에이전트 간의 대화 부분을 나타냅니다. 주제 모니터링 창은 개별 주제가 얼마나 자주 트리거되는지, 해당 주제가 포함된 세션에서 어떻게 해결되는지, 그리고 사용자가 세션에 얼마나 만족하는지 등을 보여줍니다. 이러한 인사이트를 사용하여 자주 에스컬레이션되거나 중단되는 토픽을 식별한 다음 개선에 우선 순위를 지정할 수 있습니다. 토픽 및 토픽을 만드는 방법에 대한 자세한 내용은 항목 만들기 및 편집을 참조하세요.

메모

Topic Monitor는 클래식 모드 의 에이전트와 세션과 관련된 주제에만 제공됩니다. 에이전트가 생성형 오케스트레이션을 사용하는 경우에는 Monitor 페이지에서 대화 결과와 테마를 대신 사용하세요.

주제를 보시려면 모니터 패널을 참조하세요:

  1. Copilot Studio에서 에이전트의 토픽 페이지로 이동합니다.

  2. 분석하려는 항목을 선택합니다. 사용할 수 있는 항목이 없으면 항목 만들기 및 편집을 참조하세요.

  3. 주제 페이지 오른쪽 상단에서 '더 보기'를 선택하세요 (...) >모니터.

분석 옵션이 강조 표시된 항목의 자세히 메뉴를 보여 주는 스크린샷

모니터 패널의 주제는 다음과 같습니다:

  • 토픽 결과: 이 항목이 트리거된 세션에 대한 세션 결과EscalatedResolved, 및 Abandoned세션의 차트입니다. 이 차트를 사용하여 항목 상태를 빠르게 평가합니다. 높은 비율 Escalated 또는 Abandoned 결과가 토픽에 개선이 필요하다는 것을 의미할 수 있습니다.
  • 총 항목 사용: 시간에 따른 토픽 결과 추세의 차트입니다. 예를 들어 토픽을 편집한 후 중단된 세션이 급증하여 회귀를 감지하거나 최근 변경 내용으로 해결 속도가 향상되었는지 확인할 수 있습니다.
  • 고객 만족도 점수: 이 항목과 연결된 세션의 사용자 설문 조사 응답을 기반으로 하는 점수입니다.
  • 만족도 점수 추세: 시간에 따라 만족도 점수 가 어떻게 변하는지 보여 주는 차트입니다. 이 추세를 사용하여 사용자 감정이 감소하거나 개선된 기간을 식별합니다.

시간 범위를 변경하려면 주제 모니터 패널 상단의 시간 범위 드롭다운을 선택하세요.

  • Last updated on