Omówienie analiz

Korzystaj z analiz, aby zrozumieć, jak dobrze działa Twój agent i zidentyfikować obszary wymagające poprawy.

Strona Analytics w programie Copilot Studio zawiera kompleksowe dane agenta— od przeglądu kluczowych metryk po szczegółową analizę użycia składników agenta. Możesz przejść do szczegółów każdego fragmentu danych.

Środowisko analityczne jest dostosowane do agentów konwersacyjnych i dla agentów autonomicznych.

Analiza jest dostępna we wszystkich lokalizacjach geograficznych. Dane analityczne są dostępne przez maksymalnie 180 dni. Szczegóły sesji i informacje o transkrypcji są dostępne przez ostatnie 28 dni. Znaczniki czasu i daty w analityce są w skoordynowanym czasie uniwersalnym (UTC). Znaczniki czasu i daty obejmują godziny rozpoczęcia i zakończenia dnia, godziny sesji oraz inne znaczniki czasu w danych Twojego agenta.

Note

Strona Analiza nie pokazuje analiz dotyczących działań zakończonych podczas testowania agenta w programie Copilot Studio przy użyciu panelu testowego.

Udzielanie ograniczonego dostępu tylko do widoku do analizy

Jeśli jesteś właścicielem agenta i chcesz udzielić dostępu tylko do strony Analiza agenta, możesz to zrobić, udostępniając agenta z włączoną rolą udostępniania podglądu analiz . Jeśli chcesz, aby osoba, której udostępniasz agenta, miała dostęp do informacji z transkrypcji rozmowy, musi również mieć rolę zabezpieczeń Podgląd transkrypcji botów.

Dowiedz się więcej na temat udostępniania analiz agenta.

Important

Jako właściciel agenta możesz udostępniać rolę osoby przeglądającego analizy tylko osobom, a nie grupom użytkowników.

Aby uzyskać dostęp do strony Analityka dla swojego agenta:

1. Otwórz agenta w programie Copilot Studio.
2. Wybierz pozycję Analiza na górnym pasku menu.

Podsumowanie

Obszar Summary wykorzystuje Copilot do generowania sztuczną inteligencją podsumowania kluczowych kwestii analitycznych dotyczących agenta. Wybierz pozycję Wyświetl więcej , aby wyświetlić pełną podsumowaną listę szczegółowych informacji.

Pomaga to szybko zrozumieć typowe motywy i metryki oraz zidentyfikować obszary poprawy dla agenta, podsumowując je na liście punktowanej dla wybranego okresu raportowania. Może to obejmować metryki zaangażowania, tonację klientów i opinie oraz trendy od ostatniego okresu raportowania.

Podsumowanie komentarzy klientów (wersja zapoznawcza) pomaga zrozumieć ogólne nastroje klientów dotyczące agenta, takie jak opinie i komentarze. Wnioski są priorytetowo traktowane na podstawie liczby powiązanych komentarzy i ich ogólnego znaczenia. Komentarze o niskiej wartości lub bez znaczenia są odfiltrowane, a powiązane opinie są grupowane razem.

Można przekazać firmie Microsoft opinię na temat tej sekcji za pomocą ikon Kciuk w górę i Kciuk w dół. Użyj panelu Prześlij opinię firmie Microsoft, aby dodać komentarz i udostępnić powiązane pliki. Przekazując w ten sposób opisową opinię, współpracujesz z nami przy ciągłym ulepszaniu naszego produktu.

1. W panelu Prześlij opinię do Microsoft opisz w naturalnym języku, co lubisz a czego nie lubisz, w zależności od ikony wybranej w celu otwarcia panelu.
2. Wybierz, czy chcesz udostępnić monit, wygenerowaną odpowiedź, odpowiednie próbki zawartości i dodatkowe pliki dziennika.
3. Wybierz Prześlij.

Możesz również sprawdzić podsumowanie wydajności wysokiego poziomu w obszarze Przegląd , a następnie dokładniej poznać jego wydajność.

Aktywni użytkownicy

Metryki aktywnych użytkowników zapewniają wgląd w stopień, w jakim agent konwersacyjny jest wdrażany i jak te trendy zmieniają się w czasie. Aktywny użytkownik to unikatowy użytkownik, który wchodził w interakcję z agentem konwersacji co najmniej raz w okresie raportu. Narzędzie Copilot Studio Analytics wyświetla liczbę aktywnych użytkowników dla dwóch wstępnie zdefiniowanych okresów: dziennych aktywnych użytkowników (DAU) i miesięcznych aktywnych użytkowników (MAU). Liczba dni rozpoczyna się i kończy się zgodnie z pełnym 24-godzinnym dniem w strefie czasowej UTC. Miesięczne zliczanie odbywa się zgodnie z miesiącem kalendarzowym, rozpoczynając się i kończąc pierwszego i ostatniego dnia zgodnie ze strefą czasową UTC.

Important

Funkcja metryki aktywnych użytkowników działa tylko, jeśli ustawi się agenta, aby konieczne było uwierzytelnianie w obszarze Ustawienia>Zabezpieczeń>Uwierzytelnianie.

Średnia wartość DAU dla wybranego okresu oraz jej procentowa zmiana z poprzedniego okresu jest wyświetlana jako kluczowy wskaźnik wydajności (KPI) w sekcji Przegląd .

Note

Formuła średniej metryki obliczeniowej daU to: (sum of all full-day active user counts in the period) / (count of full days in the period).

Aby wyświetlić więcej szczegółów na temat liczby dziennych i miesięcznych aktywnych użytkowników w miarę upływu czasu, wybierz przycisk Zobacz aktywnych użytkowników w prawym górnym rogu panelu przeglądu.

Tylko sesje konwersacyjne

Analytics dla agentów konwersacyjnych w programie Copilot Studio śledź zaangażowanie użytkowników z agentem i spróbuj uchwycić, jak dobrze agent obsługuje zadania użytkownika.

Analiza konwersacyjna używa następujących pojęć i terminów:

• Rozmowy to ciągła interakcja między konkretnym użytkownikiem lub grupą użytkowników na kanale a Twoim agentem.

• Konwersacje można wstrzymywać i wznawiać później lub przekazywać do przedstawiciela działu obsługi klienta. Rozmowa może być jednostronna, zarówno od klienta do agenta, albo od agenta do klienta, ale częściej jest to wymiana zdań między klientem a agentem.

• Czas konwersacji upływa po 30 minutach braku aktywności.

• Dla agentów publikowanych na kanale Telephony rozmowy wygasają 3 minuty po zakończeniu wydarzenia .

• Jedna konwersacja może zawierać jedną lub więcej sesji analitycznych.

• Sesja analizy w trybie klasycznym jest skojarzona z ostatnim tematem niestandardowym wyzwolonym przez użytkownika. Jeśli sesja nie zawiera tematów niestandardowych, to jest to ostatni temat systemowy wywołany bezpośrednio przez użytkownika.

Tylko sesje wyzwalacza zdarzeń

Agent autonomiczny to agent z wyzwalaczem zdarzenia. Ci agenci obsługują tylko analizę agentów z wyzwalaczami.

Sesja analityczna dla agentów z wyzwalaczami śledzi moment, w którym agent odbiera ładunek z wyzwalacza, przez dowolne akcje uruchamiane przez agenta w odpowiedzi. Te sesje analityczne rejestrują, na co reaguje Twój agent i jak dobrze działa.

Note

Jeśli wyzwalacz zakończy się niepowodzeniem, a agent nie otrzyma ładunku wyzwalacza, sesja analizy nie będzie mogła się rozpocząć. Analiza śledzi tylko pomyślnie wyzwolone przebiegi.

Widok hybrydowy — zarówno sesje konwersacyjne, jak i wyzwalane zdarzeniami

Gdy dane Twojego agenta obejmują sesje przynajmniej jednej rozmowy oraz co najmniej jednego uruchomienia opartego na wyzwalaczu w okresie raportu, strona Analitykawyświetla hybrydowy widok istotnych metryk zarówno dla sesji konwersacyjnych, jak i autonomicznych. W tym ujęciu sekcje Przegląd i Efektywność pokazują metryki obok siebie zarówno dla sesji konwersacyjnych, jak i wywołanych wydarzeniami. Sekcja Użytkowania pozwala wybrać między Konwersacjami a Uruchomieniami, wyświetlając tylko odpowiednie dane. Wybranie pozycji Wszystkie spowoduje wyświetlenie wszystkich danych związanych z użyciem. W sekcji Satysfakcja są wyświetlane metryki satysfakcji dla sesji konwersacyjnych.

Aby uzyskać więcej informacji o:

• Wyświetlane metryki istotne dla sesji konwersacji, zobacz Analizowanie skuteczności agenta konwersacji.

• Wyświetlane metryki istotne dla sesji inicjowanych zdarzeniami, zobacz Analiza zdrowia agenta autonomicznego.

Pobieranie transkrypcji konwersacyjne

Transkrypcje rozmów możesz pobrać kilka minut po zakończeniu rozmowy. Możesz pobrać dowolny okres w ciągu ostatnich 29 dni. Można je pobrać w Dataverse za pomocą portalu Power Apps oraz jako transkrypty czatów sesji za pomocą aplikacji Copilot Studio. Po zakończeniu sesji analitycznej może upłynąć nie więcej niż godzina, zanim powiązane dane będą wyświetlane na pulpicie nawigacyjnym analizy.

Note

Nie można pobrać transkrypcji konwersacji w usłudze Dataverse w aplikacji Copilot Studio w aplikacji Teams. Aby przejrzeć i wyeksportować transkrypcje w usłudze Dataverse, musisz zarejestrować się w aplikacji internetowej Copilot Studio. Transkrypcje czatu sesji można pobrać przy użyciu aplikacji Copilot Studio. Więcej informacji można znaleźć w temacie Pobieranie transkrypcji sesji agenta.

Analiza użycia tematu

W Copilot Studio temat definiuje sposób postępu konwersacji agenta i reprezentuje część konwersacji między użytkownikiem a agentem. W okienku analizy tematu pokazano, jak działa pojedynczy temat, w tym częstotliwość jego wyzwalania, sposób rozwiązywania sesji wraz z nim oraz sposób, w jaki użytkownicy są zadowoleni z tych sesji. Możesz użyć tych szczegółowych informacji, aby zidentyfikować tematy, które często eskalują lub są porzucone, a następnie ustalać priorytety w celu ulepszenia. Aby dowiedzieć się więcej na temat tematów i sposobu ich tworzenia, zobacz Tworzenie i edytowanie tematów.

Note

Analiza tematów jest dostępna tylko dla agentów w trybie klasycznym i tematów skojarzonych z sesją analizy. Jeśli agent używa orkiestracji generatywnej, zamiast tego użyj wyników rozmów i tematów na stronie Analityka.

Aby wyświetlić panel analizy tematu:

1. Przejdź do strony Tematy agenta w Copilot Studio.

2. Wybierz temat, który chcesz przeanalizować. Jeśli tematy nie są dostępne, zobacz Tworzenie i edytowanie tematów.

3. W prawym górnym rogu strony Tematy wybierz pozycję Więcej (...) >Analiza.

Panel analizy tematu przedstawia następujące elementy:

• Wyniki tematu: wykres wyników sesji, , Escalatedi Resolved, dla sesji, Abandonedw których ten temat został wyzwolony. Użyj tego wykresu, aby szybko ocenić kondycję tematu. Wysoki odsetek Escalated wyników lub Abandoned może oznaczać, że temat wymaga poprawy.
• Łączne użycie tematu: wykres trendu wyników tematu w czasie. Służy do wykrywania regresji, na przykład skok liczby porzuconych sesji po edycji tematu lub potwierdzenia, że ostatnie zmiany poprawiły współczynniki rozwiązywania.
• Wynik zadowolenia klientów: wynik oparty na odpowiedziach ankiet użytkowników z sesji skojarzonych z tym tematem.
• Trend oceny zadowolenia: wykres pokazujący, jak zmienia się wskaźnik zadowolenia w czasie. Użyj tego trendu, aby zidentyfikować okresy, w których nastroje użytkowników pogorszyły się lub poprawiły.

Aby zmienić zakres czasu, wybierz listę rozwijaną zakresu czasu u góry panelu analizy tematów.

Informacje pokrewne

• Mierzenie zwrotu z inwestycji (ROI) i wartości biznesowej agentów sztucznej inteligencji