Analizuj agentów konwersacyjnych

Strona Analytics w programie Copilot Studio zapewnia zagregowany wgląd w ogólną skuteczność agenta w ramach sesji analitycznych. Strona jest podzielona na podstawowe obszary, które koncentrują się na różnych kontekstach wydajności. Na stronie jest również wyświetlany obszar Przegląd, który zawiera ogólne, kluczowe wskaźniki wydajności (KPI) dla agenta, obszar Oszczędności, który analizuje oszczędności czasowe i kosztowe uzyskane dzięki agentowi lub jego narzędziom, oraz obszar Podsumowanie, który dostarcza kluczowych szczegółowych informacji o wydajności działania agenta.

Istnieją cztery podstawowe sekcje, na których należy skupić się podczas przeglądania i poprawiania skuteczności agenta konwersacyjnego.

• Sekcja Podsumowanie, Przegląd i Oszczędności zawiera kluczowe szczegółowe informacje analityczne dotyczące agentów wraz ze statystykami dotyczącymi rozliczeń i oszczędności kosztów; Zobacz Podsumowanie, Omówienie i Oszczędności , aby dowiedzieć się więcej o poszczególnych podsekcjach.
• Sekcja Metryki niestandardowe umożliwia definiowanie metryk specyficznych dla firmy dla przypadków użycia agentów.
• Sekcja Efektywność pomaga ocenić jakość środowisk użytkownika, pokazując, gdzie konwersacje kończą się powodzeniem, gdzie się rozpadają i jak użytkownicy czują się w wyniku.
• Sekcja Użycie pomaga poprawić wydajność operacyjną, pokazując, jak dobrze agent odpowiada na pytania, jak niezawodne narzędzia i źródła wiedzy obsługują te odpowiedzi oraz gdzie ukierunkowane aktualizacje mogą zwiększyć pokrycie i spójność.

Możesz wyświetlić analizę zdarzeń, które wystąpiły w ciągu ostatnich 90 dni.

Metryki niestandardowe

Sekcja Metryki niestandardowe umożliwia zdefiniowanie maksymalnie trzech metryk specyficznych dla firmy w języku naturalnym i śledzenie częstotliwości wyświetlania poszczególnych wyników w sesjach próbkowanych. Użyj tych metryk, aby uzupełnić standardowe szczegółowe informacje analityczne wskaźnikami, które odzwierciedlają cele i wykorzystanie biznesowe agenta. Aby dowiedzieć się, jak tworzyć, testować i uściślić metryki niestandardowe, zobacz Analizowanie agenta za pomocą metryk niestandardowych.

Skuteczność

Sekcja Skuteczność przedstawia opinie użytkowników zebrane z reakcji, odpowiedzi agenta, wyników ankiety i analizy sentymentu dla sesji. Skuteczność jest podzielona na wiele podsekcji:

• Rezultaty rozmowy: znajomość końcowego rezultatu rozmowy pomaga zacząć określać, w czym agent radzi sobie dobrze i gdzie wymaga poprawy.
• Reakcje: Reakcje użytkowników, w tym oceny pozytywne/negatywne oraz komentarze użytkowników dotyczące określonych odpowiedzi agenta.
• Zadowolenie klientów: wyświetlanie oceny zadowolenia klientów (CSAT).
• Sentyment (wersja zapoznawcza): analiza sentymentu oparta na sztucznej inteligencji, obejmująca całą sesję.
• Agenty: Zobacz metryki dotyczące liczby połączeń, wskaźniki skuteczności i bieżący stan agentów podrzędnych i połączonych.

Dane opinii są przechowywane w tabeli transkrypcji konwersacji w usłudze Dataverse. Aby uzyskać listę kanałów obsługujących tę funkcję, zobacz Szczegóły funkcji.

Wyniki konwersacji

W sekcji Wyniki konwersacji jest wyświetlany wykres, który śledzi typ wyniku dla każdej sesji pomiędzy agentem a użytkownikami.

Wykres, niezależnie od tego, czy jest wyświetlany jako skumulowany histogram, czy skumulowany wykres warstwowy, wizualizuje względne woluminy wyników, kodowane kolorami i ułożone według typów. Każdy z elementów Rozwiązane, Eskalowane, Porzucone i Niezaangażowane są reprezentowane przez odpowiednie kolory dla każdego punktu danych. Oś y wskazuje liczbę sesji.

Aby wyświetlić metryki dotyczące indywidualnych wyników dla określonego punktu danych (konkretnego dnia), umieść wskaźnik myszy na obszarze reprezentującym kolor interesującego cię wyniku (na przykład zielononiebieski oznaczający Porzucone) w interesującym cię dniu.

Aby pobrać dane wyników konwersacji (dane wizualizowane na wykresie), wybierz ikonę menu i wybierz pozycję Pobierz plik CSV.

Note

Jeśli po pobraniu wykresu zostaną usunięte jakiekolwiek wyniki, ich dane nie będą występować w pliku CSV.

Aby otworzyć panel boczny ze szczegółowymi informacjami na temat wyników konwersacji, wybierz pozycję Zobacz szczegóły na wykresie. Panel boczny Wyniki konwersacji obejmuje:

• Podział wykresu kołowego wyników sesji z względną wagą (wyrażoną jako procent) wyników Rozwiązane, Eskalowane i Porzucone.
• Skumulowany wykres słupkowy przedstawiający względne ważenie (wyrażone jako procent) przyczyn wyników Rozwiązane i potwierdzone oraz Rozwiązane w sposób domniemany, które opisują wszystkie wyniki rozwiązanych sesji.
• Skumulowany wykres słupkowy przedstawiający względną wagę (wyrażoną jako procent) przyczyny wyniku Zamierzone przez system, Niezamierzone przez system i Na żądanie użytkownika opisujący wszystkie wyniki eskalowanych sesji.
• Najważniejsze tematy, które doprowadziły do każdego wyniku.

Note

Aby wyświetlić podpowiedź z informacjami o liczbach w stanie surowym, umieść kursor na dowolnym z segmentów wykresu kołowego lub wykresu słupkowego skumulowanego.

Sesja należy do jednego z następujących dwóch stanów:

• Nieaktywna: Sesja rozpoczyna się, gdy użytkownik wchodzi w interakcję z agentem lub gdy agent wysyła proaktywny komunikat do użytkownika. Sesja rozpoczyna się w stanie nieaktywnym.

• Zaangażowany: użytkownik aktywnie angażuje się w interakcję z agentem. Istnieje różnica w zachowaniu na podstawie trybu orkiestracji agenta.

  • Klasyczna orkiestracja: sesja jest aktywowana, gdy zostanie uruchomione jedno z następujących zagadnień:

    • Temat niestandardowy wyzwalany bezpośrednio przez użytkownika
    • Eskalacja tematu
    • Temat rezerwowy
    • Temat zwiększający konwersację

  • Orkiestracja generatywnej sztucznej inteligencji: sesja zostaje aktywowana, gdy użytkownik bezpośrednio wyzwala plan i zawiera jeden z następujących elementów:

    • Temat niesystemowy
    • Eskalacja tematu
    • Temat rezerwowy
    • Źródło wiedzy
    • Narzędzie

Sesja zaangażowana ma jeden z następujących rezultatów:

Kategoria wyniku	Wynik	Description
Rozwiązano		Sesja kończy się pomyślnie. Istnieją dwa typy rozwiązanych sesji: rozwiązane potwierdzone i rozwiązane dorozumiane.
	Rozwiązane potwierdzone	Sesja ma kategorię Rozwiązane potwierdzone, gdy wątek Koniec konwersacji został wyzwolony, a użytkownik potwierdza, że interakcja zakończyła się powodzeniem.
	Rozwiązane (w sposób dorozumiany)	Sesja jest Rozwiązana w sposób dorozumiany, gdy jest uznawana za ukończoną bez potwierdzenia użytkownika, a w oparciu o logikę agenta. Stan 'rozstrzygnięty pośrednio' zależy od tego, czy agent używa orkiestracji klasycznej czy AI generatywnej. - Orkiestracja klasyczna: sesja jest uważana za rozwiązaną w sposób dorozumiany, gdy po wyzwoleniu tematu Koniec konwersacji użytkownik pozwala na wygaśnięcie sesji bez udzielenia potwierdzenia. - Orkiestracja generatywnej AI: sesja jest uznawana za zakończoną domyślnie, gdy limit czasu sesji upływa i nie ma już żadnych aktywnych planów. Aktywny plan to plan, który oczekuje na dane wejściowe użytkownika.
Zeskalowano		Sesja kończy się, ale jest uznawana za eskalowaną, gdy wyzwolony zostanie temat Eskalacja lub uruchomiony węzeł Przekazanie do agenta (bieżąca sesja analizy kończy się, niezależnie od tego, czy konwersacja zostaje przeniesiona do agenta na żywo). Istnieją trzy typy eskalowanych sesji: Zamierzone przez system, Niezamierzone przez system i Na żądanie użytkownika.
	System przeznaczony	Sesja jest eskalowana automatycznie w wyniku automatycznego zestawu reguł biznesowych ustalonych przez twórcę. Eskalacja jest oczekiwanym rezultatem rozmowy i nie wymaga badania ani zmiany. Przykład: użytkownik chce przenieść ponad 25 000 USD do innego podmiotu. Ta kwota przekracza próg w regule biznesowej i sesja jest automatycznie eskalowana w wyniku tego.
	Nieumyślne działanie systemu	Eskalacja następuje automatycznie w wyniku sesji przekraczającej jeden lub więcej progów ustawionych przez twórcę. Zazwyczaj taki wynik oznacza, że użytkownik utknął w rozmowie i potrzebuje pomocy. Przykład: sesja jest eskalowana po trzech niepowodzeniach wykonywania jakiegoś zadania.
	Na żądanie użytkownika	Sesja jest eskalowana, ponieważ podczas konwersacji wystąpiło wyraźne żądanie użytkownika. Przykład: użytkownik wprowadza wartość Transfer me to an agent.
Opuszczony		Sesja jest uznawana za porzuconą, gdy aktywna sesja zostaje przerwana po 30 minutach i nie osiąga stanu „rozwiązane” lub „eskalowane”.

Wynik dla narzędzi można również ustawić za pomocą parametru conversationOutcome przy użyciu edytora kodu narzędzia. Na przykład conversationOutcome: ResolvedConfirmed dla potwierdzonego powodzenia lub conversationOutcome: ResolvedImplied dla sugerowanego powodzenia.

Zobacz dokumentację dotyczącą pomiaru zaangażowania , aby znaleźć sugestie i najlepsze praktyki dotyczące pomiaru i poprawy zaangażowania.

Reakcje

Sekcja Reakcje przedstawia opinie użytkowników zebrane z reakcji na odpowiedzi agenta. Wykres zlicza liczbę razy, gdy użytkownicy nacisnęli przyciski kciuk w górę (pozytywny) lub kciuk w dół (negatywny) dostępne przy każdej odpowiedzi otrzymanej od agenta.

Note

• Agenty opublikowane na kanale Microsoft 365 Copilot nie obsługują reakcji.
• Aby wyświetlić komentarze, musisz mieć rolę bezpieczeństwa Przeglądającego transkrypcje botów.

Funkcja Reakcje jest domyślnie włączona . Możesz wyłączyć tę funkcję, jeśli jest to konieczne. Możesz również dodać lub edytować zastrzeżenie dotyczące sposobu korzystania z opinii użytkowników:

1. Otwórz agenta, a następnie przejdź do pozycji Ustawienia i znajdź sekcję Opinie użytkowników .

2. Włącz lubwyłączopcję Zbierz reakcje użytkownika na komunikaty agenta.

3. Dodaj lub edytuj zastrzeżenie, aby użytkownicy wiedzieli, jak są używane opinie. Można również podać informacje o ochronie prywatności i wskazówki.

Użytkownicy z uprawnieniami podglądu transkrypcji botów mogą przechodzić do szczegółów odpowiedzi agenta w przypadku poszczególnych reakcji i filtrować według komentarzy użytkowników.

Zobacz trendy reakcji w czasie

Wybierz pozycję Zobacz szczegóły na kafelku Reakcje , aby otworzyć panel boczny Reakcje . Panel pokazuje, jaki jest trend pozytywnych i negatywnych reakcji (z kciuki w górę i kciuki w dół) w czasie.

Zadowolenie klienta

Sekcja Satysfakcja klienta zawiera informacje o zadowoleniu użytkowników na podstawie wyników ankiety użytkownika:

• Wynik zadowolenia: wynik na poziomie 5 obliczony na podstawie średnich wyników zadowolenia klientów (CSAT) dla sesji, w których użytkownicy odpowiedzieli na żądania zakończenia sesji w celu przeprowadzenia ankiety.

  Note

  Wyniki 1 i 2 są przypisywane do Niezadowolenie, wynik 3 jest uważany za Neutralny, a wyniki 4 i 5 są przypisywane do Zadowolenie.

• Satysfakcja według sesji: Ułożony wykres słupkowy, który wizualizuje względne ważenie dla każdej z kategorii wyników ankiety, czyli Dissatisfied, Neutral, oraz Satisfied. Najedź kursorem na każdy segment wykresu, aby zobaczyć rozmiar próby oraz wartość liczbową wagi każdej kategorii wyników. W przypadku użytkowników z uprawnieniami do podglądu transkrypcji botów możesz przejść do listy sesji klientów przefiltrowanych na podstawie wybranej części segmentu paska.

Wybierz pozycję Zobacz szczegóły , aby wyświetlić trend oceny zadowolenia w wybranym okresie.

Sentyment (wersja zapoznawcza)

[Ta sekcja to dokumentacja wstępna, która może ulec zmianie].

Analiza sentymentu używa sztucznej inteligencji do analizowania wiadomości użytkowników z próbki sesji w celu oceny ogólnego sentymentu użytkownika dla agenta. Wartość liczbowa oznacza procent sesji z negatywnymi nastrojami użytkowników.

Ważna

Ten artykuł zawiera dokumentację usługi Microsoft Copilot Studio w wersji zapoznawczej i może ulec zmianie.

Funkcje w wersji zapoznawczej nie są przeznaczone do użytku w środowiskach produkcyjnych i mogą mieć ograniczoną funkcjonalność. Te funkcje są udostępniane przed oficjalnym wydaniem, dzięki czemu można szybciej uzyskać do nich dostęp i przekazać opinie na ich temat.

Jeśli tworzysz agenta gotowego do użycia w środowisku produkcyjnym, zobacz Omówienie usługi Microsoft Copilot Studio.

Wybierz pozycję Zobacz szczegóły, aby wyświetlić dane dotyczące sentymentu dla względnej wagi poszczególnych kategorii sentymentu (Positive, Neutral i Negative).

Możesz włączyć i wyłączyć analizę sentymentu dla agenta w obszarze Ustawienia. Gdy analiza tonacji jest wyłączona, tonacja użytkownika nie jest analizowana podczas sesji.

1. Przejdź do pozycji Ustawienia i wybierz pozycję Zaawansowane.

2. Włącz lub wyłącz analizę sentymentu.

   

Agenci

Na liście Agenci wyświetla się ogólne metryki wolumenu, wydajności i stanu dla połączonych i podrzędnych agentów głównego agenta. Lista identyfikuje typ relacji między agentem na liście a głównym agentem wskazanym w kolumnie Typ. Jeśli agent jest agentem podrzędnym, ma typ Child. Agenci połączeni mają typ listy, który odzwierciedla miejsce ich utworzenia (na przykład Copilot Studio, Azure AI Foundry). Metryka Wywołania dla każdego wymienionego agenta opisuje liczbę wywołań od głównego agenta do połączonego lub podrzędnego agenta. Współczynnik sukcesów odzwierciedla odsetek wywołań (jako % wszystkich wywołań), które zakończyły się pomyślnie. Stan wskazuje stan administracyjny poszczególnych połączonych i podrzędnych agentów.

Domyślnie na liście Agenci jest wyświetlanych pięciu (5) najważniejszych połączonych i podrzędnych agentów głównego agenta, uszeregowanych od najwyższej do najniższej całkowitej liczby pytań. Jeśli istnieje więcej niż pięciu agentów, wybierz pozycję Zobacz wszystko, aby wyświetlić wszystkich agentów.

Note

Przycisk Zobacz wszystko jest widoczny tylko wtedy, gdy główny agent ma więcej niż pięciu połączonych lub podrzędnych agentów.

Użycie

Sekcja Użycie ułatwia zrozumienie sposobu interakcji użytkowników z agentem i miejsca, w którym można poprawić niezawodność odpowiedzi. Użycie jest dzielone między wiele podsekcji:

• Motywy: Motywy ułatwiają uzyskiwanie szczegółowych informacji analitycznych dzięki klastrowaniu pytań użytkowników do sugerowanych kategorii sztucznej inteligencji.
• Wygenerowana szybkość odpowiedzi i jakość: zrozumienie, kiedy agent ma trudności z udzieleniem odpowiedzi na pytania użytkowników i sposobem korzystania ze źródeł wiedzy może pomóc w znalezieniu sposobów poprawy współczynnika odpowiedzi i jakości agenta.
• Użycie narzędzia: informacje o tym, jak często są używane narzędzia i jak często kończą się powodzeniem, mogą pomóc zrozumieć, czy te narzędzia są przydatne i skuteczne dla użytkowników.
• Użycie źródła wiedzy: Poznanie tego, jak często używane są poszczególne źródła wiedzy i jak często zwracają one błędy, pomaga poprawić jakość i zakres odpowiedzi agenta.

Wskaźnik generowanych odpowiedzi i ich jakość.

Dzięki funkcji generatywnych odpowiedzi agent może używać sztucznej inteligencji do generowania odpowiedzi na zapytania użytkowników przy użyciu źródeł wiedzy i podanych instrukcji. Jednak agent może nie być w stanie odpowiedzieć na wszystkie zapytania użytkowników. Sekcja Współczynnik i jakość generowanych odpowiedzi śledzi, organizuje i analizuje zapytania bez odpowiedzi oraz jakość odpowiedzi, aby dostarczyć wskazówki dotyczące poprawy wydajności odpowiadania agenta.

Wskaźnik odpowiedzi pokazuje liczbę odpowiedzianych i nieodpowiedzianych pytań w wybranym przedziale czasu oraz zmianę procentową w czasie.

Jakość odpowiedzi mierzy jakość odpowiedzi przy użyciu sztucznej inteligencji. Copilot Studio analizuje przykładowy zestaw odpowiedzi na pytania i ocenia różne aspekty jakości, w tym kompletność, trafność oraz stopień uzasadnienia odpowiedzi. Jeśli odpowiedź spełnia ustawiony standard, Copilot Studio oznacza ją jako jakość Dobra. Copilot Studio etykietuje odpowiedzi, które nie spełniają tego standardu, jako odpowiedzi niskiej jakości. W przypadku słabych odpowiedzi program Copilot Studio przypisuje przyczynę oceny jakości i pokazuje procent odpowiedzi przypisanych do każdej kategorii.

Umieść kursor na dowolnym segmencie słupka na wykresie, aby zobaczyć względną wagę pojedynczego powodu etykiety jakości Dobra lub Zła. Etykietka narzędzia wskazuje również liczbę prób odpowiedzi, które wzięto pod uwagę, żeby uzyskać obliczoną wartość procentową.

W legendzie poniżej wykresu najedź kursorem na dowolny powód etykiety jakości, aby wyróżnić go na wykresie.

Wybierz segment wykresu słupkowego, aby otworzyć stronę pytań użytkowników filtrowanych w tej jakości odpowiedzi. Wybierz pozycję Zobacz pytania , aby wyświetlić niefiltrowaną listę wszystkich pytań w skonfigurowanym przedziale czasu.

Użycie narzędzi

Sekcja Użycie narzędzi zawiera wykres i metryki, które śledzą, jak często narzędzia są uruchamiane w wybranym okresie i jak często agent z powodzeniem korzystał z tych narzędzi. Pokazuje także wskaźniki trendu przedstawiające, jak często agent używa każdego narzędzia, oraz procent narzędzi, które zostały użyte z powodzeniem.

Wykres przedstawia pięć najczęściej używanych narzędzi w okresie dat zdefiniowanym u góry strony Analizy.

W legendzie poniżej wykresu umieść kursor na dowolnym z narzędzi, aby wyróżnić to narzędzie na wykresie.

Aby otworzyć panel boczny z listą wszystkich narzędzi używanych w określonym przedziale czasu wraz ze wskaźnikami trendu, na wykresie wybierz pozycję Zobacz szczegóły. W panelu Użycie narzędzi można wyświetlić obliczenia procentowe pytań użyte dla każdego narzędzia. Jeśli agent ma agentów podrzędnych, można wybrać wyświetlanie obliczeń dla agenta głównego i podrzędnych (Wszystko), tylko głównego agenta (Główny agent) lub tylko podrzędnego agenta (Agent podrzędny).

Wykorzystanie źródła wiedzy

Sekcja Użycie źródła wiedzy zawiera wgląd w sposób, w jaki agent używa swoich źródeł wiedzy i jak często te źródła zwracają błędy. Aby uzyskać szczegółowe informacje na temat dostępnych metryk, filtrowania i możliwości przechodzenia do szczegółów, zobacz Użycie źródła wiedzy.