Analizuj agentów konwersacyjnych

Strona Analizy w Copilot Studio zapewnia zagregowany wgląd w ogólną skuteczność agenta w różnych sesjach analitycznych. Strona jest podzielona na podstawowe obszary, które koncentrują się na różnych kontekstach wydajności. Na stronie jest również wyświetlany obszar Przegląd, który zawiera ogólne, kluczowe wskaźniki wydajności (KPI) dla agenta, obszar Oszczędności, który analizuje oszczędności czasowe i kosztowe uzyskane dzięki agentowi lub jego narzędziom, oraz obszar Podsumowanie, który dostarcza kluczowych szczegółowych informacji o wydajności działania agenta.

Istnieją cztery podstawowe obszary, na których należy skupić się podczas przeglądania i zwiększania skuteczności agentów konwersacyjnych:

• Podsumowanie, Przegląd oraz Oszczędności prezentują szczegółowe informacje analityczne dotyczące Twoich agentów wraz ze statystykami rozliczeń i oszczędności; zobacz Podsumowanie, Przegląd oraz Oszczędności, aby dowiedzieć się więcej o każdej z tych sekcji.
• Sekcja Metryki niestandardowe pozwalają zdefiniować specyficzne dla biznesu metryki dla zastosowań Twoich agentów.
• Sekcja Skuteczność pomaga ocenić jakość doświadczeń użytkowników, pokazując, gdzie konwersacje odnoszą sukces, kiedy się przerywają i jak użytkownicy postrzegają wyniki.
• Sekcja Użycie pomaga poprawić wydajność operacyjną, pokazując, jak dobrze Twój agent odpowiada na pytania, jak niezawodnie narzędzia i źródła wiedzy wspierają te odpowiedzi oraz gdzie ukierunkowane aktualizacje mogą zwiększyć zakres i spójność.

Można wyświetlać analizę zdarzeń, które wystąpiły w ciągu ostatnich 360 dni.

Metryki niestandardowe

Sekcja Metryki niestandardowe pozwala zdefiniować do trzech metryk specyficznych dla biznesu w języku naturalnym i śledzić, jak często każdy wynik pojawia się w próbkowanych sesjach. Użyj tych metryk, aby wzbogacić swoje standardowe szczegółowe informacje analityczne wskaźnikami odzwierciedlającymi cele agenta i kontekst biznesowy jego zastosowania. Aby dowiedzieć się, jak tworzyć, testować i udoskonalać metryki niestandardowe, zobacz Analizowanie agenta za pomocą metryk niestandardowych.

Efektywność

Sekcja Skuteczność przedstawia opinie użytkowników zebrane z reakcji, odpowiedzi agenta, wyników ankiety oraz wynik tonacji dla sesji. Skuteczność jest podzielona na wiele podsekcji.

• Wyniki konwersacji: znajomość końcowego wyniku konwersacji pomaga zacząć identyfikować, gdzie Twój agent odnosi sukcesy, a gdzie wymaga poprawy.
• Reakcje: odpowiedzi użytkowników obejmujące oceny kciuk w górę/w dół oraz komentarze dotyczące konkretnych odpowiedzi agenta.
• Satysfakcja klienta: wyświetla wskaźnik „zadowolenie klienta” (CSAT).
• Analiza opinii (wersja zapoznawcza): Analiza opinii oparta na sztucznej inteligencji obejmująca całą sesję.
• Agenty: zobacz metryki wolumenu wywołań, wskaźniki sukcesu oraz bieżący stan agentów podrzędnych i połączonych.

Dane opinii są przechowywane w tabeli transkrypcji konwersacji w usłudze Dataverse. Aby uzyskać listę kanałów obsługujących tę funkcję, zobacz Szczegóły funkcji.

Wyniki konwersacji

W sekcji Wyniki konwersacji jest wyświetlany wykres, który śledzi typ wyniku dla każdej sesji pomiędzy agentem a użytkownikami.

Wykres, niezależnie od tego, czy jest wyświetlany jako skumulowany histogram, czy skumulowany wykres warstwowy, wizualizuje względne woluminy wyników, kodowane kolorami i ułożone według typów. Każdy z elementów Rozwiązane, Eskalowane, Porzucone i Niezaangażowane są reprezentowane przez odpowiednie kolory dla każdego punktu danych. Oś y wskazuje liczbę sesji.

Aby wyświetlić metryki dotyczące poszczególnych wyników specyficznych dla jednego punktu danych (określonego dnia), umieść wskaźnik myszy na obszarze reprezentującym kolor interesującego wyniku (na przykład Zielononiebieski dla sesji Porzuconych) w dniu, którym się interesujesz.

Aby pobrać dane wyników konwersacji (dane wizualizowane na wykresie), wybierz ikonę menu , a następnie pozycję Pobierz plik CSV.

Notatka

Jeśli po pobraniu wykresu zostaną usunięte jakiekolwiek wyniki, ich dane nie będą występować w pliku CSV.

Aby otworzyć panel boczny ze szczegółowymi informacjami na temat wyników konwersacji, wybierz pozycję Zobacz szczegóły na wykresie. Panel boczny Wyniki konwersacji obejmuje:

• Podział wykresu kołowego wyników sesji z względną wagą (wyrażoną jako procent) wyników Rozwiązane, Eskalowane i Porzucone.
• Skumulowany wykres słupkowy przedstawiający względną wagę (wyrażoną jako procent) przyczyny wyniku Rozwiązane i potwierdzone i Rozwiązane w sposób domniemany opisujący wszystkie wyniki rozwiązanych sesji.
• Skumulowany wykres słupkowy przedstawiający względną wagę (wyrażoną jako procent) przyczyny wyniku Zamierzone przez system, Niezamierzone przez system i Na żądanie użytkownika opisujący wszystkie wyniki eskalowanych sesji.
• Najważniejsze tematy, które doprowadziły do każdego wyniku.

Notatka

Aby wyświetlić etykietkę narzędzia z nieprzetworzonymi informacjami o liczbie, umieść kursor na dowolnym z segmentów wykresu kołowego lub skumulowanego wykresu słupkowego.

Sesja należy do jednego z następujących dwóch stanów:

• Niezaangażowana: Sesja rozpoczyna się, gdy użytkownik wchodzi w interakcję z agent lub gdy agent wysyła proaktywny komunikat do użytkownika. Sesja rozpoczyna się w stanie niezaangażowanym.

• Z Interakcją: użytkownik aktywnie wchodzi w interakcję z agentem. Istnieje różnica w zachowaniu na podstawie trybu orkiestracji agenta.

  • Orkiestracja klasyczna: sesja staje się interakcją, gdy zostanie zainicjowany jeden z następujących tematów:

    • Niestandardowy temat zainicjowany bezpośrednio przez użytkownika
    • Temat eskalacyjny
    • Temat rezerwowy
    • Temat Rozszerzanie konwersacji

  • Orkiestracja generatywnej AI: sesja staje się interakcją, gdy użytkownik bezpośrednio inicjuje plan i włącza do niego jeden z następujących elementów:

    • Temat niesystemowy
    • Temat eskalacyjny
    • Temat rezerwowy
    • Źródło wiedzy
    • Narzędzie

Sesja z zaangażowaniem ma jeden z następujących rezultatów:

Kategoria wyniku	Wynik	Podpis
Rozstrzygnięte		Rozwiązane: sesja kończy się pomyślnie. Istnieją dwa typy rozwiązanych sesji: Rozwiązana potwierdzona i Rozwiązana w sposób dorozumiany.
	Rozwiązane potwierdzone	Sesja ma kategorię Rozwiązane potwierdzone, gdy temat Koniec konwersacji został wyzwolony , a użytkownik potwierdza, że interakcja zakończyła się powodzeniem.
	Rozwiązane (w sposób dorozumiany)	Sesja jest Rozwiązana w sposób dorozumiany, gdy jest uznawana za ukończoną bez potwierdzenia użytkownika, a w oparciu o logikę agenta. Stan Rozwiązana w sposób dorozumiany zależy od tego, czy agent korzysta z orkiestracji klasycznej, czy orkiestracji generatywnej AI: - Orkiestracja klasyczna: sesja jest uważana za rozwiązaną w sposób dorozumiany, gdy po wyzwoleniu tematu Koniec konwersacji użytkownik pozwala na przekroczenie limitu czasu sesji bez potwierdzania. - Orkiestracja generatywnej AI: sesja jest uważana za rozwiązaną w sposób dorozumiany, gdy jej limit czasu aktywności upływa i nie ma pozostałych aktywnych planów. Aktywny plan to plan, który oczekuje na dane wejściowe użytkownika.
Eskalowanie		Sesja kończy się i jest uznawana za eskalowaną po wyzwoleniu tematu Eskalacja lub uruchomieniu węzła Przekaż do agenta (bieżąca sesja analizy kończy się, niezależnie od tego, czy konwersacja zostanie przeniesiona do prawdziwego agenta, czy nie). Istnieją trzy typy eskalowanych sesji: Zamierzone przez system, Niezamierzone przez system i Na żądanie użytkownika.
	Zamierzone przez system	Sesja jest eskalowana automatycznie przez twórcę w wyniku automatycznego zestawu reguł biznesowych. Eskalacja jest oczekiwanym wynikiem konwersacji i nie jest czymś, co wymaga badania lub zmiany. Przykład: użytkownik chce przenieść ponad 25 000 USD do innego podmiotu. Ta kwota przekracza próg w regule biznesowej i sesja jest automatycznie eskalowana w wyniku tego.
	Niezamierzone przez system	Eskalacja następuje automatycznie w wyniku sesji przekraczającej jeden lub więcej progów ustawionych przez twórcę. Zazwyczaj oznacza to, że użytkownik utknął w konwersacji i potrzebuje pomocy. Przykład: sesja jest eskalowana po trzech niepowodzeniach wykonywania jakiegoś zadania.
	Na żądanie użytkownika	Sesja jest eskalowana, ponieważ podczas konwersacji wystąpiło jawne tego żądanie użytkownika. Przykład: użytkownik wprowadza wartość Transfer me to an agent.
Porzucone		Sesja kończy się i jest uznawana za porzuconą, gdy sesja z zaangażowaniem kończy się po 30 minutach i nie osiągnie stanu „rozwiązane” lub „eskalowane”.

Wynik dla narzędzi można również ustawić za pomocą parametru conversationOutcome przy użyciu edytora kodu narzędzia. Na przykład conversationOutcome: ResolvedConfirmed dla potwierdzonego powodzenia lub conversationOutcome: ResolvedImplied dla sugerowanego powodzenia.

Zapoznaj się z dokumentacją Mierzenie zaangażowania, aby zapoznać się z sugestiami i najlepszymi rozwiązaniami dotyczącymi mierzenia i zwiększania zaangażowania.

Reakcje

Sekcja Reakcje pokazuje opinie użytkowników zebrane na podstawie reakcji na odpowiedzi agenta. Wykres zlicza liczbę razy, gdy użytkownicy wybrali kciuki w górę (dodatnie) lub kciuki w dół (ujemne) dostępne dla każdej odpowiedzi otrzymanej od agenta.

Notatka

• Agenci opublikowani w kanale Microsoft 365 Copilot nie obsługują reakcji.
• Aby wyświetlić komentarze, musisz mieć rolę zabezpieczeń Osoba przeglądająca transkrypcję botów.

Funkcja Reakcje jest domyślnie włączona. W razie potrzeby można wyłączyć tę funkcję. Można również dodać lub edytować wyłączenie odpowiedzialności dotyczące sposobu korzystania z opinii użytkowników:

1. Otwórz agenta, a następnie przejdź do pozycji Ustawienia i znajdź sekcję Opinie użytkowników.

2. Ustaw Zbieranie reakcji użytkowników na wiadomości od agenta na Włączone lub Wyłączone.

3. Dodaj lub edytuj wyłączenie odpowiedzialności, aby użytkownicy wiedzieli, jak są używane ich opinie. Można również podać informacje o ochronie prywatności i wskazówki.

Użytkownicy z uprawnieniem „Wyświetlanie transkrypcji botów” mogą przejść do szczegółów odpowiedzi agentów dla poszczególnych reakcji oraz filtrować według komentarzy użytkowników.

Zobacz trendy reakcji w czasie

Wybierz Zobacz szczegóły na kafelku Reakcje, aby otworzyć panel boczny Reakcje. Panel pokazuje, jaki jest trend pozytywnych i negatywnych reakcji (na podstawie wartości Kciuki w górę i Kciuki w dół) w czasie.

Zadowolenie klienta

Sekcja Zadowolenie klienta pokazuje informacje o satysfakcji użytkowników na podstawie wyników ankiet użytkowników:

• Wynik satysfakcji: Wynik w skali 1–5 obliczany na podstawie średniej ocen zadowolenie klienta (CSAT) dla sesji, w których użytkownicy odpowiedzieli na prośbę o wypełnienie ankiety na zakończenie sesji.

  Notatka

  Wyniki 1 i 2mapowanie na Niezadowolenie, wynik 3 jest uważany za Neutralny, a wyniki 4 i 5 mapowane na Zadowolenie.

• Satysfakcja według sesji: skumulowany wykres słupkowy, który wizualizuje względne ważenie dla każdej z kategorii wyników ankiety, czyli Dissatisfied,Neutral oraz Satisfied. Najedź kursorem na każdy segment wykresu, aby zobaczyć rozmiar próby oraz wartość liczbową wagi każdej kategorii wyników. Dla użytkowników z uprawnieniami Bot Transcript Viewer, możesz przejść do szczegółów listy sesji klientów filtrowanych na podstawie wybranego segmentu wykresu słupkowego.

Wybierz Zobacz szczegóły, aby zobaczyć trend oceny satysfakcji w wybranym okresie.

Opinia (wersja zapoznawcza)

[Ta sekcja jest wstępną wersją dokumentacji i może ulec zmianie.]

Analiza opinii wykorzystuje AI do analizy wiadomości użytkowników z próbki sesji w celu oceny ogólnej opinii użytkowników względem agenta. Wartość liczbowa oznacza procent sesji z negatywną opinią użytkowników.

Ważne

Ten artykuł zawiera dokumentację usługi Microsoft Copilot Studio w wersji zapoznawczej i może ulec zmianie.

Funkcje w wersji zapoznawczej nie są przeznaczone do użytku w środowiskach produkcyjnych i mogą mieć ograniczoną funkcjonalność. Te funkcje są udostępniane przed oficjalnym wydaniem, dzięki czemu można szybciej uzyskać do nich dostęp i przekazać opinie na ich temat.

Jeśli kompilowany jest agent gotowy do użycia w środowiskach produkcyjnych, zobacz temat Omówienie usługi Microsoft Copilot Studio (produkcja).

Wybierz Zobacz szczegóły, aby wyświetlić dane o opinii dotyczące względnego ważenia każdej z kategorii opinii (czyli Positive, Neutral oraz Negative).

Możesz włączyć i wyłączyć analizę opinii dla swojego agenta w opcji Ustawienia. Gdy analiza opinii jest wyłączona, opinia użytkownika nie jest analizowana podczas sesji.

1. Przejdź do Ustawienia i wybierz Ustawienia zaawansowane.

2. Włącz lub wyłącz opcję Analiza opinii.

   

Agenty

Na liście Agenci są wyświetlane ogólne metryki wolumenu, wydajności i stanu dla połączonych i podrzędnych agentów głównego agenta. Lista identyfikuje typ relacji między agentem na liście a głównym agentem wskazanym w kolumnie Typ. Jeśli agent jest agentem podrzędnym, ma typ Child. Połączeni agenci mają na liście typ odzwierciedlający miejsce ich utworzenia (na przykład Copilot Studio, Azure AI Foundry). Metryka Wywołania dla każdego wymienionego agenta opisuje liczbę wywołań od głównego agenta do połączonego lub podrzędnego agenta. Współczynnik sukcesów odzwierciedla odsetek wywołań (jako % wszystkich wywołań), które zakończyły się pomyślnie. Stan wskazuje stan administracyjny poszczególnych połączonych i podrzędnych agentów.

Domyślnie na liście Agenci jest wyświetlanych pięciu (5) najważniejszych połączonych i podrzędnych agentów głównego agenta, uszeregowanych od najwyższej do najniższej całkowitej liczby pytań. Jeśli istnieje więcej niż pięciu agentów, wybierz pozycję Zobacz wszystko, aby wyświetlić wszystkich agentów.

Notatka

Przycisk Zobacz wszystko jest widoczny tylko wtedy, gdy główny agent ma więcej niż pięciu połączonych lub podrzędnych agentów.

Używanie

Sekcja Użycie pomaga zrozumieć, jak użytkownicy wchodzą w interakcje z agentem i gdzie można poprawić niezawodność odpowiedzi. Użycie jest podzielone na wiele podsekcji.

• Motywy: Motywy ułatwiają uzyskiwanie szczegółowych informacji analitycznych dzięki grupowaniu pytań użytkowników w kategorie sugerowane przez sztuczną inteligencję.
• Współczynnik i jakość wygenerowanej odpowiedzi: wiedza o tym, kiedy agent ma trudności z udzieleniem odpowiedzi na pytania użytkowników i jak wykorzystuje źródła wiedzy, może pomóc w znalezieniu sposobów na poprawę współczynnika i jakości odpowiedzi agenta.
• Użycie narzędzi: wiedza o tym, jak często narzędzia są używane i wykonują powierzone zadania, może pomóc w zrozumieniu, czy te narzędzia są przydatne i skuteczne dla użytkowników.
• Użycie źródła wiedzy: informacje o tym, jak często używane są poszczególne źródła wiedzy i jak często zwracają błędy, pomagają poprawić jakość i zakres odpowiedzi Twojego agenta.

Współczynnik i jakość wygenerowanej odpowiedzi

Dzięki funkcji odpowiedzi generatywnychi agent może używać sztucznej inteligencji do generowania odpowiedzi na zapytania użytkowników przy użyciu źródeł wiedzy i podanych instrukcji. Jednak agent może nie być w stanie odpowiedzieć na wszystkie zapytania użytkowników. Sekcja Współczynnik i jakość wygenerowanej odpowiedzi śledzi, organizuje i analizuje zapytania bez odpowiedzi oraz jakość odpowiedzi, aby przekazać wskazówki dotyczące poprawy wydajności odpowiadania przez agenta.

Wskaźnik odpowiedzi pokazuje liczbę pytań z odpowiedziami i bez odpowiedzi w wybranym przedziale czasu oraz zmianę procentową w czasie.

Jakość odpowiedzi mierzy jakość odpowiedzi udzielonych przy użyciu sztucznej inteligencji. Aplikacja Copilot Studio analizuje zbiór próbek odpowiedzi na pytanie pod kątem różnych cech, w tym kompletności, trafności i poziomu uzasadnienia odpowiedzi. Jeśli odpowiedź spełnia określony standard, aplikacja Copilot Studio oznacza ją jako mającą jakość Dobra. Odpowiedzi, które nie spełniają tego standardu, Copilot Studio oznacza jakością Słaba. W przypadku odpowiedzi Słaba program Copilot Studio przypisuje przyczynę oceny jakości i pokazuje procent odpowiedzi przydzielonych do każdej kategorii.

Umieść kursor na dowolnym segmencie słupka na wykresie, aby zobaczyć względne wagi pojedynczej przyczyny etykiety Dobra lub Niska jakość. Etykietka narzędzia wskazuje również liczbę prób odpowiedzi, które wzięto pod uwagę, żeby uzyskać obliczoną wartość procentową.

W legendzie poniżej wykresu umieść kursor na dowolnej z etykiet powodów, aby wyróżnić ten powód na wykresie.

Wybierz segment wykresu słupkowego, aby otworzyć stronę z pytaniami użytkowników filtrowanymi według jakości odpowiedzi. Wybierz Zobacz pytania, aby zobaczyć niefiltrowaną listę wszystkich pytań w skonfigurowanym okresie.

Użycie narzędzi

Sekcja Użycie narzędzi zawiera wykres i metryki, które śledzą, jak często narzędzia są uruchamiane w wybranym okresie i jak często agent z powodzeniem korzystał z tych narzędzi. Pokazuje również wskaźniki trendu dotyczące tego, jak często agent używa każdego narzędzia, oraz procent wywołanych narzędzi wykorzystanych pomyślnie.

Wykres przedstawia pięć najczęściej używanych narzędzi w okresie dat zdefiniowanym u góry strony Analizy.

W legendzie poniżej wykresu umieść kursor na dowolnym z narzędzi, aby wyróżnić to narzędzie na wykresie.

Aby otworzyć panel boczny z listą wszystkich narzędzi używanych w określonym przedziale czasu wraz ze wskaźnikami trendu, na wykresie wybierz pozycję Zobacz szczegóły. W panelu Użycie narzędzi można wyświetlić obliczenia procentowe pytań użyte dla każdego narzędzia. Jeśli agent ma agentów podrzędnych, można wybrać wyświetlanie obliczeń dla agenta głównego i podrzędnych (Wszystko), tylko głównego agenta (Główny agent) lub tylko podrzędnego agenta (Agent podrzędny).

Wykorzystanie źródła wiedzy

Sekcja Użycie źródła wiedzy daje wgląd w to, w jaki sposób agent korzysta ze swoich źródeł wiedzy oraz jak często zwracają błędy. Szczegółowe informacje o dostępnych metrykach, filtrowaniu i poziomie szczegółów można znaleźć w Użycie źródła wiedzy.