Analizowanie pytań użytkowników według motywu (wersja zapoznawcza)

[Ten artykuł stanowi wstępną wersję dokumentacji i może ulec zmianie.]

Tematy grupują powiązane pytania użytkowników, które uruchamiają generatywne odpowiedzi. Dzięki grupowaniu powiązanych pytań, motywy pomagają organizować informacje o intencjach klientów, identyfikować częste tematy i skupiać się na obszarach wymagających poprawy. Poszczególne pytania można eksplorować w motywie i monitorować wydajność, aby zrozumieć metryki na poziomie motywu.

Ważne

Ten artykuł zawiera dokumentację Microsoft Copilot Studio wersji zapoznawczej i może ulec zmianie.

Funkcje w wersji zapoznawczej nie są przeznaczone do użytku produkcyjnego i mogą mieć ograniczone funkcje. Te funkcje są udostępniane przed oficjalnym wydaniem, dzięki czemu można szybciej uzyskać do nich dostęp i przekazać opinie na ich temat.

Jeśli tworzysz agenta gotowego do produkcji, zobacz Microsoft Copilot Studio Overview (Omówienie).

Propozycja kluczowej wartości

Funkcja Motywy automatycznie analizuje wszystkie niesklasyfikowane pytania, które wyzwalały generowanie odpowiedzi sztucznej inteligencji w ciągu ostatniego tygodnia i sugeruje motywy na podstawie tej analizy. Ten proces jest uruchamiany co tydzień. Między cotygodniowymi przeglądami propozycji tematów funkcja wykonuje codzienną klasyfikację wszelkich nowych pytań, które wyzwalają odpowiedzi tworzone przez sztuczną inteligencję, i dodaje te dane do metryk tematów. Sugerowana lista motywów jest regularnie odświeżona, dzięki czemu motywy pozostają istotne i odzwierciedlają najnowsze dane użytkownika. To automatyczne odświeżanie pozwala zaoszczędzić czas, wykonując następujące działania:

• Stale ocenianie istotności motywu względem nowych danych.
• Automatyczne klasyfikowanie poszczególnych pytań na motywy.
• Automatyzowanie pobierania danych metrycznych w formie surowej dla każdego motywu.
• Obliczanie zagregowanych danych metryk dla każdego motywu.

Wymagania wstępne

Aby uzyskać największą wartość z funkcji Motywy, w tym możliwość wyświetlania pytań i odpowiedzi poszczególnych motywów:

• Aby wyświetlić listę i jej metryki, potrzebna jest rola zabezpieczeń Podgląd transkrypcji botów . Tylko administratorzy mogą przyznać tę rolę , przypisując rolę zabezpieczeń Osoba przeglądająca transkrypcje botów podczas udostępniania agentów.

• Ustawienia na poziomie środowiska do przechowywania transkrypcji konwersacji w usłudze Dataverse są włączone.

Sugerowane motywy i sklasyfikowane pytania

Copilot Studio sugeruje motywy na podstawie rekordów pytań zadawanych w ostatnim czasie. Dostosowując każdy sugerowany motyw do struktury organizacji i strategii obsługi klienta, możesz uzyskać lepszy wgląd w kluczowe wskaźniki wydajności (KPI) specyficzne dla motywu. Ten bardziej szczegółowy poziom ułatwia znalezienie miejsc, w których agenci osiągają słabsze wyniki.

Motywy pomagają twórcom zrozumieć, jakie pytania użytkownicy zadają agentowi i jak działa agent. Podczas początkowego uruchamiania analizy opartej na motywach program Copilot Studio analizuje wszystkie pytania z ostatniego tygodnia i sugeruje maksymalnie 10 motywów grupujących pytania użytkowników na podstawie podobieństw do siebie. Każdy motyw zawiera metryki, takie jak łączna liczba pytań, szybkość odpowiedzi i reakcja użytkownika. Wybrany okres analizy dostosowuje wyświetlane dane na liście Motywy .

Po początkowym uruchomieniu program Copilot Studio klasyfikuje nowe pytania do istniejących motywów na bieżąco, codziennie i generuje nową listę sugerowanych motywów co tydzień.

Uwaga / Notatka

• Co najmniej 50 pytań z odpowiedziami generatywnymi musi być zarejestrowanych w ciągu ostatnich siedmiu dni przed wygenerowaniem sugerowanych motywów przez Copilot Studio.
• Pytanie, które wyzwala generowanie odpowiedzi sztucznej inteligencji, można sklasyfikować na więcej niż jeden motyw. Ten scenariusz może stać się bardziej powszechny w trybie aranżacji generatywnej , w którym odpowiedź agenta może pochodzić z kilku różnych źródeł.
• Wszelkie pytania, które pozostają niesklasyfikowane, są umieszczane w niesklasyfikowanym motywie.
• Uruchomienie cotygodniowego procesu sugestii może potrwać kilka minut. W tym czasie sekcja Motywy jest niedostępna do użycia.

Lista Motywów

Domyślnie lista Motywy zawiera pięć najważniejszych motywów, sklasyfikowanych według łącznej liczby pytań sklasyfikowanych dla każdego motywu. Wybierz pozycję Zobacz wszystko , aby rozwinąć listę i wyświetlić wszystkie motywy.

Dzięki automatycznym cotygodniowym przebiegom sugestii motywów i klasyfikacji codziennych pytań funkcja Motywy rozwija się automatycznie i dostosowuje się do zmian w zachowaniu użytkownika.

Na liście Motywy są wyświetlane metryki dla każdego wymienionego motywu.

Kolumna	Description
Name	Nazwa motywu.
Łączna liczba pytań	Łączna liczba pytań sklasyfikowanych w tym motywie dla skonfigurowanego okresu.
Odpowiedzi na pytania	Odsetek łącznych pytań , które powodują odpowiedź na pytanie użytkownika.
Jakość odpowiedzi	Proporcja sumy wszystkich odpowiedzi (opartych na próbie pytań) o jakości Good odpowiedzi.
Reakcje	Nieprzetworzona liczba pozytywnych (kciuków w górę) i negatywnych (kciuk w dół) reakcji z pytań sklasyfikowanych do każdego motywu.

Najedź kursorem na motyw, aby zobaczyć przycisk Oceniaj . Dowiedz się więcej o ewaluacji.

Uwaga / Notatka

Dlaczego w moim temacie znajdują się pytania bez odpowiedzi, gdy wszystkie niejawne pytania wywołały generowanie odpowiedzi sztucznej inteligencji?

Zgodnie z definicją, tylko pytania, które wyzwalają odpowiedź generatywnej sztucznej inteligencji, można zakwalifikować do motywu. Wyzwalanie funkcji generowania odpowiedzi nie jest tym samym, co odpowiadanie na zapytanie użytkownika.

Na przykład często zdarza się, że istnieje temat zwiększający konwersację połączony ze źródłem wiedzy. W takim przypadku, jeśli intencja nie zostanie rozpoznana przez system, dyskusja na temat może zostać uruchomiona, co wywołuje źródło wiedzy, choć odpowiedź na pytanie nie znajduje się w jego treści.

Zagłębienie się w analizę tematyki

Ważne

Aby uzyskać dostęp do funkcji przechodzenia do szczegółów, muszą być spełnione oba następujące warunki:

• Następujące ustawienia środowiska są włączone:

  • Zezwalaj właścicielom i edytorom agentów na wyświetlanie transkrypcji sesji z interakcji w ramach konwersacji w ich agentach.
  • Zezwalaj na zapisywanie transkrypcji konwersacji i skojarzonych z nimi metadanych w usłudze Dataverse.

  Aby uzyskać więcej informacji, zobacz Konfigurowanie ustawień transkrypcji dla pojedynczego środowiska.

• Rola zabezpieczeń Podgląd transkrypcji bota jest przypisana do użytkownika. Aby uzyskać więcej informacji, zobacz Dodawanie użytkowników do roli zabezpieczeń.

Aby przejść do szczegółów pytań pogrupowanych w dowolny motyw, wybierz motyw z listy Motywy . Po przejściu do szczegółów, otwiera się panel dotyczący wybranego motywu, wyświetlając wskaźniki na poziomach motywu oraz poszczególnych pytań.

Uwaga / Notatka

Lista Motywy zawiera:

• Najnowsze 100 pytań sklasyfikowanych w poszczególnych motywach.
• Pytania z ostatnich 30 dni, niezależnie od skonfigurowanego okresu. Jeśli skonfigurowany okres jest w pełni poza ostatnimi 30 dniami, Copilot Studio wyświetla powiadomienie, że lista jest niedostępna.

W panelu przechodzenia do szczegółów motywu są wyświetlane najpierw metryki na poziomie motywu.

Metryka na poziomie tematu	Description
Łączna liczba pytań	Łączna liczba pytań sklasyfikowanych w tym motywie, które wyzwalały generowanie odpowiedzi sztucznej inteligencji dla skonfigurowanego okresu.
Odpowiedzi na pytania	Proporcja Łącznej liczby pytań tego motywu, które spowodowały udzielenie odpowiedzi na pytanie użytkownika.
Pytania bez odpowiedzi	Proporcja łącznych pytań tego tematu, na które nie udzielono odpowiedzi na pytanie użytkownika.
Reakcje	Nieprzetworzona liczba pozytywnych (kciuków w górę) i negatywnych (kciuk w dół) reakcji z pytań sklasyfikowanych do tego tematu, jak zarejestrowano w mechanizmie learn feedback.

Aby wyświetlić podział jakości odpowiedzi na próbkowanie odpowiedzi na pytania i wszystkie źródła wiedzy, do których odwołuje się ten motyw, wybierz pozycję Zobacz szczegóły.

Aby w panelu Metryki motywu wyświetlić więcej informacji na temat dowolnej wartości jakości odpowiedzi na poziomie motywu, w obszarze Jakość odpowiedzi najedź kursorem na pojedynczy segment paska. Etykietka narzędzia zawiera wartość względnej wagi tego segmentu oraz liczbę pytań próbkowanych do otrzymania tej wartości.

Aby zobaczyć więcej informacji na poziomie dowolnego z wymienionych źródeł wiedzy w temacie, w sekcji Wykorzystanie źródeł wiedzy wybierz pojedyncze źródło wiedzy. Etykietka narzędzia zawiera następujące informacje:

• Całkowita liczba pytań, które odwołały się do tego źródła wiedzy, a także liczba reakcji w postaci kciuka w górę i kciuka w dół.
• Warstwowy wykres słupkowy pokazujący rozkład wag jakości odpowiedzi w odniesieniu do pytań dotyczących tego źródła wiedzy. Umieszczenie wskaźnika myszy na segmencie wykresu słupkowego spowoduje wyświetlenie wartości względnej wagi tego segmentu oraz liczby pytań próbkowanych do otrzymania tej wartości.

Lista pytań opartych na motywach odzwierciedla wszystkie pytania, które wyzwalały generowanie odpowiedzi sztucznej inteligencji i zostały sklasyfikowane w tym motywie, i wyświetla metryki na podstawie poszczególnych pytań .

Metryki na poziomie pytania obejmują:

Wymiar lub metryka na poziomie pytania	Description
Pytanie (wymiar)	Pytanie, które wywołało odpowiedź wygenerowaną przez sztuczną inteligencję związaną z tym motywem.
Odpowiedział?	Odpowiedź na pytanie, czy na zapytanie użytkownika udzielono odpowiedzi, czy nie. Możliwe wartości to Answered i Unanswered.
Jakość odpowiedzi1	Odpowiedź na pytanie, jaka była jakość odpowiedzi na zapytanie użytkownika. Możliwe wartości to Poor i Good.
Reakcja	Dwa parametry: jeden to wartość logiczna Kciuk w górę/Kciuk w dół, a drugi to parametr oparty na tekście Komentarz.
Termin	Data, kiedy pytanie zostało zadane.
Źródło wiedzy	Rozdzielona przecinkami lista źródeł wiedzy, do których odwołuje się to pytanie w tym temacie.

¹ Jakość odpowiedzi nie jest zawsze dostępna i jest wyświetlana tylko wtedy, gdy pytanie zostało próbkowane na potrzeby analizy jakości.

Jeśli chcesz, możesz wykonać następujące akcje na stronie listy pytań specyficznych dla motywu:

• Zastosuj więcej filtrowania , aby dokładniej zawęzić listę pytań przy użyciu filtrów wymiarowych listy.
• Oceń wymienione pytania zgodnie z kryteriami zdefiniowanymi w metodzie testowej oceny.
• Pobierz wymienione pytania jako plik .csv.

Wybierz dowolne pytanie na liście, aby wyświetlić więcej informacji na temat pytania w panelu Szczegóły pytania . Ten panel obejmuje:

Szczegółowy parametr na poziomie pytania	Description
Sygnatura czasowa	Sygnatura czasowa ostatniego wystąpienia odpowiedzi na pytanie.
Zapytanie użytkownika	Pytanie zadane.
Odpowiedź	Generacyjna odpowiedź sztucznej inteligencji.
Wartość Kciuk w górę/Kciuk w dół	Wartość ostatniego wystąpienia tego pytania dla parametru Thumbs up /Thumbs down .
Comment	Opcjonalny dodatkowy komentarz tekstowy, dostarczony przez użytkownika, oprócz reakcji Kciuk w górę / Kciuk w dół .
Jakość odpowiedzi1	Odpowiedź na pytanie, jaka była jakość odpowiedzi na zapytanie użytkownika. Możliwe wartości to Poor i Good.
Przyczyna2	W przypadku, gdy jakość odpowiedzi to Poor, ten parametr wyjaśnia, dlaczego.

¹ Jakość odpowiedzi nie jest zawsze dostępna i jest wyświetlana tylko wtedy, gdy pytanie zostało próbkowane na potrzeby analizy jakości.

^{2 Jeśli} jakość odpowiedzi to Good lub jeśli pytanie nie zostało próbkowane, parametr Reason nie ma wartości.

Oceń odpowiedzi swojego agenta na podstawie tematu

Uwaga / Notatka

Po wybraniu pozycji Oceń dla motywu wyświetlanego na stronie Motywy utworzysz nowy zestaw testowy na poziomie motywu. Zestaw testów zawiera wszystkie pytania sklasyfikowane do tego motywu— maksymalnie 100 pytań. Aby zastosować więcej filtrowania na liście pytań, przed utworzeniem zestawu testów oceny najpierw zagłęb się w temat. Następnie zastosuj filtrowanie do listy. Po zastosowaniu wszystkich żądanych filtrów wybierz pozycję Oceń na stronie listy pytań.

Możesz przetestować odpowiedzi agenta na pytania związane z motywem przy użyciu oceny agenta (wersja zapoznawcza).

Oceny tematyczne testują konkretne elementy zakresu działania agenta. Na przykład, jeśli masz agenta obsługi klienta, możesz śledzić jakość odpowiedzi na pytania dotyczące rozliczeń i płatności niezależnie od innych przypadków użycia, takich jak rozwiązywanie problemów.

Dowiedz się więcej o tworzeniu zestawów testowych na podstawie motywu.