Często zadawane pytania dotyczące analizy

Ten artykuł zawiera odpowiedzi na często zadawane pytania dotyczące możliwości sztucznej inteligencji używanych w funkcjach analizy w Copilot Studio.

W jaki sposób generatywna sztuczna inteligencja jest używana do analizy?

Copilot Studio wykorzystuje sztuczną inteligencję do oceny jakości odpowiedzi generowanych przez AI oraz identyfikowania wzorców w zapytaniach użytkowników metodą grupowania. Te klastry zapewniają wgląd w wydajność agenta.

Generowanie odpowiedzi za pomocą wybranych przez Ciebie źródeł wiedzy. Funkcja zbiera również wszelkie opinie przekazane przez użytkownika. Analiza używa dużych modeli językowych (LLMs) do klasyfikowania wiadomości czatu między użytkownikami a agentami na poziomy wskazujące jakość generowanych odpowiedzi. Te klasyfikacje są agregowane w celu udostępnienia podsumowania wydajności agenta.

Klasteryzacja używa modeli LLM do sortowania komunikatów użytkowników na grupy na podstawie wspólnych tematów i nadawania każdej grupie opisowej nazwy. Program Copilot Studio używa nazw tych klastrów do udostępniania różnych typów szczegółowych informacji, których można użyć do ulepszania agenta.

Jakość odpowiedzi generowanych

Jakie jest zamierzone wykorzystanie jakości odpowiedzi?

Użyj funkcji analizy odpowiedzi, aby zrozumieć wydajność agenta i zidentyfikować ulepszenia. Obecnie możesz użyć analityki, aby zrozumieć, czy jakość odpowiedzi generowanych przez agenta spełnia Twoje oczekiwania.

Oprócz ogólnej jakości, jakość analizy odpowiedzi identyfikuje obszary, w których agent działa źle lub nie może wykonać zamierzonych celów. Zidentyfikuj, gdzie odpowiedzi generowania działają źle, i podejmij kroki w celu poprawy ich jakości.

Podczas identyfikowania niskiej wydajności postępuj zgodnie z najlepszymi rozwiązaniami, które mogą pomóc poprawić jakość. Na przykład po zidentyfikowaniu źródeł wiedzy o niskiej wydajności można edytować źródło wiedzy lub podzielić źródło wiedzy na wiele, bardziej skoncentrowanych źródeł pod kątem zwiększonej jakości.

Jakie dane są używane do tworzenia analiz pod kątem jakości odpowiedzi?

Jakość analizy odpowiedzi jest oparta na przykładzie interakcji odpowiedzi generatywnej. Wymaga to zapytania użytkownika, odpowiedzi agenta oraz odpowiednich źródeł wiedzy używanych przez model generatywny na potrzeby odpowiedzi generatywnej. Analiza jakości odpowiedzi używa tych informacji do oceny, czy jakość generowanych odpowiedzi jest dobra, a jeśli nie, dlaczego jakość jest niska. Na przykład analiza jakości odpowiedzi może wskazywać niekompletne, nieistotne lub nie w pełni uzasadnione odpowiedzi.

Jakie są ograniczenia dotyczące jakości analizy odpowiedzi i jak użytkownicy mogą zminimalizować skutki tych ograniczeń?

• Analityka jakości odpowiedzi nie używa wszystkich odpowiedzi generowanych. Zamiast tego analiza mierzy próbkę sesji agenta użytkownika. Agenci, którzy mają mniej niż minimalną liczbę udanych odpowiedzi generatywnych, nie mogą otrzymać analitycznego podsumowania jakości odpowiedzi.

• Istnieją przypadki, w których analiza nie bada rzetelnie pojedynczej odpowiedzi. Na zagregowanym poziomie analiza powinna być rzetelna w większości przypadków.

• Analiza jakości odpowiedzi nie daje podziału konkretnych zapytań, które doprowadziły do niskiej jakości wydajności. Nie udostępniają one również podziału typowych źródeł wiedzy ani tematów, które były używane w przypadku wystąpienia odpowiedzi o niskiej jakości.

• Analizy nie są obliczane dla odpowiedzi korzystających z wiedzy generatywnej.

• Kompletność odpowiedzi jest jednym z wskaźników stosowanych do oceny jakości odpowiedzi. Ta metryka mierzy, jak w pełni odpowiedź odnosi się do treści pobranego dokumentu.

  Jeśli system nie pozyskuje odpowiedniego dokumentu z dodatkowymi informacjami do pytania, nie ocenia metryki kompletności tego dokumentu.

Jakie zabezpieczenia są wdrożone w Copilot Studio w celu zapewnienia jakości analizy odpowiedzi dla odpowiedzialnej sztucznej inteligencji?

Użytkownicy agentów nie widzą wyników analizy. Wyniki są dostępne tylko dla twórców agentów i administratorów.

Twórcy i administratorzy mogą używać analiz jakości odpowiedzi tylko w celu zobaczenia procentu odpowiedzi dobrych jakościowo oraz wszelkich wstępnie zdefiniowanych przyczyn słabego działania. Wyniki są agregowane i prezentowane jako wartości procentowe i wstępnie zdefiniowane kategorie.

Dokładnie przetestowaliśmy działanie funkcji analizy jakości odpowiedzi w trakcie jej opracowywania, aby zapewnić dobrą skuteczność działania. Jednak w rzadkich przypadkach oceny jakości odpowiedzi mogą być niedokładne.

Analiza sentymentu podczas sesji konwersacyjnych

Jaki jest zamierzony cel analizy sentymentu?

Analiza tonacji umożliwia zrozumienie poziomu zadowolenia użytkowników podczas sesji konwersacji na podstawie analizy sztucznej inteligencji komunikatów użytkowników do agenta. Możesz zrozumieć ogólną tonację sesji (pozytywną, negatywną lub neutralną), zbadać przyczyny i podjąć działania, aby rozwiązać ten problem.

Jakie dane są używane do analizy sentymentu?

Analiza sentymentu wykorzystuje wiadomości użytkowników kierowane do agenta dla przykładowego zestawu sesji konwersacyjnych.

Analiza sentymentu wykorzystuje te informacje do oceny, czy satysfakcja użytkownika podczas sesji jest pozytywna, negatywna czy neutralna. Na przykład użytkownik może używać słów i tonu głosu, które wskazują na frustrację lub niezadowolenie w zależności od interakcji z agentem. W takim przypadku sesja jest klasyfikowana jako negatywny nastrój.

Jakie są ograniczenia analizy sentymentu i jak użytkownicy mogą je złagodzić?

Analiza opinii nie jest obliczana na podstawie wszystkich sesji konwersacyjnych. Zamiast tego analiza mierzy próbkę sesji agenta użytkownika. Agenci, którzy nie osiągnęli minimalnej liczby udanych odpowiedzi generatywnych dziennie, nie mogą otrzymać oceny sentymentu.

Analiza sentymentu obecnie opiera się na odpowiedziach generatywnych i wymaga minimalnej liczby codziennych udanych odpowiedzi, aby obliczyć wskaźnik sentymentu dla agenta.

Aby obliczyć sentyment sesji, muszą być co najmniej dwie wiadomości użytkownika. Dodatkowo, ze względu na obecne ograniczenia techniczne, analiza sentymentu nie jest przeprowadzana w sesjach przekraczających łącznie 26 wiadomości (w tym zarówno od użytkownika, jak i agenta)

Analiza sentymentu nie dostarcza podziału konkretnych komunikatów użytkowników, które doprowadziły do oceny sentymentu.

Jakie zabezpieczenia są wdrożone dla analizy sentymentu w programie Copilot Studio dla odpowiedzialnej AI?

Użytkownicy agentów nie widzą wyników analizy. Wyniki są dostępne tylko dla twórców agentów i administratorów.

Możesz użyć tylko analizy nastroju, aby zobaczyć podział nastrojów we wszystkich sesjach.

Analizę nastroju dokładnie przetestowaliśmy podczas produkcji, aby zapewnić dobrą wydajność. Jednak w rzadkich przypadkach oceny nastrojów mogą być niedokładne.

Motywy pytań użytkowników

Jakie jest zamierzone użycie motywów?

Klastrowanie według motywów i analizy na poziomie motywu pomaga szybko zrozumieć, o co pytają użytkownicy na dużą skalę. Ta funkcja analizuje duże wolumeny zapytań użytkowników i wyodrębnia nadrzędne tematy („tematy”), które odzwierciedlają główne zagadnienia interesujące użytkowników. Ta analiza ułatwia przejście od inspekcji poszczególnych konwersacji do identyfikowania szerszych wzorców, pojawiających się potrzeb i obszarów zainteresowania.

Zapewniając ustrukturyzowane, oparte na danych omówienie aktywności użytkownika, analiza na poziomie motywu ułatwia:

• Zidentyfikuj najczęściej używane tematy, z których korzystają użytkownicy.

• Wykrywaj luki w zasięgu lub niejasne doświadczenia.

• Monitoruj, jak zainteresowania użytkowników ewoluują wraz z upływem czasu.

• Określanie priorytetów ulepszeń na podstawie rzeczywistego zapotrzebowania użytkowników.

Jak analiza motywu działa na wysokim poziomie?

Ta funkcja działa w ramach wieloetapowego procesu, który stale organizuje zapytania użytkowników w sensowne grupy. Na wysokim poziomie ten proces obejmuje dwie kluczowe fazy:

Generowanie kandydata na motyw

System analizuje ostatni zestaw zapytań użytkowników i identyfikuje motywy kandydatów, które reprezentują różne tematy wysokiego poziomu. System wykrywa wzorce, podobieństwa i cykliczne tematy w zapytaniach w celu uzyskania tych kandydatów.

Przypisywanie zapytań do tematów

Gdy system generuje motywy kandydatów, kojarzy poszczególne zapytania z najbardziej odpowiednim motywem. Każdy motyw reprezentuje kolekcję powiązanych pytań użytkownika i rozwija się, gdy system przetwarza nowe zapytania. System uściśli te motywy w czasie przy użyciu sygnałów, takich jak podobieństwo semantyczne i opinie użytkowników. Ten proces uściślenia umożliwia reprezentacji dostosowanie się w miarę zmian zachowania użytkownika.

Jakie dane są używane do tworzenia motywów?

Użytkownicy generują motywy na podstawie zapytań, które powodują generowanie odpowiedzi. Proces koncentruje się na ostatnim oknie działań, aby zapewnić, że motywy odzwierciedlają bieżące zainteresowania użytkowników i ewoluujące trendy. Gdy nowe dane staną się dostępne, system odświeża motywy, aby zachować ich znaczenie.

Ponieważ motywy opierają się na wzorcach w zapytaniach użytkowników, funkcja zależy od znaczącej ilości działań do przeanalizowania. W sytuacjach, w których istnieją ograniczone dane lub wysoce pofragmentowane zapytania, system może nie generować motywów lub zapewnić ograniczony wgląd.

Jakie są ograniczenia analizy motywów i jak można je złagodzić?

Analiza motywów to oparty na danych system klastrowania, a jego skuteczność zależy od charakteru i liczby zapytań użytkowników. Niektóre potencjalne ograniczenia obejmują:

• Niewystarczające lub wysoce zróżnicowane dane mogą prowadzić do motywów, które są zbyt szerokie lub wąskie.

• Ściśle powiązane tematy mogą być czasami podzielone na oddzielne motywy.

• Niepowiązane zapytania mogą być czasami grupowane razem.

• Zmiany w języku użytkownika w czasie mogą mieć wpływ na spójność motywów.

Aby uzyskać największą wartość z motywów:

• Regularnie przeglądaj wygenerowane motywy.

• Prześlij opinię (na przykład: kciuki w górę lub w dół), aby poprawić jakość.

• Tematy należy interpretować jako wskazówki kierunkowe, a nie jako dokładne kategorie.

Jakie są odpowiedzialne zabezpieczenia sztucznej inteligencji?

Klastrowanie i analiza motywów zostały zaprojektowane z myślą o zasadach odpowiedzialnej sztucznej inteligencji.

• Autoryzowani twórcy i administratorzy są jedynymi osobami, które mogą wyświetlać motywy.

• Tylko ci, którzy mają uprawnienia do wyświetlenia zapytań użytkowników, mogą zobaczyć ich podział na motywy.

• Tematy odzwierciedlają treść zapytań użytkowników, dzięki czemu stanowią rzetelne podsumowanie, które mogą zobaczyć twórcy i administratorzy.

Te zabezpieczenia pomagają zapewnić, że funkcja Themes dostarcza przydatnych informacji, a jednocześnie pozwala zachować bezpieczne i kontrolowane środowisko.

Analiza metryk niestandardowych

Jakie jest zamierzone użycie metryk niestandardowych?

Użyj analizy niestandardowych metryk, aby zrozumieć, w jakim stopniu Twoi agenci konwersacyjni wpływają na wyniki biznesowe. Te metryki uzupełniają analizę oszczędności. Przykłady metryk niestandardowych obejmują współczynnik rozpoznawania, klasyfikację intencji klienta i inne wyniki specyficzne dla domeny.

Metryki niestandardowe mogą pokazywać, gdzie agenci przegapią zamierzone cele. Zdefiniuj, co należy zmierzyć, przetestować metryki względem rzeczywistych danych sesji i uściślić definicje na podstawie wyników.

Jakie dane są używane do obliczania metryk niestandardowych?

Oblicz niestandardowe metryki na podstawie próbki poprzednich sesji agenta. Obliczenie używa wiadomości konwersacyjnych wymienianych podczas sesji.

Model AI klasyfikuje dane sesji na podstawie definicji metryki. Agent agreguje wyniki dla próby, aby pokazać ogólną wydajność mierników dla wybranego okresu czasu.

Jakie są ograniczenia metryk niestandardowych i jak użytkownicy mogą zminimalizować skutki ograniczeń?

Metryki niestandardowe nie korzystają ze wszystkich sesji agenta. Zamiast tego mierzą próbkę sesji z wybranego okresu. Ponieważ wyniki są oparte na próbce, traktuj je jako wskaźniki kierunkowe, a nie dokładne liczby.

Należy wziąć pod uwagę, że obliczenie metryki jest oparte na transkrypcji komunikatów podczas interpretowania metryk. Unikaj wyciągania wniosków dotyczących zachowań występujących głównie poza komunikatami, takich jak tematy i narzędzia.

Model sztucznej inteligencji może błędnie sklasyfikować sesje. Wyniki zbiorcze są ogólnie dokładne. Sesje, które nie pasują do zdefiniowanej kategorii, są umieszczane w kategorii rezerwowej (inne). Jeśli wyniki testu nie pasują do oczekiwanych wyników, możesz zaktualizować opis metryki i definicje kategorii.

Jeśli po zdefiniowaniu metryki znacząco zmienisz instrukcje lub konfigurację agenta, metryka może nie odzwierciedlać zaktualizowanego zachowania agenta. Po wprowadzeniu istotnych zmian agenta przejrzyj jego metryki niestandardowe.

Jakie zabezpieczenia są zastosowane dla metryk niestandardowych w Copilot Studio w kontekście odpowiedzialnej sztucznej inteligencji?

Tylko twórcy agentów i administratorzy mogą mieć dostęp do wyników niestandardowych metryk. Użytkownicy agenta nie mają dostępu do wyników analizy.

Przed zapisaniem przejrzyj i zatwierdź wszystkie metryki niestandardowe. Podczas definicji metryki testujesz metryki względem przykładowych danych sesji i przeglądasz poszczególne wyniki i rozumowanie modelu. Jeśli wyniki nie spełniają oczekiwań, możesz zaktualizować lub odrzucić metryki. Metryki nie są stosowane bez jawnego potwierdzenia.

Wygenerowany przez sztuczną inteligencję monit używany do klasyfikowania sesji jest widoczny w interfejsie użytkownika, dzięki czemu możesz zrozumieć, w jaki sposób model interpretuje definicję metryki. Metryki niestandardowe można edytować lub usuwać w dowolnym momencie.

W rzadkich przypadkach klasyfikacje poszczególnych sesji mogą być niedokładne. Wyniki powinny być interpretowane w agregacji, a nie na poziomie poszczególnych sesji.

Treści powiązane

• Analizy
• Często zadawane pytania dotyczące odpowiedzi generatywnych