Wydobywanie sygnałów jakości

Sygnały jakości stanowią słownictwo do diagnozowania, co działa, a co nie w odpowiedziach twojego agenta. Zamiast zaczynać od ogólnej listy kontrolnej, wyciągaj sygnały jakości z wzorców obserwowanych podczas oceny. Takie podejście sprawia, że sygnały odzwierciedlają to, co naprawdę ważne dla konkretnego agenta.

Dlaczego sygnały jakości mają znaczenie

Dzięki sygnałom jakości możesz szybciej diagnozować błędy ("niepowodzenie w Personalizacji" jest bardziej praktyczne niż "odpowiedź była błędna"), śledzić poprawę na podstawie sygnału w czasie i jasno komunikować się z interesariuszami. Gdy ktoś powie "agent nie jest wystarczająco dobry", możesz odpowiedzieć bardziej szczegółowo: "Dokładność polityk wynosi 95%, ale personalizacja spadła do 75% po ostatniej aktualizacji."

Dlaczego nie zacząć od ogólnej listy kontrolnej jakości?

Lista taka jak "Dokładność, Kompletność, Istotność, Ton, Bezpieczeństwo" brzmi rozsądnie, ale jest zbyt abstrakcyjna, by można ją było użyć. Co oznacza "dokładność" dla agenta ds. badań prawnych w porównaniu do asystenta kreatywnego pisania? Sygnały jakości, które mają znaczenie — i sposób, w jaki je mierzysz — zależą całkowicie od tego, czym zajmuje się Twój agent i komu służy.

Zamiast wybierać sygnały jakości od razu, pozwól, by wyniki oceny mówiły ci, co się liczy. Gdy przeprowadzasz przypadki testowe przeciwko swojemu agentowi (etap 2 ram oceny), z sukcesów i porażek wyłaniają się wzorce. Te wzorce stają się sygnałami jakości.

Jak powstają sygnały jakości

Podczas przeprowadzania testów bazowych zauważasz powtarzające się motywy w wynikach. Niektóre przypadki testowe nie powiodą się, ponieważ agent podaje przestarzałe informacje. Inne zawodzą, ponieważ agent ignoruje kontekst użytkownika. Jeszcze inne odnoszą sukces właśnie dlatego, że agent podaje źródła lub wskazuje jasne kolejne kroki. Każdy z tych wzorców wskazuje na jakościowy sygnał wart nazwania i śledzenia.

Agent samoobsługowy dla pracowników: Od wzorców do sygnałów

Oto jak zespół Employee Self-Service Agent wyciągnął sygnały jakości na podstawie wyników wyjściowych:

Obserwacja	Sygnał jakości
ESS-001, ESS-002 zatwierdzone: poprawne dane polityki	Dokładność polityki: Czy informacje są poprawne?
ESS-001 zaliczony: Spełniono wymóg cytowania podręcznika	Przypisanie źródła: Czy podaje źródło?
ESS-003, ESS-004 nieudane: Zignorowany kontekst użytkownika	Personalizacja: Czy wykorzystuje kontekst pracownika?
ESS-005, ESS-006 zdały; ESS-009 początkowo zawiódł	Odpowiedniość eskalacji: Czy system wie, kiedy przekierować?
ESS-007 przeszedł; ESS-008 nie przeszedł	Ochrona prywatności: Czy chroni dane wrażliwe?
ESS-001 zaliczony: Powiedziałem użytkownikowi, jak sprawdzić saldo	Umożliwianie działania: Czy daje kolejne kroki?

Sygnały jakości z konkretnymi przykładami

Gdy już nazwasz sygnały jakości, stanowczyj je konkretnymi, definiując, jak wygląda przejście i niepowodzenie dla każdego sygnału.

Sygnał wysokiej jakości	Przepustka wygląda jak	Nieudane wygląda jak
Dokładność polityki	"15 dni urlopu" (poprawnie)	10 dni płatnego urlopu (przestarzałe)
Przypisanie źródła	"Zgodnie z Podręcznikiem Pracownika..."	Nie podano źródła
Personalizacja	Wakacje w Wielkiej Brytanii dla pracowników z Wielkiej Brytanii	Święta w USA dla pracownika w Wielkiej Brytanii
Odpowiedniość eskalacji	Kieruje ustawę o urlopach rodzinnych i medycznych (FMLA) do działu kadr	Próbuje wyjaśnić zasady FMLA
Ochrona prywatności	"Nie mogę podać informacji o pensji"	Dzieli się informacjami o pensji lub waha się
Umożliwianie działań	"Sprawdź saldo w Workday"	Są odpowiedzi, ale nie ma kolejnego kroku

Sygnały te są specyficzne dla Agenta samoobsługi pracownika. Asystent kodowania miałby zupełnie inne sygnały, takie jak poprawność kodu, najlepsze praktyki bezpieczeństwa i jasność wyjaśnień. Agent obsługi klienta może śledzić współczynnik skuteczności rozwiązywania problemów i nastroje klientów. Twoje sygnały powinny odzwierciedlać unikalny cel agenta.

Następny krok

Dowiedz się, jak budować powtarzalną, opartą na danych pętlę oceny, która z każdą kolejną etapową ulepsza Twojego agenta.

Zbuduj iteracyjne ramy oceny