Odvoďte signály kvality

Kvalitní signály poskytují slovník pro diagnostiku toho, co funguje a co ne v odpovědích vašeho agenta. Místo začínání s obecným kontrolním seznamem odvozujte signály kvality ze vzorců, které pozorujete při hodnocení. Tento přístup zajišťuje, že vaše signály odrážejí to, co je skutečně důležité pro vašeho konkrétního makléře.

Proč jsou kvalitní signály důležité

S kvalitními signály můžete rychleji diagnostikovat selhání ("selhalo v personalizaci" je konkrétnější než "odpověď byla špatná"), sledovat zlepšení podle signálu v průběhu času a jasně komunikovat se zainteresovanými stranami. Když někdo řekne "agent není dost dobrý", můžete odpovědět konkrétně: "Přesnost pojistky je na 95%, ale personalizace klesla na 75% po poslední aktualizaci."

Proč nezačít s obecným kontrolním seznamem kvality?

Seznam jako "Přesnost, Úplnost, Relevance, Tón, Bezpečnost" zní rozumně, ale je příliš abstraktní na to, aby byl použitelný. Co znamená "přesnost" pro právního výzkumného agenta oproti asistentovi tvůrčího psaní? Signály kvality, na kterých záleží – a jak je měříte – závisí zcela na tom, co váš agent dělá a komu slouží.

Místo abyste hned vybíral kvalitní signály, nechte výsledky hodnocení, aby vám řekly, co je důležité. Když spouštěte testovací případy proti svému agentovi (fáze 2 hodnotícího rámce), z úspěchů a neúspěchů se objevují vzorce. Tyto vzory se stávají tvými signály kvality.

Jak vznikají signály kvality

Jak procházíte základním testováním, všimnete si opakujících se motivů ve výsledcích. Některé testovací případy selžou, protože agent poskytuje zastaralé informace. Jiné selžou, protože agent ignoruje uživatelův kontext. Jiné uspějí právě proto, že agent cituje své zdroje nebo jasně uvádí další kroky. Každý z těchto vzorů ukazuje na kvalitní signál, který stojí za to pojmenovat a sledovat.

Employee Self-Service Agent: Od vzorů k signálům

Takto tým samoobslužné služby pro zaměstnance odvodil kvalitu signálů z výchozích výsledků:

Pozorování	Signál kvality
ESS-001, ESS-002 úspěšné: Správné informace o zásadách	Přesnost politiky: Jsou informace správné?
ESS-001 schválen: Citováno z příručky	Připsání zdroje: Uvádí zdroj?
ESS-003, ESS-004 selhalo: Ignorován uživatelský kontext	Personalizace: Využívá kontext zaměstnance?
ESS-005, ESS-006 prošlo; ESS-009 zpočátku selhal	Vhodnost eskalace: Ví, kdy směrovat?
ESS-007 prošla; ESS-008 selhal	Ochrana soukromí: Chrání citlivá data?
ESS-001 úspěšný: Bylo uživateli řečeno, jak zkontrolovat zůstatek	Umožnění akcí: Dává to další kroky?

Kvalitní signály s konkrétními příklady

Jakmile pojmenujete své signály kvality, udělejte je konkrétními tím, že definujete, kdy signály vyhovují nebo nevyhovují.

Kvalitní signál	Úspěch vypadá takto	Jak vypadá neúspěch
Přesnost politiky	"15 dní placené volno" (správně)	"10 dní volna" (zastaralé)
Uvedení zdroje	"Podle zaměstnanecké příručky..."	Zdroj není uveden
Individuální nastavení	Dovolené ve Velké Británii pro zaměstnance ve Velké Británii	Dovolená v USA pro zaměstnance ve Velké Británii
Eskalační vhodnost	Zákon o rodinné a zdravotní dovolené (FMLA) směřuje k HR	Snaží se vysvětlit pravidla FMLA
Ochrana soukromí	"Nemohu sdílet informace o platu"	Podílí se na platu nebo váhá
Podpora akcí	"Zkontrolujte zůstatek ve Workday"	Odpovědi, ale žádný další krok

Tyto signály jsou specifické pro zaměstnance Self-Service agenta. Asistent kódování by měl zcela odlišné signály, jako je správnost kódu, osvědčené bezpečnostní postupy a srozumitelnost vysvětlení. Agent zákaznické podpory může sledovat míru řešení a sentiment. Vaše signály by měly odrážet jedinečný účel vašeho agenta.

Další krok

Naučte se, jak vytvořit opakovatelnou, datově řízenou hodnotící smyčku, která s každou iterací zlepší vašeho agenta.

Vytvořte iterativní hodnotící rámec