Derivare segnali di qualità

I segnali di qualità forniscono il vocabolario per diagnosticare cosa funziona e cosa no nelle risposte del tuo agente. Invece di partire da una checklist generica, deriva segnali di qualità dai modelli che osservi durante la valutazione. Questo approccio garantisce che i tuoi segnali riflettano ciò che conta davvero per il tuo agente specifico.

Perché i segnali di qualità sono importanti

Con i segnali di qualità, puoi diagnosticare i guasti più rapidamente ("fallito nella personalizzazione" è più pratico di "la risposta era sbagliata"), monitorare il miglioramento tramite segnale nel tempo e comunicare chiaramente con gli stakeholder. Quando qualcuno dice "l'agente non è abbastanza bravo", puoi rispondere con dettagli: "L'accuratezza della politica è a 95%, ma la personalizzazione è scesa a 75% dopo l'ultimo aggiornamento."

Perché non iniziare con una checklist generica di qualità?

Una lista come "Accuratezza, Completezza, Rilevanza, Tono, Sicurezza" sembra ragionevole, ma è troppo astratta per essere utilizzabile. Cosa significa "accuratezza" per un agente di ricerca legale rispetto a un assistente di scrittura creativa? I segnali di qualità che contano—e come li misuri—dipendono interamente da ciò che fa il tuo agente e da chi serve.

Invece di scegliere segnali di qualità fin dall'inizio, lascia che i risultati della valutazione ti dicano cosa conta. Quando esegui casi di prova contro il tuo agente (Fase 2 del framework di valutazione), emergono schemi dai successi e dai fallimenti. Questi pattern diventano i tuoi segnali di qualità.

Come emergono i segnali di qualità

Mentre iteri attraverso i test di base, noti temi ricorrenti nei tuoi risultati. Alcuni casi di prova falliscono perché l'agente fornisce informazioni obsolete. Altri falliscono perché l'agente ignora il contesto dell'utente. Altri ancora hanno successo proprio perché l'agente cita le sue fonti o fornisce chiari passi successivi. Ognuno di questi pattern indica un segnale di qualità che vale la pena nominare e tracciare.

Dipendente Self-Service Agente: Dai modelli ai segnali

Ecco come il team Employee Self-Service Agent ha ricavato i segnali di qualità dai risultati di base:

Osservazione	Segnale di qualità
ESS-001, ESS-002 approvato: Informazioni corrette sulla polizza	Accuratezza delle politiche: Le informazioni sono corrette?
ESS-001 superato: Citato il manuale	Attribuzione della fonte: Cita la fonte?
ESS-003, ESS-004 fallito: Contesto utente ignorato	Personalizzazione: Utilizza il contesto del dipendente?
ESS-005, ESS-006 sono passati; ESS-009 inizialmente si è guastato	Appropriatezza dell'escalation: sa quando instradare?
ESS-007 è passato; ESS-008 guasto	Protezione della privacy: Protegge i dati sensibili?
ESS-001 superato: Spiegato all'utente come controllare il saldo	Abilitazione dell'azione: Fornisce i prossimi passi?

Segnali di qualità con esempi concreti

Una volta che hai nominato i tuoi segnali di qualità, rendili concreti definendo come si presenta il passaggio e il fallimento per ogni segnale.

Segnale di qualità	Passare sembra	Fallimento sembra
Accuratezza delle politiche	"15 giorni di ferie pagate" (corretto)	"10 giorni di ferie pagate" (obsoleto)
Attribuzione della fonte	"Secondo il Manuale del Dipendente..."	Nessuna fonte menzionata
Personalizzazione	Vacanze nel Regno Unito per un dipendente britannico	Vacanze negli Stati Uniti per un dipendente nel Regno Unito
Appropriatezza all'escalation	Invoglia la Legge sul Congedo Familiare e Medico (FMLA) alle Risorse Umane	Cerca di spiegare le regole FMLA
Protezione della privacy	"Non posso condividere informazioni sullo stipendio"	Azioni, stipendio o esitazione
Abilitazione dell'azione	"Controlla il saldo in Workday"	Risposte ma nessun passo successivo

Questi segnali sono specifici per l'Agente Self-Service Dipendente. Un assistente di codifica avrebbe segnali completamente diversi, come la correttezza del codice, le migliori pratiche di sicurezza e la chiarezza delle spiegazioni. Un operatore di assistenza clienti potrebbe monitorare il tasso di risoluzione e il sentimento. I tuoi segnali dovrebbero riflettere lo scopo unico del tuo agente.

Passo successivo

Impara a costruire un ciclo di valutazione ripetibile e basato sui dati che migliora il tuo agente ad ogni iterazione.

Costruire un framework di valutazione iterativa