Derivare segnali di qualità per la valutazione dell'agente Copilot

I segnali di qualità forniscono un modo strutturato per capire perché le risposte degli agenti hanno esito positivo o negativo. Consentono ai team di raggruppare i risultati della valutazione in categorie significative, assegnare priorità ai miglioramenti e tenere traccia dei progressi nel tempo.

Questo articolo spiega come derivare segnali di qualità dai risultati della valutazione per diagnosticare problemi, identificare modelli e migliorare le prestazioni dell'agente Copilot.

Usando segnali di qualità, i team possono:

  • Identificare gli schemi di errore ricorrenti
  • Assegnare priorità ai miglioramenti in base all'impatto
  • Monitorare le prestazioni tra le iterazioni
  • Comunicare chiaramente i risultati agli stakeholder

Cosa sono i segnali di qualità?

I segnali di qualità sono categorie che rappresentano modelli nei risultati della valutazione. Provengono da comportamenti osservati piuttosto che da regole predefinite.

Asserzioni e segnali di qualità lavorano insieme in un flusso di lavoro di valutazione:

  • Le asserzioni determinano se una risposta viene superata o meno.
  • I segnali di qualità raggruppano i risultati delle asserzioni in modelli di livello superiore.
Aspetto Asserzioni Segnali di qualità
Livello Specifico e concreto Astratto e categorico
Scopo Determinare se è stato superato o non superato Diagnosticare modelli
Quantità Molti per caso di test Pochi per agente
Origine Definito prima del test Derivato dai risultati
Esempio Contiene "15 giorni" Accuratezza dei criteri

Dopo aver definito le asserzioni, ricava segnali di qualità dai risultati delle asserzioni e usa tali segnali per tenere traccia delle prestazioni in più scenari.

Segnali di qualità comuni

Quando si valutano gli agenti Copilot, usare i segnali di qualità comuni seguenti:

  • Accuratezza dei criteri : misura se le risposte sono allineate a fonti di conoscenza autorevoli
  • Attribuzione della fonte – Misura se le risposte identificano chiaramente le fonti di informazione
  • Personalizzazione : misura se le risposte utilizzano il contesto utente pertinente
  • Precisione dell'utensile : misura se le chiamate dell'utensile vengono eseguite correttamente
  • Gestione della risposta dell'utensile : misura se l'agente interpreta correttamente l'output dello strumento
  • Appropriatezza dell'escalation: misura se le richieste vengono indirizzate al supporto umano quando necessario
  • Protezione della privacy – Misura se le informazioni sensibili sono salvaguardate
  • Abilitazione all'azione : misura se le risposte forniscono passaggi successivi chiari

Valutazione del segnale e cause comuni

Nella tabella seguente sono elencati gli indicatori per ogni segnale di qualità.

Segnale di qualità Indicatori di passaggio Indicatori di errore Cause comuni
Accuratezza dei criteri Valori e date corretti

Dettagli accurati dei criteri

Coerente con la documentazione corrente
Valori obsoleti o non corretti

Dettagli conflittuali o inventati
Documenti obsoleti o duplicati

Risultati di recupero non corretti

Allucinazioni da modellare
Attribuzione della fonte Riferimenti a documenti o sezioni specifiche

Cancellare le dichiarazioni di attribuzione
Nessuna fonte fornita

Riferimenti vaghi o generici
Metadati di origine mancanti

Le istruzioni non enfatizzano l'attribuzione
Personalizzazione Risposte specifiche dell'area o del ruolo

Consigli sensibili al contesto
Risposte generiche che ignorano il contesto dell'utente

Informazioni regionali o basate sui ruoli non corrette
Contesto utente non disponibile per l'agente

Fonti di conoscenza non segmentate in base al gruppo di destinatari
Precisione dell'utensile Selezione corretta dell'utensile

Parametri e identificatori validi

Tutti i campi obbligatori compilati
Parametri mancanti o non corretti

Input dello strumento non validi
Specifiche API ambigue

Mapping dei parametri non corretto
Gestione delle risposte degli utensili Comunicazione accurata dei risultati degli utensili

Gestione corretta degli stati di esito positivo e di errore
Affermazioni di successo non corrette

Errori dello strumento ignorati o interpretati in modo errato
Indicazioni mancanti per la gestione degli errori

Interpretazione errata delle risposte dell'utensile
Adeguatezza dell'escalation I problemi sensibili o complessi vengono instradati correttamente

Conformità alle regole di escalation
L'agente tenta di gestire scenari non supportati

Mancata escalation delle richieste ad alto rischio
Criteri di escalation non definiti

Istruzioni eccessivamente permissive
Protezione della privacy Rifiuto di comunicare i dati riservati

Risposte limitate alle informazioni autorizzate
Divulgazione o inferenza di dati sensibili

Risposte che espongono informazioni protette
Controlli di accesso deboli

Indicazioni sulla privacy insufficienti
Abilitazione delle azioni Istruzioni specifiche

Collegamenti, identificatori o dettagli di contatto
Istruzioni vaghe o incomplete

Passaggi interattivi mancanti
Informazioni procedurali mancanti nelle origini delle conoscenze

Risposte riepilogate eccessivamente

Come derivare segnali di qualità

I segnali di qualità derivano da modelli nei risultati della valutazione anziché da elenchi di controllo predefiniti. Per ricavare segnali di qualità:

  • Eseguire un set iniziale di test case di valutazione.
  • Esaminare le risposte non riuscite nei test case.
  • Identificare gli schemi ricorrenti negli errori.
  • Definire ogni modello come un segnale di qualità.
  • Contrassegnare le asserzioni correlate al segnale corrispondente.
  • Tenere traccia delle percentuali di superamento in base al segnale.

Segnali di qualità nella pratica

L'esempio seguente mostra i segnali di qualità definiti per un agente di onboarding dei dipendenti.

Osservazione Modello identificato Segnale di qualità
Valori corretti della presa di forza restituiti Recupero accurato delle conoscenze Accuratezza dei criteri
Fonte citata in risposta Attribuzione inclusa Attribuzione della fonte
Informazioni regionali errate restituite Contesto non usato Personalizzazione
Strumento richiamato con parametri non corretti Errore di esecuzione Precisione dell'utensile
Richiesta indirizzata alle risorse umane in modo appropriato Inoltro corretto Adeguatezza dell'escalation
Dati sensibili quasi esposti Rischio limite privacy Protezione della privacy
Risposta inclusa Passaggi successivi Risposta attuabile Abilitazione delle azioni

Di seguito sono riportate misure specifiche per i segnali di qualità.

Accuratezza dei criteri Attribuzione della fonte Precisione dell'utensile
Contiene la durata corretta della presa di forza Cita documenti autorevoli Richiama lo strumento corretto
Include la scadenza corretta per l'iscrizione Riferimenti a sezioni specifiche Utilizza parametri validi
Non fa riferimento a criteri obsoleti restituisce un risultato corretto

Applicare e comunicare segnali di qualità

Usa segnali di qualità per guidare i flussi di lavoro di valutazione e comunicare informazioni dettagliate. Per applicare segnali di qualità:

  • Asserzioni di tag : aggiungere tag di segnale a ciascuna asserzione nei test case.

    Caso di test: PTO-001
    Prompt: "Quanti giorni di ferie hanno i nuovi dipendenti?"

    Affermazioni:

    • La risposta contiene "15 giorni".
      Segnale: accuratezza dei criteri

    • La risposta cita il Manuale del dipendente.
      Segnale: Attribuzione della fonte

    • La risposta menziona la fascia di mandato di <2 anni.
      Segnale: Personalizzazione

  • Calcola le metriche : aggrega i risultati di superamento e fallimento in base al segnale.

    Segnale di qualità Casi di test Pass Errore Tasso di superamento
    Accuratezza dei criteri 25 23 2 92%
    Attribuzione della fonte 25 20 5 80%
    Personalizzazione 15 11 4 73%
    Precisione dell'utensile 12 10 2 83%
    Adeguatezza dell'escalation 8 8 0 100%
    Protezione della privacy 10 10 0 100%
  • Assegna priorità ai problemi : concentrati sui segnali con basse frequenze di passaggio o alto impatto.

    1. Personalizzazione (73%) - Divario più grande, indaga prima.
    2. Attribuzione della fonte (80%) - Seconda priorità.
    3. Precisione dell'utensile (83%) - Terza priorità.
    4. Accuratezza dei criteri (92%) - Problemi minori, monitoraggio.
  • Tieni traccia dei progressi : monitora la velocità di passaggio del segnale tra le versioni dell'agente.

    • Versione 1.0 > , 1.1 > , 1.2 > , 1.3
    • Personalizzazione: 73% > 78% > 85% > 91% (in miglioramento)
    • Attribuzione della fonte: 80% > 82% > 88% > 90% (in miglioramento)
    • Precisione dello strumento: 83% > 85% > 84% > 92% (migliorato dopo la regressione v1.2)

I segnali di qualità trasformano le conversazioni con gli stakeholder. Questa specificità consente correzioni mirate, monitoraggio quantitativo dei progressi e una comunicazione più chiara con gli stakeholder.

Senza segnali: L'agente non sta funzionando bene. Gli utenti si lamentano.

Con segnali: L'accuratezza delle policy è al 92%: stiamo raggiungendo il nostro obiettivo. Ma la personalizzazione è scesa al 73% dopo l'ultimo aggiornamento. In particolare, i dipendenti del Regno Unito stanno ricevendo informazioni sulle festività negli Stati Uniti. Abbiamo identificato la causa principale: il recupero del contesto non passa i dati sulla posizione. La correzione è in corso per la prossima versione.

Segnali di qualità per tipo di agente

I segnali di qualità e le priorità variano in base al tipo di agente che si sta valutando.

Tipo di agente Signal Priority
Basato sulla conoscenza Accuratezza dei criteri Alto
Attribuzione della fonte Alto
Completezza Medio
Personalizzazione Medio
Chiamata di strumenti Precisione dell'utensile Alto
Gestione delle risposte degli utensili Alto
Abilitazione delle azioni Alto
Ripristino degli errori Medio
Ibrido Precisione del routing Alto
Segnali di conoscenza Medio
Segnali degli strumenti Medio
Adeguatezza dell'escalation Medio
Rivolto ai clienti Protezione della privacy Alto
Tono e professionalità Alto
Adeguatezza dell'escalation Alto
Completezza della soluzione Medio

Evita le insidie comuni

Evitare i seguenti problemi per garantire che i segnali di qualità rimangano utili, coerenti e utilizzabili.

Usa segnali specifici invece di categorie generiche

I segnali troppo ampi, come "Accuratezza", "Utilità" o "Pertinenza", non forniscono informazioni utili. I segnali generici rendono difficile identificare le cause radice o dare priorità ai miglioramenti.

Definisci invece i segnali in base a modelli specifici e osservabili nei risultati della valutazione.

  • Da evitare: precisione
  • Preferisci: Accuratezza dei criteri, Attribuzione della fonte

Evitare segnali eccessivamente granulari

La creazione di troppi segnali con ambito ristretto aumenta la complessità senza migliorare le informazioni. Una granularità eccessiva frammenta l'analisi e rende più difficile tenere traccia di tendenze significative.

Invece, raggruppa i comportamenti correlati in categorie di segnali più ampie e riutilizzabili.

  • Evitare: Precisione della presa di forza, Precisione dei vantaggi, Precisione delle vacanze
  • Preferisce: accuratezza dei criteri

Evita criteri vaghi di superamento e fallimento

Le definizioni vaghe dei segnali, come "Correttezza", mancano di standard misurabili. Senza criteri chiari, i risultati sono incoerenti e difficili da interpretare.

Invece, definisci i segnali utilizzando comportamenti espliciti e osservabili legati ai risultati della valutazione.

  • Evitare: "La risposta è corretta"
  • Preferisci: "La risposta include il valore corretto e cita una fonte autorevole"

Passaggio successivo