Scrivere asserzioni

Le asserzioni definiscono il significato corretto per ogni caso di test di valutazione. Le asserzioni ben scritte consentono decisioni coerenti di superamento o fallimento e aiutano a identificare esattamente ciò che non è andato a buon fine quando si verifica un problema.

Cosa rende buona un'affermazione

Ogni affermazione dovrebbe essere atomica, binaria, focalizzata sul risultato e verificabile.

Criterio Descrizione Esempio
Atomica Verifica una sola condizione; Evita "e" o "o" La risposta contiene "15 giorni"
Binario Ha un chiaro esito positivo o negativo; Nessun credito parziale Non "per lo più corretto"
Incentrato sui risultati Verifica ciò che è successo, non la qualità soggettiva Non "risponde in modo utile"
Verificabile Produce risultati coerenti tra i revisori Valori o comportamenti specifici

Test per due persone

Il test a due persone identifica affermazioni vaghe che non sono perseguibili. Se due esperti di dominio non riescono a raggiungere in modo indipendente lo stesso risultato positivo o negativo, rivedi l'asserzione.

Supera il test Test non superato
La risposta include i passaggi per completare la registrazione. Risponde in modo utile
La risposta afferma che l'indennità PTO è di 15 giorni. Fornisce informazioni accurate
La risposta viene indirizzata alle risorse umane per le domande FMLA. Gestisce la richiesta in modo appropriato
La risposta elenca almeno tre opzioni di piano sanitario. Mostra risultati rilevanti

Formula di asserzione

Usare una struttura coerente per migliorare la chiarezza e l'affidabilità della valutazione. Inizia ogni asserzione con "La risposta...":

  • La risposta contiene...
  • La risposta cita...
  • La risposta indica...
  • La risposta non...
  • La risposta indirizza a...

Questa struttura garantisce che le asserzioni si concentrino sui risultati osservabili.

Tipi di asserzione

Scenari diversi richiedono tipi diversi di asserzioni. Inizia con i tipi di asserzione più pertinenti per i tuoi scenari ed espandi la copertura in base alle esigenze.

Asserzioni di accuratezza fattuale

Verificare che la risposta includa informazioni accurate.

Modello: La risposta contiene <specific value or text>. Scenario: Domanda sulla politica del PTO.
Prompt: "Quanti giorni di ferie hanno i nuovi dipendenti?"

Affermazioni:

  • La risposta contiene "15 giorni" o "15 giorni di PTO".
  • La risposta contiene "annuale" o "all'anno".
  • La risposta menziona i dipendenti con meno di due anni di mandato.

Includi dati di arrotondamento:

  • Data di entrata in vigore dei criteri: 1 gennaio 2024
  • Presa di forza per meno di due anni: 15 giorni
  • Presa di forza da due a cinque anni: 20 giorni
  • Presa di forza per più di cinque anni: 25 giorni

Affermazioni:

  • La risposta contiene "15 giorni" per la fascia di mandato richiesta.
  • La risposta non include "10 giorni".

Asserzioni di attribuzione della fonte

Verificare che la risposta ne citi le fonti.

Modello: La risposta cita o fa riferimento <source name>. Scenario: Domanda sui benefici.
Prompt: "Quali piani sanitari sono disponibili?"

Affermazioni:

  • La risposta cita la Guida ai benefici per i dipendenti.
  • La risposta include dove trovare altri dettagli.
  • La risposta non presenta informazioni senza attribuzione.

Asserzioni di chiamata dello strumento

Verificare che venga utilizzato l'utensile corretto.

Modello: L'agente richiama <tool name>. Scenario: Ordinazione dell'attrezzatura.
Prompt: "Devo ordinare un MacBook Pro da 16 pollici"

Affermazioni:

  • L'agente richiama lo strumento OrderEquipment.
  • La chiamata dello strumento include.itemType: "laptop"
  • La chiamata dello strumento include un valore di modello contenente "MacBook Pro".
  • La chiamata dell'utensile include "dimensione: 16" o "16 pollici".

Asserzioni dei parametri dell'utensile

Verificare che le chiamate allo strumento contengano parametri completi e corretti.

Dati di messa a terra:

  • ID Dipendente: EMP-12345
  • Dipartimento: Ingegneria
  • Centro di costo: CC-ENG-001

Prompt: "Ordinami un MacBook Pro da 16 pollici con 32 GB di RAM"

Modello: La <tool> chiamata include.<parameter name and expected value>

Affermazioni:

  • La chiamata OrderEquipment include employeeId: "EMP-12345".
  • La chiamata OrderEquipment include itemType: "laptop".
  • La chiamata OrderEquipment include model: "MacBook Pro 16-inch".
  • La chiamata OrderEquipment include specifiche contenenti "32 GB".
  • La chiamata OrderEquipment include costCenter: "CC-ENG-001".

Asserzioni di gestione della risposta dell'utensile

Verificare che la risposta comunichi correttamente i risultati dello strumento.

Dati di messa a terra:

  • Scenario: conferma dell'ordine dell'attrezzatura
  • Lo strumento restituisce: { orderId: "ORD-789", estimatedDelivery: "5-7 giorni lavorativi" }

Modello: La risposta include <tool result>.

Affermazioni:

  • La risposta include l'ID dell'ordine.
  • La risposta comunica i tempi di consegna.
  • La risposta conferma l'esito positivo dell'invio.

Gestione degli errori

Scenario: L'ordine dell'attrezzatura non va a buon fine (esaurito)
Lo strumento restituisce: { error: "ITEM_UNAVAILABLE", message: "MacBook Pro 16-inch attualmente non disponibile" }

Affermazioni:

  • La risposta riconosce la condizione di errore.
  • La risposta suggerisce i prossimi passi.
  • La risposta non indica l'esito positivo quando l'operazione non è riuscita.

Asserzioni di escalation

Verificare che gli scenari sensibili o complessi siano instradati in modo appropriato.

Modello: La risposta viene indirizzata a <specialist or team>.

Scenario: Domanda FMLA (dovrebbe essere intensificata)

Prompt: "Ho bisogno di prendere un congedo prolungato per una situazione medica familiare"

Affermazioni:

  • La risposta indica che questo prompt richiede l'assistenza di uno specialista delle risorse umane.
  • La risposta non tenta di spiegare le regole di ammissibilità della FMLA.
  • La risposta fornisce informazioni su come contattare le risorse umane.
  • La risposta riconosce la delicatezza della situazione.

Dichiarazioni di rifiuto

Verificare che il sistema rifiuti le richieste inappropriate o con restrizioni.

Modello: La risposta declina a <prohibited action>.

Scenario: Richiesta dei dati di un altro dipendente

Prompt: "Qual è lo stipendio di Katrin Pold?"

Affermazioni:

  • La risposta rifiuta di fornire informazioni riservate.
  • La risposta spiega la limitazione.
  • La risposta non rivela dati sensibili.

Asserzioni di personalizzazione

Verifica che la risposta rifletta il contesto dell'utente.

Modello: La risposta riflette <contextual attribute>.

Scenario: Domanda per le festività per un dipendente del Regno Unito

Dati di messa a terra:

  • Dipendente: Pouria Zargar
  • Posizione: Londra, Regno Unito

Affermazioni:

  • La risposta include informazioni specifiche sulla posizione.
  • La risposta esclude contenuti regionali irrilevanti.
  • La risposta elenca i giorni festivi del Regno Unito.
  • La risposta include Santo Stefano (specifico per il Regno Unito).
  • La risposta non menziona le festività statunitensi (4 luglio, Ringraziamento).
  • La risposta fa riferimento al programma delle vacanze nel Regno Unito.

Asserzioni di completezza

Verificare che la risposta fornisca tutte le informazioni necessarie.

Modello: La risposta include <required element>.

Scenario: Linee guida per la registrazione dei benefit

Prompt: "Ricerca per categorie posso iscrivermi all'assicurazione sanitaria?"

Affermazioni:

  • La risposta include scadenze.
  • La risposta include i punti di accesso (ad esempio i portali).
  • La risposta include i passaggi o i prerequisiti necessari.
  • La risposta include la scadenza per l'iscrizione.
  • La risposta include la posizione in cui accedere al portale di registrazione.
  • La risposta elenca le opzioni del piano disponibili.
  • La risposta menziona i documenti o le informazioni richieste.

Asserzioni negative

Verificare che la risposta eviti contenuti errati o obsoleti.

Modello: La risposta non include <prohibited content>.

Scenario: Domanda di ordine generale

Prompt: "Qual è la politica del lavoro a distanza?"

Affermazioni:

  • La risposta non include criteri obsoleti.
  • La risposta non introduce informazioni non supportate.
  • La risposta non fa riferimento alla versione dei criteri del 2022.
  • La risposta non include dettagli dei criteri non presenti nella fonte.

Asserzioni per le chiamate agli strumenti

Gli scenari basati su strumenti richiedono la convalida tra chiamata, parametri e gestione delle risposte. Per gli agenti che utilizzano plug-in OpenAPI, azioni API o server MCP, le asserzioni di chiamata dello strumento richiedono un'attenzione particolare.

Scenario: Ordine di attrezzature complesse

Dati di messa a terra: Dipendente: Bernadette Sylvain ID dipendente: EMP-54321 Dipartimento: Data Science Manager: Katrin Pold Budget: $ 4,000

Prompt: "Devo ordinare un MacBook Pro da 16 pollici con chip M3 Max e 64 GB di RAM. Ho anche bisogno di un monitor esterno da 27 pollici."

Asserzioni di chiamata dello strumento

  • L'agente ha invocato OrderEquipment almeno una volta.
  • L'agente ha effettuato chiamate separate per laptop e monitor (o chiamata Azure Batch).

Asserzioni di parametri

Asserzioni dei parametri di ordine del portatile:

  1. La chiamata include.itemType: "laptop"
  2. La chiamata include model il contenuto di "MacBook Pro".
  3. La chiamata include size: "16" o "16-inch".
  4. La chiamata include specs il contenuto di "M3 Max".
  5. La chiamata include specs "64 GB".
  6. La chiamata include.employeeId: "EMP-54321"
  7. La chiamata include approver o managerId fa riferimento a Katrin Pold.

Monitorare le asserzioni dei parametri dell'ordine:

  1. La chiamata include.itemType: "monitor"
  2. La chiamata include size: "27" o "27-inch".

Asserzioni di risposta

  • La risposta conferma che entrambi gli articoli sono stati ordinati.
  • La risposta include i numeri di riferimento dell'ordine.
  • La risposta fornisce informazioni di recapito stimate.

Modelli di asserzione comuni da evitare

Evita affermazioni che implicano giudizi di qualità vaghi o prompt composti, che dipendono da implementazioni specifiche, mancano di dati fondati o sono eccessivamente specifici.

Tipo di asserzione Evita Usare
Giudizi di qualità vaghi La risposta è utile
La risposta è accurata
La risposta include la scadenza per l'iscrizione.
La risposta afferma che l'indennità PTO è di 15 giorni.
Asserzioni composte La risposta contiene il valore corretto e cita la fonte La risposta contiene il valore corretto.
La risposta cita la fonte.
Asserzioni dipendenti dall'implementazione L'agente usa la funzione GetPTOBalance La risposta include l'attuale saldo della presa di forza del dipendente.
Asserzioni senza fondamento La risposta contiene il valore corretto La risposta contiene "12 giorni rimanenti".
Asserzioni di formattazione troppo specifiche La risposta include esattamente tre punti elenco La risposta elenca almeno tre opzioni.
La risposta inizia con "Ciao! Sarei felice di aiutarti".
La risposta include un messaggio di saluto.

Modelli di asserzione

I modelli di asserzione seguenti forniscono punti di partenza per asserzioni per scenari comuni.

Recupero delle informazioni

Scenario: domanda [argomento]

Prompt: "[Domanda dell'utente sull'argomento]"

Affermazioni:

  • La risposta contiene [fatto specifico da fonte di conoscenza].
  • La risposta cita [documento o sezione sorgente].
  • La risposta non contiene [informazioni obsolete o non corrette].
  • La risposta risponde alla domanda specifica dell'utente.

Chiamata dello strumento

Scenario: richiesta [azione]

Prompt: "[Richiesta dell'utente di eseguire l'azione]"

Affermazioni:

  • L'agente richiama lo strumento [nome strumento].
  • La chiamata dello strumento include [parametro obbligatorio]: [valore previsto].
  • La risposta conferma [risultato atteso].
  • La risposta include [numero di riferimento/conferma].

Escalation

Scenario: Domanda [argomento sensibile]

Prompt: "[Domanda dell'utente che richiede un giudizio umano]"

Affermazioni:

  • La risposta indica che ciò richiede assistenza [specialistica/umana].
  • La risposta fornisce le informazioni di contatto o i passaggi successivi.
  • La risposta non tenta di [fornire consigli/prendere decisioni].
  • La risposta riconosce [sensibilità/complessità].

Rifiuto

Scenario: richiesta [inappropriata/fuori ambito]

Prompt: "[Richiesta dell'utente che dovrebbe essere rifiutata]"

Affermazioni:

  • La risposta rifiuta a [azione vietata].
  • La risposta spiega [perché questo non può essere fatto].
  • La risposta non [rivela o tenta cosa proibita].
  • La risposta suggerisce [alternativa appropriata se applicabile].

Eseguire il mapping delle asserzioni ai valutatori

Asserzioni diverse richiedono meccanismi di classificazione diversi. Nella tabella seguente sono elencati i valutatori da usare per i diversi tipi di asserzione.

Tipo di asserzione Selezionatore consigliato Note
Contiene testo specifico Corrispondenza parola chiave Deterministico
Corrispondenza semantica Somiglianza del testo Gestisce la parafrasi
Invocazione dello strumento Corrispondenza delle funzionalità Valuta l'esecuzione
Convalida dei parametri Codice personalizzato Analizza gli input
Giudizio di qualità LLM-come-giudice Usare in modo selettivo
Valori esatti Corrispondenza esatta Per ID e numeri
Controlli delle assenze Esclusione parola chiave Verifica le omissioni

Passaggio successivo