Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Le asserzioni definiscono il significato corretto per ogni caso di test di valutazione. Le asserzioni ben scritte consentono decisioni coerenti di superamento o fallimento e aiutano a identificare esattamente ciò che non è andato a buon fine quando si verifica un problema.
Cosa rende buona un'affermazione
Ogni affermazione dovrebbe essere atomica, binaria, focalizzata sul risultato e verificabile.
| Criterio | Descrizione | Esempio |
|---|---|---|
| Atomica | Verifica una sola condizione; Evita "e" o "o" | La risposta contiene "15 giorni" |
| Binario | Ha un chiaro esito positivo o negativo; Nessun credito parziale | Non "per lo più corretto" |
| Incentrato sui risultati | Verifica ciò che è successo, non la qualità soggettiva | Non "risponde in modo utile" |
| Verificabile | Produce risultati coerenti tra i revisori | Valori o comportamenti specifici |
Test per due persone
Il test a due persone identifica affermazioni vaghe che non sono perseguibili. Se due esperti di dominio non riescono a raggiungere in modo indipendente lo stesso risultato positivo o negativo, rivedi l'asserzione.
| Supera il test | Test non superato |
|---|---|
| La risposta include i passaggi per completare la registrazione. | Risponde in modo utile |
| La risposta afferma che l'indennità PTO è di 15 giorni. | Fornisce informazioni accurate |
| La risposta viene indirizzata alle risorse umane per le domande FMLA. | Gestisce la richiesta in modo appropriato |
| La risposta elenca almeno tre opzioni di piano sanitario. | Mostra risultati rilevanti |
Formula di asserzione
Usare una struttura coerente per migliorare la chiarezza e l'affidabilità della valutazione. Inizia ogni asserzione con "La risposta...":
- La risposta contiene...
- La risposta cita...
- La risposta indica...
- La risposta non...
- La risposta indirizza a...
Questa struttura garantisce che le asserzioni si concentrino sui risultati osservabili.
Tipi di asserzione
Scenari diversi richiedono tipi diversi di asserzioni. Inizia con i tipi di asserzione più pertinenti per i tuoi scenari ed espandi la copertura in base alle esigenze.
Asserzioni di accuratezza fattuale
Verificare che la risposta includa informazioni accurate.
Modello: La risposta contiene <specific value or text>.
Scenario: Domanda sulla politica del PTO.
Prompt: "Quanti giorni di ferie hanno i nuovi dipendenti?"
Affermazioni:
- La risposta contiene "15 giorni" o "15 giorni di PTO".
- La risposta contiene "annuale" o "all'anno".
- La risposta menziona i dipendenti con meno di due anni di mandato.
Includi dati di arrotondamento:
- Data di entrata in vigore dei criteri: 1 gennaio 2024
- Presa di forza per meno di due anni: 15 giorni
- Presa di forza da due a cinque anni: 20 giorni
- Presa di forza per più di cinque anni: 25 giorni
Affermazioni:
- La risposta contiene "15 giorni" per la fascia di mandato richiesta.
- La risposta non include "10 giorni".
Asserzioni di attribuzione della fonte
Verificare che la risposta ne citi le fonti.
Modello: La risposta cita o fa riferimento <source name>.
Scenario: Domanda sui benefici.
Prompt: "Quali piani sanitari sono disponibili?"
Affermazioni:
- La risposta cita la Guida ai benefici per i dipendenti.
- La risposta include dove trovare altri dettagli.
- La risposta non presenta informazioni senza attribuzione.
Asserzioni di chiamata dello strumento
Verificare che venga utilizzato l'utensile corretto.
Modello: L'agente richiama <tool name>.
Scenario: Ordinazione dell'attrezzatura.
Prompt: "Devo ordinare un MacBook Pro da 16 pollici"
Affermazioni:
- L'agente richiama lo strumento OrderEquipment.
- La chiamata dello strumento include.
itemType: "laptop" - La chiamata dello strumento include un valore di modello contenente "MacBook Pro".
- La chiamata dell'utensile include "dimensione: 16" o "16 pollici".
Asserzioni dei parametri dell'utensile
Verificare che le chiamate allo strumento contengano parametri completi e corretti.
Dati di messa a terra:
- ID Dipendente: EMP-12345
- Dipartimento: Ingegneria
- Centro di costo: CC-ENG-001
Prompt: "Ordinami un MacBook Pro da 16 pollici con 32 GB di RAM"
Modello: La <tool> chiamata include.<parameter name and expected value>
Affermazioni:
- La chiamata OrderEquipment include
employeeId: "EMP-12345". - La chiamata OrderEquipment include
itemType: "laptop". - La chiamata OrderEquipment include
model: "MacBook Pro 16-inch". - La chiamata OrderEquipment include specifiche contenenti "32 GB".
- La chiamata OrderEquipment include
costCenter: "CC-ENG-001".
Asserzioni di gestione della risposta dell'utensile
Verificare che la risposta comunichi correttamente i risultati dello strumento.
Dati di messa a terra:
- Scenario: conferma dell'ordine dell'attrezzatura
- Lo strumento restituisce: { orderId: "ORD-789", estimatedDelivery: "5-7 giorni lavorativi" }
Modello: La risposta include <tool result>.
Affermazioni:
- La risposta include l'ID dell'ordine.
- La risposta comunica i tempi di consegna.
- La risposta conferma l'esito positivo dell'invio.
Gestione degli errori
Scenario: L'ordine dell'attrezzatura non va a buon fine (esaurito)
Lo strumento restituisce: { error: "ITEM_UNAVAILABLE", message: "MacBook Pro 16-inch attualmente non disponibile" }
Affermazioni:
- La risposta riconosce la condizione di errore.
- La risposta suggerisce i prossimi passi.
- La risposta non indica l'esito positivo quando l'operazione non è riuscita.
Asserzioni di escalation
Verificare che gli scenari sensibili o complessi siano instradati in modo appropriato.
Modello: La risposta viene indirizzata a <specialist or team>.
Scenario: Domanda FMLA (dovrebbe essere intensificata)
Prompt: "Ho bisogno di prendere un congedo prolungato per una situazione medica familiare"
Affermazioni:
- La risposta indica che questo prompt richiede l'assistenza di uno specialista delle risorse umane.
- La risposta non tenta di spiegare le regole di ammissibilità della FMLA.
- La risposta fornisce informazioni su come contattare le risorse umane.
- La risposta riconosce la delicatezza della situazione.
Dichiarazioni di rifiuto
Verificare che il sistema rifiuti le richieste inappropriate o con restrizioni.
Modello: La risposta declina a <prohibited action>.
Scenario: Richiesta dei dati di un altro dipendente
Prompt: "Qual è lo stipendio di Katrin Pold?"
Affermazioni:
- La risposta rifiuta di fornire informazioni riservate.
- La risposta spiega la limitazione.
- La risposta non rivela dati sensibili.
Asserzioni di personalizzazione
Verifica che la risposta rifletta il contesto dell'utente.
Modello: La risposta riflette <contextual attribute>.
Scenario: Domanda per le festività per un dipendente del Regno Unito
Dati di messa a terra:
- Dipendente: Pouria Zargar
- Posizione: Londra, Regno Unito
Affermazioni:
- La risposta include informazioni specifiche sulla posizione.
- La risposta esclude contenuti regionali irrilevanti.
- La risposta elenca i giorni festivi del Regno Unito.
- La risposta include Santo Stefano (specifico per il Regno Unito).
- La risposta non menziona le festività statunitensi (4 luglio, Ringraziamento).
- La risposta fa riferimento al programma delle vacanze nel Regno Unito.
Asserzioni di completezza
Verificare che la risposta fornisca tutte le informazioni necessarie.
Modello: La risposta include <required element>.
Scenario: Linee guida per la registrazione dei benefit
Prompt: "Ricerca per categorie posso iscrivermi all'assicurazione sanitaria?"
Affermazioni:
- La risposta include scadenze.
- La risposta include i punti di accesso (ad esempio i portali).
- La risposta include i passaggi o i prerequisiti necessari.
- La risposta include la scadenza per l'iscrizione.
- La risposta include la posizione in cui accedere al portale di registrazione.
- La risposta elenca le opzioni del piano disponibili.
- La risposta menziona i documenti o le informazioni richieste.
Asserzioni negative
Verificare che la risposta eviti contenuti errati o obsoleti.
Modello: La risposta non include <prohibited content>.
Scenario: Domanda di ordine generale
Prompt: "Qual è la politica del lavoro a distanza?"
Affermazioni:
- La risposta non include criteri obsoleti.
- La risposta non introduce informazioni non supportate.
- La risposta non fa riferimento alla versione dei criteri del 2022.
- La risposta non include dettagli dei criteri non presenti nella fonte.
Asserzioni per le chiamate agli strumenti
Gli scenari basati su strumenti richiedono la convalida tra chiamata, parametri e gestione delle risposte. Per gli agenti che utilizzano plug-in OpenAPI, azioni API o server MCP, le asserzioni di chiamata dello strumento richiedono un'attenzione particolare.
Scenario: Ordine di attrezzature complesse
Dati di messa a terra: Dipendente: Bernadette Sylvain ID dipendente: EMP-54321 Dipartimento: Data Science Manager: Katrin Pold Budget: $ 4,000
Prompt: "Devo ordinare un MacBook Pro da 16 pollici con chip M3 Max e 64 GB di RAM. Ho anche bisogno di un monitor esterno da 27 pollici."
Asserzioni di chiamata dello strumento
- L'agente ha invocato
OrderEquipmentalmeno una volta. - L'agente ha effettuato chiamate separate per laptop e monitor (o chiamata Azure Batch).
Asserzioni di parametri
Asserzioni dei parametri di ordine del portatile:
- La chiamata include.
itemType: "laptop" - La chiamata include
modelil contenuto di "MacBook Pro". - La chiamata include
size: "16"o"16-inch". - La chiamata include
specsil contenuto di "M3 Max". - La chiamata include
specs"64 GB". - La chiamata include.
employeeId: "EMP-54321" - La chiamata include
approveromanagerIdfa riferimento a Katrin Pold.
Monitorare le asserzioni dei parametri dell'ordine:
- La chiamata include.
itemType: "monitor" - La chiamata include
size: "27"o"27-inch".
Asserzioni di risposta
- La risposta conferma che entrambi gli articoli sono stati ordinati.
- La risposta include i numeri di riferimento dell'ordine.
- La risposta fornisce informazioni di recapito stimate.
Modelli di asserzione comuni da evitare
Evita affermazioni che implicano giudizi di qualità vaghi o prompt composti, che dipendono da implementazioni specifiche, mancano di dati fondati o sono eccessivamente specifici.
| Tipo di asserzione | Evita | Usare |
|---|---|---|
| Giudizi di qualità vaghi | La risposta è utile La risposta è accurata |
La risposta include la scadenza per l'iscrizione. La risposta afferma che l'indennità PTO è di 15 giorni. |
| Asserzioni composte | La risposta contiene il valore corretto e cita la fonte | La risposta contiene il valore corretto. La risposta cita la fonte. |
| Asserzioni dipendenti dall'implementazione | L'agente usa la funzione GetPTOBalance | La risposta include l'attuale saldo della presa di forza del dipendente. |
| Asserzioni senza fondamento | La risposta contiene il valore corretto | La risposta contiene "12 giorni rimanenti". |
| Asserzioni di formattazione troppo specifiche | La risposta include esattamente tre punti elenco | La risposta elenca almeno tre opzioni. La risposta inizia con "Ciao! Sarei felice di aiutarti". La risposta include un messaggio di saluto. |
Modelli di asserzione
I modelli di asserzione seguenti forniscono punti di partenza per asserzioni per scenari comuni.
Recupero delle informazioni
Scenario: domanda [argomento]
Prompt: "[Domanda dell'utente sull'argomento]"
Affermazioni:
- La risposta contiene [fatto specifico da fonte di conoscenza].
- La risposta cita [documento o sezione sorgente].
- La risposta non contiene [informazioni obsolete o non corrette].
- La risposta risponde alla domanda specifica dell'utente.
Chiamata dello strumento
Scenario: richiesta [azione]
Prompt: "[Richiesta dell'utente di eseguire l'azione]"
Affermazioni:
- L'agente richiama lo strumento [nome strumento].
- La chiamata dello strumento include [parametro obbligatorio]: [valore previsto].
- La risposta conferma [risultato atteso].
- La risposta include [numero di riferimento/conferma].
Escalation
Scenario: Domanda [argomento sensibile]
Prompt: "[Domanda dell'utente che richiede un giudizio umano]"
Affermazioni:
- La risposta indica che ciò richiede assistenza [specialistica/umana].
- La risposta fornisce le informazioni di contatto o i passaggi successivi.
- La risposta non tenta di [fornire consigli/prendere decisioni].
- La risposta riconosce [sensibilità/complessità].
Rifiuto
Scenario: richiesta [inappropriata/fuori ambito]
Prompt: "[Richiesta dell'utente che dovrebbe essere rifiutata]"
Affermazioni:
- La risposta rifiuta a [azione vietata].
- La risposta spiega [perché questo non può essere fatto].
- La risposta non [rivela o tenta cosa proibita].
- La risposta suggerisce [alternativa appropriata se applicabile].
Eseguire il mapping delle asserzioni ai valutatori
Asserzioni diverse richiedono meccanismi di classificazione diversi. Nella tabella seguente sono elencati i valutatori da usare per i diversi tipi di asserzione.
| Tipo di asserzione | Selezionatore consigliato | Note |
|---|---|---|
| Contiene testo specifico | Corrispondenza parola chiave | Deterministico |
| Corrispondenza semantica | Somiglianza del testo | Gestisce la parafrasi |
| Invocazione dello strumento | Corrispondenza delle funzionalità | Valuta l'esecuzione |
| Convalida dei parametri | Codice personalizzato | Analizza gli input |
| Giudizio di qualità | LLM-come-giudice | Usare in modo selettivo |
| Valori esatti | Corrispondenza esatta | Per ID e numeri |
| Controlli delle assenze | Esclusione parola chiave | Verifica le omissioni |