Schreiben von Assertionen

Assertionen definieren, was für jeden Bewertungstestfall korrekte Mittel bedeutet. Gut geschriebene Assertions ermöglichen konsistente "Pass or Fail"-Entscheidungen und helfen dabei, genau zu identifizieren, was fehlgeschlagen ist, wenn ein Problem auftritt.

Was macht eine gute Behauptung aus?

Jede Behauptung sollte atomar, binär, ergebnisorientiert und überprüfbar sein.

Kriterium Beschreibung Beispiel
Atomar Testet nur eine Bedingung; Vermeidet "und" oder "oder" Die Antwort enthält "15 Tage"
Binär Hat ein klares Ergebnis für Bestanden oder Scheitern; Keine Teilgutschrift Nicht "größtenteils richtig"
Ergebnisorientiert Verifiziert, was passiert ist, nicht die subjektive Qualität Nicht "antwortet hilfreich"
Nachweis Führt zu konsistenten Ergebnissen für alle Prüfer Bestimmte Werte oder Verhaltensweisen

Zwei-Personen-Test

Der Zwei-Personen-Test identifiziert vage Behauptungen, die nicht umsetzbar sind. Wenn zwei Domänenexperten nicht unabhängig voneinander zu demselben Ergebnis kommen können, überarbeiten Sie die Behauptung.

Besteht Test Test schlägt fehl
Die Antwort enthält Schritte zum Abschließen der Registrierung. Antwortet hilfreich
In der Antwort heißt es, dass die PTO-Zulage 15 Tage beträgt. Gibt genaue Informationen an
Die Antwort leitet bei FMLA-Fragen an die Personalabteilung weiter. Behandelt die Anforderung angemessen
In der Antwort werden mindestens drei Optionen für den Gesundheitsplan aufgelistet. Zeigt relevante Ergebnisse an

Assertionsformel

Verwenden Sie eine konsistente Struktur, um die Übersichtlichkeit und Auswertungssicherheit zu verbessern. Beginnen Sie jede Assertion mit "Die Antwort...":

  • Die Antwort enthält...
  • In der Antwort heißt es...
  • Die Antwort zeigt...
  • Die Antwort nicht...
  • Die Antwort routet zu...

Diese Struktur stellt sicher, dass sich Behauptungen auf beobachtbare Ergebnisse konzentrieren.

Assertionstypen

Unterschiedliche Szenarien erfordern unterschiedliche Arten von Assertionen. Beginnen Sie mit den Assertionstypen, die für Ihre Szenarien am relevantesten sind, und erweitern Sie die Abdeckung nach Bedarf.

Behauptungen zur sachlichen Richtigkeit

Vergewissern Sie sich, dass die Antwort die richtigen Informationen enthält.

Muster: Die Antwort enthält <specific value or text>. Szenario: PTO-Richtlinienfrage.
Eingabeaufforderung: "Wie viele Urlaubstage bekommen neue Mitarbeiter?"

Assertions:

  • Die Antwort enthält "15 Tage" oder "15 Tage PTO".
  • Die Antwort enthält "jährlich" oder "pro Jahr".
  • In der Antwort werden Mitarbeiter mit weniger als zwei Jahren Betriebszugehörigkeit erwähnt.

Rundungsdaten einschließen:

  • Datum des Inkrafttretens der Richtlinie: 1. Januar 2024
  • PTO für weniger als zwei Jahre: 15 Tage
  • PTO für zwei bis fünf Jahre: 20 Tage
  • PTO für mehr als fünf Jahre: 25 Tage

Assertions:

  • Die Antwort enthält "15 Tage" für die abgefragte Zugehörigkeitsklammer.
  • Die Antwort enthält nicht "10 Tage".

Behauptungen zur Quellenzuordnung

Vergewissern Sie sich, dass die Antwort die Quellen angibt.

Muster: Die Antwort zitiert oder verweist auf <source name>. Szenario: Frage nach dem Nutzen.
Eingabeaufforderung: "Welche Krankenversicherungen sind verfügbar?"

Assertions:

  • Die Antwort zitiert den Employee Benefits Guide.
  • Die Antwort enthält auch, wo weitere Details zu finden sind.
  • Die Antwort enthält keine Informationen ohne Quellenangabe.

Assertionen für Toolaufrufe

Stellen Sie sicher, dass das richtige Tool verwendet wird.

Muster: Der Agent ruft <tool name>auf. Szenario: Ausrüstungsbestellung.
Eingabeaufforderung: "Ich muss ein 16-Zoll-MacBook Pro bestellen"

Assertions:

  • Der Agent ruft das OrderEquipment-Tool auf.
  • Der Toolaufruf umfasst itemType: "laptop".
  • Der Toolaufruf enthält einen Modellwert, der "MacBook Pro" enthält.
  • Der Werkzeugaufruf enthält "Größe: 16" oder "16 Zoll".

Assertionen für Toolparameter

Stellen Sie sicher, dass Toolaufrufe vollständige und richtige Parameter enthalten.

Grounding-Daten:

  • Employee ID: EMP-12345
  • Abteilung: Engineering
  • Kostenstelle: CC-ENG-001

Eingabeaufforderung: "Bestelle mir ein MacBook Pro 16 Zoll mit 32 GB RAM"

Muster: Der <tool> Aufruf beinhaltet <parameter name and expected value>.

Assertions:

  • Der Aufruf von OrderEquipment beinhaltet employeeId: "EMP-12345".
  • Der Aufruf von OrderEquipment beinhaltet itemType: "laptop".
  • Der Aufruf von OrderEquipment beinhaltet model: "MacBook Pro 16-inch".
  • Der OrderEquipment-Aufruf enthält Spezifikationen mit "32GB".
  • Der Aufruf von OrderEquipment beinhaltet costCenter: "CC-ENG-001".

Assertionen für Tool-Antwortverarbeitung

Vergewissern Sie sich, dass die Toolergebnisse in der Antwort korrekt übermittelt werden.

Grounding-Daten:

  • Szenario: Auftragsbestätigung für die Ausrüstung
  • Tool gibt Folgendes zurück: { orderId: "ORD-789", estimatedDelivery: "5-7 business days" }

Muster: Die Antwort enthält <tool result>.

Assertions:

  • Die Antwort enthält die Auftrags-ID.
  • Die Antwort kommuniziert den Übermittlungszeitrahmen.
  • Die Antwort bestätigt die erfolgreiche Übermittlung.

Fehlerbehandlung

Szenario: Gerätebestellung schlägt fehl (nicht vorrätig)
Das Tool gibt Folgendes zurück: { error: "ITEM_UNAVAILABLE", Meldung: "MacBook Pro 16 Zoll derzeit nicht vorrätig" }

Assertions:

  • Die Antwort bestätigt die Fehlerbedingung.
  • In der Antwort werden die nächsten Schritte vorgeschlagen.
  • Die Antwort zeigt keinen Erfolg an, wenn der Vorgang fehlgeschlagen ist.

Eskalationszusagen

Stellen Sie sicher, dass sensible oder komplexe Szenarien entsprechend weitergeleitet werden.

Muster: Die Antwort leitet an <specialist or team>.

Szenario: FMLA-Frage (sollte eskalieren)

Eingabeaufforderung: "Ich muss wegen einer familiären medizinischen Situation einen längeren Urlaub nehmen"

Assertions:

  • Die Antwort gibt an, dass für diese Eingabeaufforderung die Unterstützung eines HR-Spezialisten erforderlich ist.
  • Die Antwort versucht nicht, die FMLA-Zulassungsregeln zu erklären.
  • Die Antwort enthält Informationen darüber, wie Sie die Personalabteilung erreichen können.
  • Die Antwort erkennt die Sensibilität der Situation an.

Behauptungen zur Ablehnung

Stellen Sie sicher, dass das System unangemessene oder eingeschränkte Anforderungen ablehnt.

Muster: The response declines to <prohibited action>.

Szenario: Anforderung der Daten eines anderen Mitarbeiters

Eingabeaufforderung: "Wie hoch ist das Gehalt von Katrin Pold?"

Assertions:

  • Die Antwort lehnt die Bereitstellung eingeschränkter Informationen ab.
  • Die Antwort erklärt die Einschränkung.
  • Die Antwort gibt keine vertraulichen Daten preis.

Personalisierungs-Assertionen

Stellen Sie sicher, dass die Antwort den Benutzerkontext widerspiegelt.

Muster: Die Antwort spiegelt <contextual attribute>wider.

Szenario: Urlaubsfrage für britischen Mitarbeiter

Grounding-Daten:

  • Mitarbeiter: Pouria Zargar
  • Lage: London, Vereinigtes Königreich

Assertions:

  • Die Antwort enthält standortspezifische Informationen.
  • Die Antwort schließt irrelevante regionale Inhalte aus.
  • Die Antwort listet britische Feiertage auf.
  • Die Antwort umfasst den zweiten Weihnachtsfeiertag (UK-spezifisch).
  • In der Antwort werden keine US-Feiertage (4. Juli, Thanksgiving) Erwähnung.
  • Die Antwort bezieht sich auf den britischen Feiertagsplan.

Vollständigkeitszusicherungen

Stellen Sie sicher, dass die Antwort alle erforderlichen Informationen enthält.

Muster: Die Antwort enthält <required element>.

Szenario: Anleitung zur Registrierung von Sozialleistungen

Eingabeaufforderung: "Gewusst wie melde ich mich krankenversichert an?"

Assertions:

  • Die Antwort enthält Fristen.
  • Die Antwort umfasst Zugriffspunkte (z. B. Portale).
  • Die Antwort enthält erforderliche Schritte oder Voraussetzungen.
  • Die Antwort enthält die Anmeldefrist.
  • Die Antwort enthält auch, wo auf das Registrierungsportal zugegriffen werden kann.
  • In der Antwort werden die verfügbaren Planoptionen aufgeführt.
  • In der Antwort werden erforderliche Dokumente oder Informationen erwähnt.

Negative Assertionen

Vergewissern Sie sich, dass die Antwort falsche oder veraltete Inhalte vermeidet.

Muster: Die Antwort enthält <prohibited content>nicht "".

Szenario: Allgemeine politische Frage

Eingabeaufforderung: "Was beinhaltet die Richtlinie für Remotearbeit?"

Assertions:

  • Die Antwort enthält keine veralteten Richtlinien.
  • Die Antwort enthält keine nicht belegten Informationen.
  • Die Antwort bezieht sich nicht auf die Richtlinienversion 2022.
  • Die Antwort enthält keine Richtliniendetails, die nicht in der Quelle enthalten sind.

Assertionen für Toolaufrufe

Toolbasierte Szenarien erfordern eine Überprüfung über Aufrufe, Parameter und Antwortbehandlung. Für Agents, die OpenAPI-Plug-Ins, API-Aktionen oder MCP-Server verwenden, erfordern Toolaufrufassertionen besondere Aufmerksamkeit.

Szenario: Komplexer Geräteauftrag

Grounding-Daten: Mitarbeiter: Bernadette Sylvain Mitarbeiter-ID: EMP-54321 Abteilung: Data Science Manager: Katrin Pold Budget: 4.000 USD

Eingabeaufforderung: "Ich muss ein MacBook Pro 16 Zoll mit M3 Max-Chip und 64 GB RAM bestellen. Ich brauche auch einen externen 27-Zoll-Monitor."

Assertionen für Toolaufrufe

  • Der Agent wurde mindestens einmal aufgerufen OrderEquipment .
  • Der Agent tätigte separate Anrufe für Laptop und Monitor (oder Azure Batch-Aufruf).

Parameterassertionen

Laptopreihenfolge-Parameterassertionen:

  1. Der Aufruf beinhaltet itemType: "laptop".
  2. Der Anruf enthält model "MacBook Pro".
  3. Der Aufruf enthält size: "16" oder "16-inch".
  4. Der Anruf enthält specs "M3 Max".
  5. Der Anruf enthält specs "64 GB".
  6. Der Aufruf beinhaltet employeeId: "EMP-54321".
  7. Der Anruf enthält approver oder managerId bezieht sich auf Katrin Pold.

Überwachen von Auftragsparameterassertionen:

  1. Der Aufruf beinhaltet itemType: "monitor".
  2. Der Aufruf enthält size: "27" oder "27-inch".

Antwortassertionen

  • Die Antwort bestätigt, dass beide Artikel bestellt wurden.
  • Die Antwort enthält Auftragsreferenznummern.
  • Die Antwort enthält geschätzte Zustellinformationen.

Häufige Assertionsmuster, die Sie vermeiden sollten

Vermeiden Sie Behauptungen, die vage Qualitätsurteile oder zusammengesetzte Eingabeaufforderungen enthalten, die von bestimmten Implementierungen abhängen, die keine grundlegenden Daten haben oder zu spezifisch sind.

Assertionstyp Vermeiden Sie Bedeutung
Vage Qualitätsurteile Die Antwort ist hilfreich
Die Antwort ist korrekt
Die Antwort enthält die Anmeldefrist.
In der Antwort heißt es, dass die PTO-Zulage 15 Tage beträgt.
Zusammengesetzte Assertionen Die Antwort enthält den richtigen Wert und gibt die Quelle an Die Antwort enthält den richtigen Wert.
Die Antwort zitiert die Quelle.
Implementierungsabhängige Assertionen Der Agent verwendet die Funktion GetPTOBalance Die Antwort enthält das aktuelle PTO-Guthaben des Mitarbeiters.
Assertionen ohne Grounding Die Antwort enthält den richtigen Wert Die Antwort enthält "12 Tage verbleibend".
Überspezifische Formatierungsassertionen Die Antwort enthält genau drei Aufzählungspunkte In der Antwort werden mindestens drei Optionen aufgeführt.
Die Antwort beginnt mit "Hallo! Ich würde gerne helfen."
Die Antwort enthält eine Begrüßung.

Assertionsvorlagen

Die folgenden Assertionsvorlagen enthalten Ausgangspunkte für Assertions für gängige Szenarien.

Knowledge Retrieval

Szenario: [Thema] Frage

Eingabeaufforderung: "[Benutzerfrage zum Thema]"

Assertions:

  • Die Antwort enthält [spezifische Fakten aus der Wissensquelle].
  • Die Antwort zitiert [Quelldokument oder Abschnitt].
  • Die Antwort enthält keine [veraltete oder falsche Information].
  • Die Antwort bezieht sich auf die spezifische Frage des Benutzers.

Toolaufruf

Szenario: [Aktions-] Anforderung

Eingabeaufforderung: "[Benutzeranforderung zum Ausführen einer Aktion]"

Assertions:

  • Der Agent ruft das Tool [Werkzeugname] auf.
  • Der Toolaufruf enthält [erforderlicher Parameter]: [erwarteter Wert].
  • Die Antwort bestätigt [erwartetes Ergebnis].
  • Die Antwort enthält [Referenznummer/Bestätigung].

Eskalation

Szenario: Frage zu [sensiblem Thema]

Eingabeaufforderung: "[Benutzerfrage, die menschliches Urteilsvermögen erfordert]"

Assertions:

  • Die Antwort zeigt, dass dafür [fachliche/menschliche] Hilfe erforderlich ist.
  • Die Antwort enthält Kontaktinformationen oder die nächsten Schritte.
  • Die Antwort versucht nicht, [Ratschläge zu geben/Entscheidungen zu treffen].
  • Die Antwort erkennt [Sensibilität/Komplexität] an.

Verweigerung

Szenario: Anforderung [unangemessen/außerhalb des Geltungsbereichs]

Eingabeaufforderung: "[Benutzeranfrage, die abgelehnt werden sollte]"

Assertions:

  • Die Antwort wird mit [verbotene Aktion] abgelehnt.
  • Die Antwort erklärt, warum das nicht möglich ist.
  • Die Antwort nicht [enthüllt oder versucht, eine verbotene Sache aufzudecken].
  • Die Antwort schlägt [ggf. geeignete Alternative] vor.

Zuordnen von Assertionen zu Bewertern

Unterschiedliche Behauptungen erfordern unterschiedliche Benotungsmechanismen. In der folgenden Tabelle sind die Bewerter aufgeführt, die für verschiedene Assertionstypen verwendet werden können.

Assertionstyp Empfohlener Bewerter Notizen
Enthält bestimmten Text Schlüsselwortübereinstimmung Deterministisch
Semantische Übereinstimmung Textähnlichkeit Behandelt Paraphrasierung
Toolaufruf Funktionsübereinstimmung Wertet die Ausführung aus
Parameterüberprüfung Benutzerdefinierter Code Analysiert Eingaben
Qualitätsurteil LLM-as-Judge Selektive Verwendung
Genaue Werte Exakte Übereinstimmung Für IDs und Nummern
Abwesenheitskontrollen Keyword-Ausschluss Überprüft Auslassungen

Nächster Schritt