Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Assertionen definieren, was für jeden Bewertungstestfall korrekte Mittel bedeutet. Gut geschriebene Assertions ermöglichen konsistente "Pass or Fail"-Entscheidungen und helfen dabei, genau zu identifizieren, was fehlgeschlagen ist, wenn ein Problem auftritt.
Was macht eine gute Behauptung aus?
Jede Behauptung sollte atomar, binär, ergebnisorientiert und überprüfbar sein.
| Kriterium | Beschreibung | Beispiel |
|---|---|---|
| Atomar | Testet nur eine Bedingung; Vermeidet "und" oder "oder" | Die Antwort enthält "15 Tage" |
| Binär | Hat ein klares Ergebnis für Bestanden oder Scheitern; Keine Teilgutschrift | Nicht "größtenteils richtig" |
| Ergebnisorientiert | Verifiziert, was passiert ist, nicht die subjektive Qualität | Nicht "antwortet hilfreich" |
| Nachweis | Führt zu konsistenten Ergebnissen für alle Prüfer | Bestimmte Werte oder Verhaltensweisen |
Zwei-Personen-Test
Der Zwei-Personen-Test identifiziert vage Behauptungen, die nicht umsetzbar sind. Wenn zwei Domänenexperten nicht unabhängig voneinander zu demselben Ergebnis kommen können, überarbeiten Sie die Behauptung.
| Besteht Test | Test schlägt fehl |
|---|---|
| Die Antwort enthält Schritte zum Abschließen der Registrierung. | Antwortet hilfreich |
| In der Antwort heißt es, dass die PTO-Zulage 15 Tage beträgt. | Gibt genaue Informationen an |
| Die Antwort leitet bei FMLA-Fragen an die Personalabteilung weiter. | Behandelt die Anforderung angemessen |
| In der Antwort werden mindestens drei Optionen für den Gesundheitsplan aufgelistet. | Zeigt relevante Ergebnisse an |
Assertionsformel
Verwenden Sie eine konsistente Struktur, um die Übersichtlichkeit und Auswertungssicherheit zu verbessern. Beginnen Sie jede Assertion mit "Die Antwort...":
- Die Antwort enthält...
- In der Antwort heißt es...
- Die Antwort zeigt...
- Die Antwort nicht...
- Die Antwort routet zu...
Diese Struktur stellt sicher, dass sich Behauptungen auf beobachtbare Ergebnisse konzentrieren.
Assertionstypen
Unterschiedliche Szenarien erfordern unterschiedliche Arten von Assertionen. Beginnen Sie mit den Assertionstypen, die für Ihre Szenarien am relevantesten sind, und erweitern Sie die Abdeckung nach Bedarf.
Behauptungen zur sachlichen Richtigkeit
Vergewissern Sie sich, dass die Antwort die richtigen Informationen enthält.
Muster: Die Antwort enthält <specific value or text>.
Szenario: PTO-Richtlinienfrage.
Eingabeaufforderung: "Wie viele Urlaubstage bekommen neue Mitarbeiter?"
Assertions:
- Die Antwort enthält "15 Tage" oder "15 Tage PTO".
- Die Antwort enthält "jährlich" oder "pro Jahr".
- In der Antwort werden Mitarbeiter mit weniger als zwei Jahren Betriebszugehörigkeit erwähnt.
Rundungsdaten einschließen:
- Datum des Inkrafttretens der Richtlinie: 1. Januar 2024
- PTO für weniger als zwei Jahre: 15 Tage
- PTO für zwei bis fünf Jahre: 20 Tage
- PTO für mehr als fünf Jahre: 25 Tage
Assertions:
- Die Antwort enthält "15 Tage" für die abgefragte Zugehörigkeitsklammer.
- Die Antwort enthält nicht "10 Tage".
Behauptungen zur Quellenzuordnung
Vergewissern Sie sich, dass die Antwort die Quellen angibt.
Muster: Die Antwort zitiert oder verweist auf <source name>.
Szenario: Frage nach dem Nutzen.
Eingabeaufforderung: "Welche Krankenversicherungen sind verfügbar?"
Assertions:
- Die Antwort zitiert den Employee Benefits Guide.
- Die Antwort enthält auch, wo weitere Details zu finden sind.
- Die Antwort enthält keine Informationen ohne Quellenangabe.
Assertionen für Toolaufrufe
Stellen Sie sicher, dass das richtige Tool verwendet wird.
Muster: Der Agent ruft <tool name>auf.
Szenario: Ausrüstungsbestellung.
Eingabeaufforderung: "Ich muss ein 16-Zoll-MacBook Pro bestellen"
Assertions:
- Der Agent ruft das OrderEquipment-Tool auf.
- Der Toolaufruf umfasst
itemType: "laptop". - Der Toolaufruf enthält einen Modellwert, der "MacBook Pro" enthält.
- Der Werkzeugaufruf enthält "Größe: 16" oder "16 Zoll".
Assertionen für Toolparameter
Stellen Sie sicher, dass Toolaufrufe vollständige und richtige Parameter enthalten.
Grounding-Daten:
- Employee ID: EMP-12345
- Abteilung: Engineering
- Kostenstelle: CC-ENG-001
Eingabeaufforderung: "Bestelle mir ein MacBook Pro 16 Zoll mit 32 GB RAM"
Muster: Der <tool> Aufruf beinhaltet <parameter name and expected value>.
Assertions:
- Der Aufruf von OrderEquipment beinhaltet
employeeId: "EMP-12345". - Der Aufruf von OrderEquipment beinhaltet
itemType: "laptop". - Der Aufruf von OrderEquipment beinhaltet
model: "MacBook Pro 16-inch". - Der OrderEquipment-Aufruf enthält Spezifikationen mit "32GB".
- Der Aufruf von OrderEquipment beinhaltet
costCenter: "CC-ENG-001".
Assertionen für Tool-Antwortverarbeitung
Vergewissern Sie sich, dass die Toolergebnisse in der Antwort korrekt übermittelt werden.
Grounding-Daten:
- Szenario: Auftragsbestätigung für die Ausrüstung
- Tool gibt Folgendes zurück: { orderId: "ORD-789", estimatedDelivery: "5-7 business days" }
Muster: Die Antwort enthält <tool result>.
Assertions:
- Die Antwort enthält die Auftrags-ID.
- Die Antwort kommuniziert den Übermittlungszeitrahmen.
- Die Antwort bestätigt die erfolgreiche Übermittlung.
Fehlerbehandlung
Szenario: Gerätebestellung schlägt fehl (nicht vorrätig)
Das Tool gibt Folgendes zurück: { error: "ITEM_UNAVAILABLE", Meldung: "MacBook Pro 16 Zoll derzeit nicht vorrätig" }
Assertions:
- Die Antwort bestätigt die Fehlerbedingung.
- In der Antwort werden die nächsten Schritte vorgeschlagen.
- Die Antwort zeigt keinen Erfolg an, wenn der Vorgang fehlgeschlagen ist.
Eskalationszusagen
Stellen Sie sicher, dass sensible oder komplexe Szenarien entsprechend weitergeleitet werden.
Muster: Die Antwort leitet an <specialist or team>.
Szenario: FMLA-Frage (sollte eskalieren)
Eingabeaufforderung: "Ich muss wegen einer familiären medizinischen Situation einen längeren Urlaub nehmen"
Assertions:
- Die Antwort gibt an, dass für diese Eingabeaufforderung die Unterstützung eines HR-Spezialisten erforderlich ist.
- Die Antwort versucht nicht, die FMLA-Zulassungsregeln zu erklären.
- Die Antwort enthält Informationen darüber, wie Sie die Personalabteilung erreichen können.
- Die Antwort erkennt die Sensibilität der Situation an.
Behauptungen zur Ablehnung
Stellen Sie sicher, dass das System unangemessene oder eingeschränkte Anforderungen ablehnt.
Muster: The response declines to <prohibited action>.
Szenario: Anforderung der Daten eines anderen Mitarbeiters
Eingabeaufforderung: "Wie hoch ist das Gehalt von Katrin Pold?"
Assertions:
- Die Antwort lehnt die Bereitstellung eingeschränkter Informationen ab.
- Die Antwort erklärt die Einschränkung.
- Die Antwort gibt keine vertraulichen Daten preis.
Personalisierungs-Assertionen
Stellen Sie sicher, dass die Antwort den Benutzerkontext widerspiegelt.
Muster: Die Antwort spiegelt <contextual attribute>wider.
Szenario: Urlaubsfrage für britischen Mitarbeiter
Grounding-Daten:
- Mitarbeiter: Pouria Zargar
- Lage: London, Vereinigtes Königreich
Assertions:
- Die Antwort enthält standortspezifische Informationen.
- Die Antwort schließt irrelevante regionale Inhalte aus.
- Die Antwort listet britische Feiertage auf.
- Die Antwort umfasst den zweiten Weihnachtsfeiertag (UK-spezifisch).
- In der Antwort werden keine US-Feiertage (4. Juli, Thanksgiving) Erwähnung.
- Die Antwort bezieht sich auf den britischen Feiertagsplan.
Vollständigkeitszusicherungen
Stellen Sie sicher, dass die Antwort alle erforderlichen Informationen enthält.
Muster: Die Antwort enthält <required element>.
Szenario: Anleitung zur Registrierung von Sozialleistungen
Eingabeaufforderung: "Gewusst wie melde ich mich krankenversichert an?"
Assertions:
- Die Antwort enthält Fristen.
- Die Antwort umfasst Zugriffspunkte (z. B. Portale).
- Die Antwort enthält erforderliche Schritte oder Voraussetzungen.
- Die Antwort enthält die Anmeldefrist.
- Die Antwort enthält auch, wo auf das Registrierungsportal zugegriffen werden kann.
- In der Antwort werden die verfügbaren Planoptionen aufgeführt.
- In der Antwort werden erforderliche Dokumente oder Informationen erwähnt.
Negative Assertionen
Vergewissern Sie sich, dass die Antwort falsche oder veraltete Inhalte vermeidet.
Muster: Die Antwort enthält <prohibited content>nicht "".
Szenario: Allgemeine politische Frage
Eingabeaufforderung: "Was beinhaltet die Richtlinie für Remotearbeit?"
Assertions:
- Die Antwort enthält keine veralteten Richtlinien.
- Die Antwort enthält keine nicht belegten Informationen.
- Die Antwort bezieht sich nicht auf die Richtlinienversion 2022.
- Die Antwort enthält keine Richtliniendetails, die nicht in der Quelle enthalten sind.
Assertionen für Toolaufrufe
Toolbasierte Szenarien erfordern eine Überprüfung über Aufrufe, Parameter und Antwortbehandlung. Für Agents, die OpenAPI-Plug-Ins, API-Aktionen oder MCP-Server verwenden, erfordern Toolaufrufassertionen besondere Aufmerksamkeit.
Szenario: Komplexer Geräteauftrag
Grounding-Daten: Mitarbeiter: Bernadette Sylvain Mitarbeiter-ID: EMP-54321 Abteilung: Data Science Manager: Katrin Pold Budget: 4.000 USD
Eingabeaufforderung: "Ich muss ein MacBook Pro 16 Zoll mit M3 Max-Chip und 64 GB RAM bestellen. Ich brauche auch einen externen 27-Zoll-Monitor."
Assertionen für Toolaufrufe
- Der Agent wurde mindestens einmal aufgerufen
OrderEquipment. - Der Agent tätigte separate Anrufe für Laptop und Monitor (oder Azure Batch-Aufruf).
Parameterassertionen
Laptopreihenfolge-Parameterassertionen:
- Der Aufruf beinhaltet
itemType: "laptop". - Der Anruf enthält
model"MacBook Pro". - Der Aufruf enthält
size: "16"oder"16-inch". - Der Anruf enthält
specs"M3 Max". - Der Anruf enthält
specs"64 GB". - Der Aufruf beinhaltet
employeeId: "EMP-54321". - Der Anruf enthält
approverodermanagerIdbezieht sich auf Katrin Pold.
Überwachen von Auftragsparameterassertionen:
- Der Aufruf beinhaltet
itemType: "monitor". - Der Aufruf enthält
size: "27"oder"27-inch".
Antwortassertionen
- Die Antwort bestätigt, dass beide Artikel bestellt wurden.
- Die Antwort enthält Auftragsreferenznummern.
- Die Antwort enthält geschätzte Zustellinformationen.
Häufige Assertionsmuster, die Sie vermeiden sollten
Vermeiden Sie Behauptungen, die vage Qualitätsurteile oder zusammengesetzte Eingabeaufforderungen enthalten, die von bestimmten Implementierungen abhängen, die keine grundlegenden Daten haben oder zu spezifisch sind.
| Assertionstyp | Vermeiden Sie | Bedeutung |
|---|---|---|
| Vage Qualitätsurteile | Die Antwort ist hilfreich Die Antwort ist korrekt |
Die Antwort enthält die Anmeldefrist. In der Antwort heißt es, dass die PTO-Zulage 15 Tage beträgt. |
| Zusammengesetzte Assertionen | Die Antwort enthält den richtigen Wert und gibt die Quelle an | Die Antwort enthält den richtigen Wert. Die Antwort zitiert die Quelle. |
| Implementierungsabhängige Assertionen | Der Agent verwendet die Funktion GetPTOBalance | Die Antwort enthält das aktuelle PTO-Guthaben des Mitarbeiters. |
| Assertionen ohne Grounding | Die Antwort enthält den richtigen Wert | Die Antwort enthält "12 Tage verbleibend". |
| Überspezifische Formatierungsassertionen | Die Antwort enthält genau drei Aufzählungspunkte | In der Antwort werden mindestens drei Optionen aufgeführt. Die Antwort beginnt mit "Hallo! Ich würde gerne helfen." Die Antwort enthält eine Begrüßung. |
Assertionsvorlagen
Die folgenden Assertionsvorlagen enthalten Ausgangspunkte für Assertions für gängige Szenarien.
Knowledge Retrieval
Szenario: [Thema] Frage
Eingabeaufforderung: "[Benutzerfrage zum Thema]"
Assertions:
- Die Antwort enthält [spezifische Fakten aus der Wissensquelle].
- Die Antwort zitiert [Quelldokument oder Abschnitt].
- Die Antwort enthält keine [veraltete oder falsche Information].
- Die Antwort bezieht sich auf die spezifische Frage des Benutzers.
Toolaufruf
Szenario: [Aktions-] Anforderung
Eingabeaufforderung: "[Benutzeranforderung zum Ausführen einer Aktion]"
Assertions:
- Der Agent ruft das Tool [Werkzeugname] auf.
- Der Toolaufruf enthält [erforderlicher Parameter]: [erwarteter Wert].
- Die Antwort bestätigt [erwartetes Ergebnis].
- Die Antwort enthält [Referenznummer/Bestätigung].
Eskalation
Szenario: Frage zu [sensiblem Thema]
Eingabeaufforderung: "[Benutzerfrage, die menschliches Urteilsvermögen erfordert]"
Assertions:
- Die Antwort zeigt, dass dafür [fachliche/menschliche] Hilfe erforderlich ist.
- Die Antwort enthält Kontaktinformationen oder die nächsten Schritte.
- Die Antwort versucht nicht, [Ratschläge zu geben/Entscheidungen zu treffen].
- Die Antwort erkennt [Sensibilität/Komplexität] an.
Verweigerung
Szenario: Anforderung [unangemessen/außerhalb des Geltungsbereichs]
Eingabeaufforderung: "[Benutzeranfrage, die abgelehnt werden sollte]"
Assertions:
- Die Antwort wird mit [verbotene Aktion] abgelehnt.
- Die Antwort erklärt, warum das nicht möglich ist.
- Die Antwort nicht [enthüllt oder versucht, eine verbotene Sache aufzudecken].
- Die Antwort schlägt [ggf. geeignete Alternative] vor.
Zuordnen von Assertionen zu Bewertern
Unterschiedliche Behauptungen erfordern unterschiedliche Benotungsmechanismen. In der folgenden Tabelle sind die Bewerter aufgeführt, die für verschiedene Assertionstypen verwendet werden können.
| Assertionstyp | Empfohlener Bewerter | Notizen |
|---|---|---|
| Enthält bestimmten Text | Schlüsselwortübereinstimmung | Deterministisch |
| Semantische Übereinstimmung | Textähnlichkeit | Behandelt Paraphrasierung |
| Toolaufruf | Funktionsübereinstimmung | Wertet die Ausführung aus |
| Parameterüberprüfung | Benutzerdefinierter Code | Analysiert Eingaben |
| Qualitätsurteil | LLM-as-Judge | Selektive Verwendung |
| Genaue Werte | Exakte Übereinstimmung | Für IDs und Nummern |
| Abwesenheitskontrollen | Keyword-Ausschluss | Überprüft Auslassungen |