Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Echte Benutzer interagieren nicht mit Agenten durch isolierten Austausch mit einzelnen Fragen. Stattdessen führen sie Gespräche, die Folgefragen, inkrementellen Informationsaustausch und die mehrstufige Aufgabenerledigung umfassen.
Die Auswertung mehrerer Durchläufe hilft sicherzustellen, dass Ihr Agent den Kontext beibehalten, Aufgaben über mehrere Schritte hinweg erledigen und während eines realistischen Gesprächsflusses angemessen reagieren kann.
Wann sollte die Multiturn-Auswertung verwendet werden?
Verwenden Sie die Auswertung mehrerer Durchläufe, wenn Sie Szenarien testen, die eine Kontextbeibehaltung oder mehrere Schritte erfordern, um eine Aufgabe abzuschließen.
| Szenario | Warum Multiturn erforderlich ist |
|---|---|
| Ausfüllen des Schlitzes | Der Agent muss mehrere Informationen sammeln. |
| Klärungsflüsse | Der Agent muss mehrdeutige Benutzereingaben auflösen. |
| Mehrstufige Aufgaben | Die Aufgabe erfordert mehrere Austausche, um abgeschlossen zu werden. |
| Kontextabhängige Follow-ups | Spätere Fragen hängen von früheren Antworten ab. |
| Progressive Offenlegung | Die Informationen werden inkrementell bereitgestellt. |
Singleturn- vs. Multiturn-Auswertung
Beginnen Sie mit Singleturn-Auswertungen für die Abdeckung und fügen Sie dann Multiturn-Auswertungen hinzu, um realistische Interaktionen zu testen.
| Aspekt | Einfacher Durchgang | Mehrfachturnen |
|---|---|---|
| Tests | Individuelle Frage-Antwort-Paare | Unterhaltungen abschließen |
| Kontext | Jeder Prompt ist unabhängig | Dreht sich aufeinander aufbauend |
| Komplexität | Einfacheres Design und Bewertung | Realistischer, aber komplexer |
| Fehlerdiagnose | Einfacheres Isolieren von Problemen | Erfordert eine Turn-by-Turn-Analyse |
| Anwendungsfall | Testen spezifischer Antworten | Testen des Gesprächsflusses |
Wichtige Metriken für die Auswertung mit mehreren Durchläufen
Die Auswertung mehrerer Umdrehungen erfordert zusätzliche Metriken, die über die Genauigkeit einer einzelnen Umdrehung hinausgehen. Diese Metriken bewerten, wie gut der Agent während einer gesamten Unterhaltung abschneidet.
Vollständigkeit der Unterhaltung
Die Vollständigkeit der Konversation misst, ob der Agent das Ziel des Benutzers am Ende der Interaktion erreicht.
Erfolgsbeispiel
Runde 1
- Benutzer: "Ich muss einen Laptop bestellen"
- Agent: "Ich kann dabei helfen. Welche Art von Laptop benötigen Sie?"
Runde 2
- Benutzer: "MacBook Pro"
- Agent: "Welche Bildschirmgröße – 14 Zoll oder 16 Zoll?"
Runde 3
- Benutzer: "16 Zoll"
- Agent: "Ich habe Ihre Bestellung für ein 16-Zoll-MacBook Pro aufgegeben. Order ID: ORD-456. Voraussichtliche Lieferung: 5–7 Werktage."
✅ Das Benutzerziel (Bestellen eines Laptops) wird erreicht.
Fehlerbeispiel
Runde 1
- Benutzer: "Ich muss einen Laptop bestellen"
- Agent: "Ich kann dabei helfen. Welche Art von Laptop benötigen Sie?"
Runde 2
- Benutzer: "MacBook Pro"
- Agent: "MacBook Pro ist eine gute Wahl! Gibt es sonst noch etwas?"
❌ Die Bestellung wurde nicht übermittelt und das Benutzerziel wird nicht erreicht.
Wissenserhalt
Die Wissenserhaltung misst, ob sich der Agent an Informationen erinnert, die er in früheren Runden erhalten hat, und diese nutzt.
Erfolgsbeispiel
Runde 1
- Benutzer: "Meine Mitarbeiter-ID lautet EMP-12345"
- Agent: "Danke! Wie kann ich Ihnen heute helfen?"
Runde 2
- Benutzer: "Ich möchte mein PTO-Guthaben überprüfen"
- Agent: "Ihr aktuelles PTO-Guthaben beträgt noch 12 Tage."
✅ Der Agent verwendete die zuvor bereitgestellte Mitarbeiter-ID, ohne erneut nachzufragen.
Fehlerbeispiel
Runde 1
- Benutzer: "Meine Mitarbeiter-ID lautet EMP-12345"
- Agent: "Danke! Wie kann ich Ihnen heute helfen?"
Runde 2
- Benutzer: "Ich möchte mein PTO-Guthaben überprüfen"
- Agent: "Ich würde gerne helfen. Wie lautet Ihr Mitarbeiterausweis?"
❌ Der Agent hat die Mitarbeiter-ID des vorherigen Zuges vergessen.
Rolleneinhaltung
Die Rolleneinhaltung misst, ob der Agent während des gesamten Gesprächs seinen definierten Umfang und seine Verantwortlichkeiten beibehält.
Erfolgsbeispiel
Runde 1
- Benutzer: "Was ist die PTO-Richtlinie?"
- Agent: Stellt die richtigen Informationen zur PTO-Richtlinie bereit
Runde 2
- Nutzer: "Kannst du ein Gedicht über Urlaub schreiben?"
- Agent: "Ich bin hier, um bei HR- und Onboarding-Fragen zu helfen. Gibt es noch etwas über PTO, bei dem ich helfen kann?"
✅ Der Agent blieb in seiner Rolle und leitete entsprechend um.
Fehlerbeispiel
Runde 1
- Benutzer: "Was ist die PTO-Richtlinie?"
- Agent: Stellt die richtigen Informationen zur PTO-Richtlinie bereit
Runde 2
- Nutzer: "Kannst du ein Gedicht über Urlaub schreiben?"
- Agent: "Sicher! Hier ist ein Gedicht über sonnige Strände..."
❌Der Agent wich von seiner Rolle als HR-Assistent ab.
Relevanz von Unterhaltungen
Die Konversationsrelevanz misst, ob jede Antwort direkt für die Anforderung des Benutzers innerhalb des aktuellen Konversationskontexts relevant ist.
Fehlerbeispiel
Runde 1
- Benutzer: "Welche Krankenversicherungen sind verfügbar?"
- Agent: Listet HMO- und PPO-Optionen auf
Runde 2
- Benutzer: "Was ist der Kostenunterschied?"
- Agent: "Das PPO bietet mehr Flexibilität bei der Auswahl von Ärzten."
❌ Die Antwort geht nicht auf die Frage des Benutzers nach den Kosten ein.
Konsistenz des Kontexts
Die Kontextkonsistenz misst, ob der Agent konsistente Fakten und Informationen über alle Gesprächsrunden hinweg beibehält.
Fehlerbeispiel
Runde 1
- Nutzer: "Wie viele Urlaubstage bekomme ich?"
- Agent: "Als neuer Mitarbeiter erhalten Sie jährlich 15 Tage PTO."
Runde 2
- Nutzer: "Und wie viele Krankheitstage?"
- Agent: "Sie haben 10 Krankheitstage plus Ihre 10 Urlaubstage."
❌ Der Agent widerspricht früheren Angaben, indem er die Anzahl der Urlaubstage ändert.
Entwerfen von Testfällen mit mehreren Durchläufen
Das Entwerfen effektiver Multi-Turn-Auswertungen erfordert die Definition sowohl des Gesprächsflusses als auch der erwarteten Verhaltensweisen. Ein Testfall mit mehreren Durchläufen umfasst in der Regel:
- Testfall-ID und Beschreibung
- Grounding-Daten
- Gesprächssequenz
- Erwartete Verhaltensweisen
- Assertionen
Beispiel: Gerätebestellung
- Testfall-ID: CONV-001
- Beschreibung: Ablauf der Gerätebestellung
Grounding-Daten
- Mitarbeiterin: Katrin Pold
- Employee ID: EMP-54321
- Abteilung: Produktdesign
- Budget: 3.500 USD
Unterhaltung
Runde 1
- Benutzer: "Ich muss meinen Laptop einrichten."
- Erwartetes Verhalten: Fragen Sie nach Vorlieben.
Runde 2
- Benutzer: "MacBook Pro"
- Erwartetes Verhalten: Fragen Sie nach Spezifikationen.
Runde 3
- Nutzer: "16 Zoll mit 32GB RAM"
- Erwartetes Verhalten: Bestellung bestätigen und absenden.
Runde 4
- Benutzer: "Eigentlich ändern Sie es auf 64 GB."
- Erwartetes Verhalten: Aktualisieren Sie die Bestellung.
Assertionen auf Unterhaltungsebene
- Das Gespräch wird mit einer bestätigten Ausrüstungsbestellung abgeschlossen.
- Die endgültige Bestellung entspricht der korrigierten Spezifikation (64 GB).
- Der Agent fragt nie nach der Mitarbeiter-ID (sollte aus dem Kontext abgeleitet werden).
- Die Gesamtzahl der Runden bis zum Abschluss beträgt ≤6.
Zusicherungen auf Turn-Ebene
-
Runde 3:
- Agent ruft das OrderEquipment-Tool auf.
- Der Werkzeugaufruf enthält das Modell: "MacBook Pro 16 Zoll".
- Der Toolaufruf enthält Spezifikationen, die "32 GB" enthalten.
-
Runde 4:
- Agent ruft UpdateOrder auf oder ändert vorherige Reihenfolge.
- Die endgültige Bestätigung zeigt "64 GB" an.
Beispiel: Slotfüllende Unterhaltung
Szenario: Registrierung von Sozialleistungen (Ausfüllen von Slots)
Ziel: Sammeln aller erforderlichen Informationen und Abschließen der Registrierung
Erforderliche Eingaben (Steckplätze):
- Planauswahl (HMO oder PPO)
- Deckungsgrad (Einzelperson oder Familie)
- Abhängige Informationen (falls zutreffend)
- Gültig ab
Unterhaltung
Runde 1
Nutzer: "Ich möchte mich krankenversichern."
Agent:
- Bestätigt die Anforderung
- Fragt nach Planpräferenz (HMO vs. PPO)
Runde 2
Benutzer: "Was ist der Unterschied?"
Agent:
- Erklärt die wichtigsten Unterschiede zwischen HMO und PPO
- Fordert erneut zur Planauswahl auf
Runde 3
Benutzer: "Ich werde mit dem PPO gehen."
Agent:
- Bestätigt die Auswahl
- Fragt nach Deckungsgrad (Einzelperson oder Familie)
Runde 4
Benutzer: "Familienberichterstattung. Ich habe eine Ehefrau und zwei Kinder."
Agent:
- Bestätigt das abhängige Szenario
- Fordert abhängige Details an (Namen, Alter usw.)
Runde 5
Benutzer: [Stellt abhängige Informationen bereit]
Agent:
- Bestätigt alle gesammelten Informationen
- Übermittelt die Registrierung
- Stellt eine Zusammenfassung der Bestätigung bereit
Assertions:
- Alle erforderlichen Slots werden vor der Einreichung gesammelt.
- Der Agent überspringt keine erforderlichen Eingaben.
- Der Agent erklärt Optionen, wenn er dazu aufgefordert wird.
- Die endgültige Bestätigung enthält alle erfassten Details.
- Die Aufgabe wird ohne unnötige Umläufe erfolgreich abgeschlossen.
Beispiel: Klärendes Gespräch
Szenario: Mehrdeutige Anfrage (Klarstellung)
Ziel: Beseitigen Sie Mehrdeutigkeiten, indem Sie vor der Antwort genügend Kontext sammeln
Unterhaltung
Runde 1
Benutzer: "Ich muss mir eine Auszeit nehmen."
Agent:
- Bestätigt die Anforderung
- Fragt, welche Art von Freizeit (PTO, Krankenstand, persönlicher Urlaub)
Runde 2
Benutzer: "Es ist für einen medizinischen Eingriff."
Agent:
- Identifiziert wahrscheinliche Kategorie
- Fragt, ob die Anforderung für den Benutzer oder ein Familienmitglied ist
Runde 3
User: "Es ist für mich. Es ist eine kleine Operation."
Agent:
- Bestimmt, dass es sich wahrscheinlich um einen Krankenstand handelt
- Stellt relevante Richtlinieninformationen bereit
- Fragt nach der erwarteten Dauer
Runde 4
Benutzer: "Ungefähr eine Woche."
Agent:
- Bestätigt die Berechtigung und den Prozess
- Enthält die nächsten Schritte (z. B. das Beantragen von Urlaub)
- Bietet an, die Anforderung zu initiieren, falls zutreffend
Assertions:
- Der Agent geht nicht von der anfänglichen mehrdeutigen Anforderung auf eine Absicht aus.
- Klärende Fragen sind relevant und grenzen den Umfang schrittweise ein.
- Die endgültige Antwort spiegelt die tatsächliche Situation des Benutzers wider.
- Der Agent wechselt effektiv von der Klärung zur Lösung.
Beispiel: Konversation zur Wiederherstellung von Fehlern
Szenario: Auftragsfehler und Wiederherstellung
Ziel: Fehler transparent behandeln und den Benutzer zu einem erfolgreichen Ergebnis führen
Unterhaltung:
Runde 1
Nutzer: "Bestelle mir ein MacBook Pro 16 Zoll."
Agent:
- Versuche, die Bestellung abzusenden
Antwort des Systems/Tools:
- Fehler: Artikel nicht vorrätig
Agent:
- Kommuniziert das Problem klar
- Unkenntlich gemacht oder ignoriert den Fehler nicht
- Schlägt Alternativen vor (z. B. ein anderes Modell oder eine andere Größe)
Runde 2
Benutzer: "Wann wird es wieder auf Lager sein?"
Agent:
- Prüft die Verfügbarkeit oder gibt eine Schätzung des Wiederaufbestands an, falls verfügbar
- Wenn nicht verfügbar, wird dies klar kommuniziert
- Bietet an, den Benutzer zu benachrichtigen oder Alternativen vorzuschlagen
Runde 3
Benutzer: "Kann ich stattdessen den 14-Zoll bekommen?"
Agent:
- Bestätigt die Verfügbarkeit der Alternative
- Übermittelt den neuen Auftrag
- Stellt eine Bestätigung bereit (Bestelldetails, voraussichtliche Lieferung)
Assertions:
- Der Agent kommuniziert Ausfälle und deren Ursachen klar.
- Der Agent bietet umsetzbare Alternativen oder nächste Schritte.
- Das Gespräch schreitet in Richtung Genesung voran, nicht in Sackgassen.
- Der Benutzer schließt die Aufgabe nach dem Fehler erfolgreich ab.
- Der Agent behält den Kontext über die Fehler- und Wiederherstellungsschritte hinweg bei.
Assertionen für mehrere Durchläufe
Die Auswertung mehrerer Durchläufe erfordert eine Überprüfung sowohl auf Gesprächs- als auch auf Turn-Ebene.
Assertionen auf Unterhaltungsebene
- Die Konversation erreicht das Ziel des Benutzers.
- Die Anzahl der Windungen liegt in einem erwarteten Bereich.
- Der Agent behält konsistente Informationen bei.
- Der Agent behält seine Rolle bei.
- Der Agent fordert keine doppelten Informationen an.
Zusicherungen auf Turn-Ebene
- Die Antwort erkennt den vorherigen Kontext an.
- Die Antwort stellt entsprechende Folgefragen.
- Der Agent führt die erwarteten Aktionen aus.
- Die Antwort bestätigt die ergriffenen Maßnahmen.
Bedingte Assertionen
- Wenn der Benutzer Informationen korrigiert, aktualisiert der Agent nachfolgende Antworten.
- Wenn eine Aktion fehlschlägt, kommuniziert der Agent das Problem und bietet Alternativen an.
- Wenn ein Benutzer eine Frage außerhalb des gültigen Bereichs stellt, leitet der Agent entsprechend um.
Beispiel: End-to-End-Multiturn-Auswertung
Testfall: Einrichtung von Neueinstellungen
Beschreibung
Ein neuer Mitarbeiter bestellt Ausrüstung und stellt während desselben Gesprächs eine Frage nach den Leistungen.
Grounding-Daten
- Mitarbeiter: Marcus Johnson
- Employee ID: EMP-99887
- Abteilung: Engineering
- Standort: Seattle
- Ausrüstungsbudget: 4.000 USD
Unterhaltung
Runde 1
- Benutzer: "Ich fange nächste Woche an und muss meine Workstation einrichten."
- Erwartetes Verhalten: Willkommen und fragen Sie nach dem Ausrüstungsbedarf.
Runde 2
- Nutzer: "Ich brauche ein MacBook Pro 16 Zoll mit 64GB RAM und einem 27-Zoll-Monitor."
- Erwartetes Verhalten: Auftrag erteilen und bestätigen.
Runde 3
- Nutzer: "Wann ist die Frist für die Anmeldung zur Krankenversicherung?"
- Erwartetes Verhalten: Stellen Sie Informationen zu Leistungen bereit, ohne den Kontext zu verlieren.
Runde 4
- Benutzer: "Können Sie bestätigen, was ich bestellt habe?"
- Erwartetes Verhalten: Erinnern und Zusammenfassen des Auftrags.
Erwartete Ergebnisse
- Die Gerätebestellung ist abgeschlossen.
- Die Frage nach den Vorteilen wird genau beantwortet.
- Der Kontext bleibt über Kurven hinweg erhalten.
- Informationen werden nicht erneut angefordert.
Häufige Fallstricke
Beachten Sie beim Entwerfen und Auswerten von mehrteiligen Unterhaltungen die folgenden häufigen Probleme:
- Die Auswertung von Wendungen isoliert statt innerhalb des vollständigen Gesprächskontexts, wodurch Fehler in Bezug auf Arbeitsspeicher, Kontinuität und Aufgabenerledigung verborgen werden können.
- Es werden nur ideale Szenarien (Happy-Path-Szenarien) getestet, die das reale Benutzerverhalten wie Mehrdeutigkeiten, Korrekturen und Unterbrechungen nicht widerspiegeln.
- Das Ignorieren von Unterschieden zwischen kurzen und langen Unterhaltungen, bei denen kurze Flows oft nicht abgeschlossen werden und lange Flows zu Kontextabweichungen führen.
- Abgesehen von widrigem oder unerwartetem Benutzerverhalten, wie z. B. widersprüchliche Eingaben, Themenwechsel oder vage Anfragen.
- Definieren unklarer oder impliziter Benutzerziele, wodurch es schwierig wird, festzustellen, ob die Unterhaltung erfolgreich war.
- Überspezifizierte erwartete Antworten, was die Flexibilität verringert und gültige Abweichungen fälschlicherweise bestraft.
- Fehlerbehandlung und Wiederherstellungspfade können nicht getestet werden, was zu Lücken in der Reaktion des Agenten auf Fehler oder fehlende Informationen führt.
Bewährte Methoden
Verwenden Sie diese Methoden, um effektive und skalierbare Multiturn-Auswertungen zu entwerfen:
- Beginnen Sie mit einer kleinen Gruppe hochwertiger Szenarien, die die häufigsten oder kritischsten Gesprächsflüsse darstellen.
- Definieren Sie für jeden Testfall ein klares Benutzerziel und verwenden Sie die Zielerreichung als primäre Erfolgsmetrik.
- Testen Sie sowohl direkte (Benutzer gibt alle Eingaben im Voraus an) als auch geführte (Agent sammelt Eingaben über mehrere Umläufe) Pfade bis zum Abschluss.
- Verwenden Sie zuerst Assertionen auf Unterhaltungsebene, und fügen Sie dann Assertionen auf Turn-Ebene für eine tiefere Überprüfung hinzu.
- Entwerfen Sie Szenarien, die ein realistisches Benutzerverhalten widerspiegeln, einschließlich Klarstellungen, Korrekturen und Themenwechsel.
- Überprüfen Sie die Kontextaufbewahrung explizit, indem Sie sicherstellen, dass der Agent zuvor bereitgestellte Informationen verwendet, ohne erneut nachzufragen.
- Schließen Sie Fehlerbehandlungs- und Wiederherstellungsszenarien ein, um sicherzustellen, dass der Agent Fehler kommuniziert und die nächsten Schritte vorschlägt.
- Verwenden Sie flexible, verhaltensbasierte Assertionen anstelle des exakten Antwortabgleichs.
- Stellen Sie sicher, dass die Tests reproduzierbar sind und gleichzeitig der Realismus erhalten bleibt, indem Sie die erwarteten Verhaltensweisen anstelle der genauen Formulierungen definieren.
- Durchlaufen und verfeinern Sie Testfälle basierend auf beobachteten Fehlern und sich entwickelnden Nutzungsmustern kontinuierlich.