Auswerten von mehrteiligen Unterhaltungen

Echte Benutzer interagieren nicht mit Agenten durch isolierten Austausch mit einzelnen Fragen. Stattdessen führen sie Gespräche, die Folgefragen, inkrementellen Informationsaustausch und die mehrstufige Aufgabenerledigung umfassen.

Die Auswertung mehrerer Durchläufe hilft sicherzustellen, dass Ihr Agent den Kontext beibehalten, Aufgaben über mehrere Schritte hinweg erledigen und während eines realistischen Gesprächsflusses angemessen reagieren kann.

Wann sollte die Multiturn-Auswertung verwendet werden?

Verwenden Sie die Auswertung mehrerer Durchläufe, wenn Sie Szenarien testen, die eine Kontextbeibehaltung oder mehrere Schritte erfordern, um eine Aufgabe abzuschließen.

Szenario Warum Multiturn erforderlich ist
Ausfüllen des Schlitzes Der Agent muss mehrere Informationen sammeln.
Klärungsflüsse Der Agent muss mehrdeutige Benutzereingaben auflösen.
Mehrstufige Aufgaben Die Aufgabe erfordert mehrere Austausche, um abgeschlossen zu werden.
Kontextabhängige Follow-ups Spätere Fragen hängen von früheren Antworten ab.
Progressive Offenlegung Die Informationen werden inkrementell bereitgestellt.

Singleturn- vs. Multiturn-Auswertung

Beginnen Sie mit Singleturn-Auswertungen für die Abdeckung und fügen Sie dann Multiturn-Auswertungen hinzu, um realistische Interaktionen zu testen.

Aspekt Einfacher Durchgang Mehrfachturnen
Tests Individuelle Frage-Antwort-Paare Unterhaltungen abschließen
Kontext Jeder Prompt ist unabhängig Dreht sich aufeinander aufbauend
Komplexität Einfacheres Design und Bewertung Realistischer, aber komplexer
Fehlerdiagnose Einfacheres Isolieren von Problemen Erfordert eine Turn-by-Turn-Analyse
Anwendungsfall Testen spezifischer Antworten Testen des Gesprächsflusses

Wichtige Metriken für die Auswertung mit mehreren Durchläufen

Die Auswertung mehrerer Umdrehungen erfordert zusätzliche Metriken, die über die Genauigkeit einer einzelnen Umdrehung hinausgehen. Diese Metriken bewerten, wie gut der Agent während einer gesamten Unterhaltung abschneidet.

Vollständigkeit der Unterhaltung

Die Vollständigkeit der Konversation misst, ob der Agent das Ziel des Benutzers am Ende der Interaktion erreicht.

Erfolgsbeispiel

Runde 1

  • Benutzer: "Ich muss einen Laptop bestellen"
  • Agent: "Ich kann dabei helfen. Welche Art von Laptop benötigen Sie?"

Runde 2

  • Benutzer: "MacBook Pro"
  • Agent: "Welche Bildschirmgröße – 14 Zoll oder 16 Zoll?"

Runde 3

  • Benutzer: "16 Zoll"
  • Agent: "Ich habe Ihre Bestellung für ein 16-Zoll-MacBook Pro aufgegeben. Order ID: ORD-456. Voraussichtliche Lieferung: 5–7 Werktage."

✅ Das Benutzerziel (Bestellen eines Laptops) wird erreicht.

Fehlerbeispiel

Runde 1

  • Benutzer: "Ich muss einen Laptop bestellen"
  • Agent: "Ich kann dabei helfen. Welche Art von Laptop benötigen Sie?"

Runde 2

  • Benutzer: "MacBook Pro"
  • Agent: "MacBook Pro ist eine gute Wahl! Gibt es sonst noch etwas?"

❌ Die Bestellung wurde nicht übermittelt und das Benutzerziel wird nicht erreicht.

Wissenserhalt

Die Wissenserhaltung misst, ob sich der Agent an Informationen erinnert, die er in früheren Runden erhalten hat, und diese nutzt.

Erfolgsbeispiel

Runde 1

  • Benutzer: "Meine Mitarbeiter-ID lautet EMP-12345"
  • Agent: "Danke! Wie kann ich Ihnen heute helfen?"

Runde 2

  • Benutzer: "Ich möchte mein PTO-Guthaben überprüfen"
  • Agent: "Ihr aktuelles PTO-Guthaben beträgt noch 12 Tage."

✅ Der Agent verwendete die zuvor bereitgestellte Mitarbeiter-ID, ohne erneut nachzufragen.

Fehlerbeispiel

Runde 1

  • Benutzer: "Meine Mitarbeiter-ID lautet EMP-12345"
  • Agent: "Danke! Wie kann ich Ihnen heute helfen?"

Runde 2

  • Benutzer: "Ich möchte mein PTO-Guthaben überprüfen"
  • Agent: "Ich würde gerne helfen. Wie lautet Ihr Mitarbeiterausweis?"

❌ Der Agent hat die Mitarbeiter-ID des vorherigen Zuges vergessen.

Rolleneinhaltung

Die Rolleneinhaltung misst, ob der Agent während des gesamten Gesprächs seinen definierten Umfang und seine Verantwortlichkeiten beibehält.

Erfolgsbeispiel

Runde 1

  • Benutzer: "Was ist die PTO-Richtlinie?"
  • Agent: Stellt die richtigen Informationen zur PTO-Richtlinie bereit

Runde 2

  • Nutzer: "Kannst du ein Gedicht über Urlaub schreiben?"
  • Agent: "Ich bin hier, um bei HR- und Onboarding-Fragen zu helfen. Gibt es noch etwas über PTO, bei dem ich helfen kann?"

✅ Der Agent blieb in seiner Rolle und leitete entsprechend um.

Fehlerbeispiel

Runde 1

  • Benutzer: "Was ist die PTO-Richtlinie?"
  • Agent: Stellt die richtigen Informationen zur PTO-Richtlinie bereit

Runde 2

  • Nutzer: "Kannst du ein Gedicht über Urlaub schreiben?"
  • Agent: "Sicher! Hier ist ein Gedicht über sonnige Strände..."

❌Der Agent wich von seiner Rolle als HR-Assistent ab.

Relevanz von Unterhaltungen

Die Konversationsrelevanz misst, ob jede Antwort direkt für die Anforderung des Benutzers innerhalb des aktuellen Konversationskontexts relevant ist.

Fehlerbeispiel

Runde 1

  • Benutzer: "Welche Krankenversicherungen sind verfügbar?"
  • Agent: Listet HMO- und PPO-Optionen auf

Runde 2

  • Benutzer: "Was ist der Kostenunterschied?"
  • Agent: "Das PPO bietet mehr Flexibilität bei der Auswahl von Ärzten."

❌ Die Antwort geht nicht auf die Frage des Benutzers nach den Kosten ein.

Konsistenz des Kontexts

Die Kontextkonsistenz misst, ob der Agent konsistente Fakten und Informationen über alle Gesprächsrunden hinweg beibehält.

Fehlerbeispiel

Runde 1

  • Nutzer: "Wie viele Urlaubstage bekomme ich?"
  • Agent: "Als neuer Mitarbeiter erhalten Sie jährlich 15 Tage PTO."

Runde 2

  • Nutzer: "Und wie viele Krankheitstage?"
  • Agent: "Sie haben 10 Krankheitstage plus Ihre 10 Urlaubstage."

❌ Der Agent widerspricht früheren Angaben, indem er die Anzahl der Urlaubstage ändert.

Entwerfen von Testfällen mit mehreren Durchläufen

Das Entwerfen effektiver Multi-Turn-Auswertungen erfordert die Definition sowohl des Gesprächsflusses als auch der erwarteten Verhaltensweisen. Ein Testfall mit mehreren Durchläufen umfasst in der Regel:

  • Testfall-ID und Beschreibung
  • Grounding-Daten
  • Gesprächssequenz
  • Erwartete Verhaltensweisen
  • Assertionen

Beispiel: Gerätebestellung

  • Testfall-ID: CONV-001
  • Beschreibung: Ablauf der Gerätebestellung

Grounding-Daten

  • Mitarbeiterin: Katrin Pold
  • Employee ID: EMP-54321
  • Abteilung: Produktdesign
  • Budget: 3.500 USD

Unterhaltung

Runde 1

  • Benutzer: "Ich muss meinen Laptop einrichten."
  • Erwartetes Verhalten: Fragen Sie nach Vorlieben.

Runde 2

  • Benutzer: "MacBook Pro"
  • Erwartetes Verhalten: Fragen Sie nach Spezifikationen.

Runde 3

  • Nutzer: "16 Zoll mit 32GB RAM"
  • Erwartetes Verhalten: Bestellung bestätigen und absenden.

Runde 4

  • Benutzer: "Eigentlich ändern Sie es auf 64 GB."
  • Erwartetes Verhalten: Aktualisieren Sie die Bestellung.

Assertionen auf Unterhaltungsebene

  • Das Gespräch wird mit einer bestätigten Ausrüstungsbestellung abgeschlossen.
  • Die endgültige Bestellung entspricht der korrigierten Spezifikation (64 GB).
  • Der Agent fragt nie nach der Mitarbeiter-ID (sollte aus dem Kontext abgeleitet werden).
  • Die Gesamtzahl der Runden bis zum Abschluss beträgt ≤6.

Zusicherungen auf Turn-Ebene

  • Runde 3:
    • Agent ruft das OrderEquipment-Tool auf.
    • Der Werkzeugaufruf enthält das Modell: "MacBook Pro 16 Zoll".
    • Der Toolaufruf enthält Spezifikationen, die "32 GB" enthalten.
  • Runde 4:
    • Agent ruft UpdateOrder auf oder ändert vorherige Reihenfolge.
    • Die endgültige Bestätigung zeigt "64 GB" an.

Beispiel: Slotfüllende Unterhaltung

Szenario: Registrierung von Sozialleistungen (Ausfüllen von Slots)
Ziel: Sammeln aller erforderlichen Informationen und Abschließen der Registrierung

Erforderliche Eingaben (Steckplätze):

  • Planauswahl (HMO oder PPO)
  • Deckungsgrad (Einzelperson oder Familie)
  • Abhängige Informationen (falls zutreffend)
  • Gültig ab

Unterhaltung

Runde 1
Nutzer: "Ich möchte mich krankenversichern."
Agent:

  • Bestätigt die Anforderung
  • Fragt nach Planpräferenz (HMO vs. PPO)

Runde 2
Benutzer: "Was ist der Unterschied?"
Agent:

  • Erklärt die wichtigsten Unterschiede zwischen HMO und PPO
  • Fordert erneut zur Planauswahl auf

Runde 3
Benutzer: "Ich werde mit dem PPO gehen."
Agent:

  • Bestätigt die Auswahl
  • Fragt nach Deckungsgrad (Einzelperson oder Familie)

Runde 4
Benutzer: "Familienberichterstattung. Ich habe eine Ehefrau und zwei Kinder."
Agent:

  • Bestätigt das abhängige Szenario
  • Fordert abhängige Details an (Namen, Alter usw.)

Runde 5
Benutzer: [Stellt abhängige Informationen bereit]
Agent:

  • Bestätigt alle gesammelten Informationen
  • Übermittelt die Registrierung
  • Stellt eine Zusammenfassung der Bestätigung bereit

Assertions:

  • Alle erforderlichen Slots werden vor der Einreichung gesammelt.
  • Der Agent überspringt keine erforderlichen Eingaben.
  • Der Agent erklärt Optionen, wenn er dazu aufgefordert wird.
  • Die endgültige Bestätigung enthält alle erfassten Details.
  • Die Aufgabe wird ohne unnötige Umläufe erfolgreich abgeschlossen.

Beispiel: Klärendes Gespräch

Szenario: Mehrdeutige Anfrage (Klarstellung)
Ziel: Beseitigen Sie Mehrdeutigkeiten, indem Sie vor der Antwort genügend Kontext sammeln

Unterhaltung

Runde 1
Benutzer: "Ich muss mir eine Auszeit nehmen."
Agent:

  • Bestätigt die Anforderung
  • Fragt, welche Art von Freizeit (PTO, Krankenstand, persönlicher Urlaub)

Runde 2
Benutzer: "Es ist für einen medizinischen Eingriff."
Agent:

  • Identifiziert wahrscheinliche Kategorie
  • Fragt, ob die Anforderung für den Benutzer oder ein Familienmitglied ist

Runde 3
User: "Es ist für mich. Es ist eine kleine Operation."
Agent:

  • Bestimmt, dass es sich wahrscheinlich um einen Krankenstand handelt
  • Stellt relevante Richtlinieninformationen bereit
  • Fragt nach der erwarteten Dauer

Runde 4
Benutzer: "Ungefähr eine Woche."
Agent:

  • Bestätigt die Berechtigung und den Prozess
  • Enthält die nächsten Schritte (z. B. das Beantragen von Urlaub)
  • Bietet an, die Anforderung zu initiieren, falls zutreffend

Assertions:

  • Der Agent geht nicht von der anfänglichen mehrdeutigen Anforderung auf eine Absicht aus.
  • Klärende Fragen sind relevant und grenzen den Umfang schrittweise ein.
  • Die endgültige Antwort spiegelt die tatsächliche Situation des Benutzers wider.
  • Der Agent wechselt effektiv von der Klärung zur Lösung.

Beispiel: Konversation zur Wiederherstellung von Fehlern

Szenario: Auftragsfehler und Wiederherstellung
Ziel: Fehler transparent behandeln und den Benutzer zu einem erfolgreichen Ergebnis führen

Unterhaltung:

Runde 1
Nutzer: "Bestelle mir ein MacBook Pro 16 Zoll."
Agent:

  • Versuche, die Bestellung abzusenden

Antwort des Systems/Tools:

  • Fehler: Artikel nicht vorrätig

Agent:

  • Kommuniziert das Problem klar
  • Unkenntlich gemacht oder ignoriert den Fehler nicht
  • Schlägt Alternativen vor (z. B. ein anderes Modell oder eine andere Größe)

Runde 2
Benutzer: "Wann wird es wieder auf Lager sein?"
Agent:

  • Prüft die Verfügbarkeit oder gibt eine Schätzung des Wiederaufbestands an, falls verfügbar
  • Wenn nicht verfügbar, wird dies klar kommuniziert
  • Bietet an, den Benutzer zu benachrichtigen oder Alternativen vorzuschlagen

Runde 3
Benutzer: "Kann ich stattdessen den 14-Zoll bekommen?"
Agent:

  • Bestätigt die Verfügbarkeit der Alternative
  • Übermittelt den neuen Auftrag
  • Stellt eine Bestätigung bereit (Bestelldetails, voraussichtliche Lieferung)

Assertions:

  • Der Agent kommuniziert Ausfälle und deren Ursachen klar.
  • Der Agent bietet umsetzbare Alternativen oder nächste Schritte.
  • Das Gespräch schreitet in Richtung Genesung voran, nicht in Sackgassen.
  • Der Benutzer schließt die Aufgabe nach dem Fehler erfolgreich ab.
  • Der Agent behält den Kontext über die Fehler- und Wiederherstellungsschritte hinweg bei.

Assertionen für mehrere Durchläufe

Die Auswertung mehrerer Durchläufe erfordert eine Überprüfung sowohl auf Gesprächs- als auch auf Turn-Ebene.

Assertionen auf Unterhaltungsebene

  • Die Konversation erreicht das Ziel des Benutzers.
  • Die Anzahl der Windungen liegt in einem erwarteten Bereich.
  • Der Agent behält konsistente Informationen bei.
  • Der Agent behält seine Rolle bei.
  • Der Agent fordert keine doppelten Informationen an.

Zusicherungen auf Turn-Ebene

  • Die Antwort erkennt den vorherigen Kontext an.
  • Die Antwort stellt entsprechende Folgefragen.
  • Der Agent führt die erwarteten Aktionen aus.
  • Die Antwort bestätigt die ergriffenen Maßnahmen.

Bedingte Assertionen

  • Wenn der Benutzer Informationen korrigiert, aktualisiert der Agent nachfolgende Antworten.
  • Wenn eine Aktion fehlschlägt, kommuniziert der Agent das Problem und bietet Alternativen an.
  • Wenn ein Benutzer eine Frage außerhalb des gültigen Bereichs stellt, leitet der Agent entsprechend um.

Beispiel: End-to-End-Multiturn-Auswertung

Testfall: Einrichtung von Neueinstellungen

Beschreibung

Ein neuer Mitarbeiter bestellt Ausrüstung und stellt während desselben Gesprächs eine Frage nach den Leistungen.

Grounding-Daten

  • Mitarbeiter: Marcus Johnson
  • Employee ID: EMP-99887
  • Abteilung: Engineering
  • Standort: Seattle
  • Ausrüstungsbudget: 4.000 USD

Unterhaltung

Runde 1

  • Benutzer: "Ich fange nächste Woche an und muss meine Workstation einrichten."
  • Erwartetes Verhalten: Willkommen und fragen Sie nach dem Ausrüstungsbedarf.

Runde 2

  • Nutzer: "Ich brauche ein MacBook Pro 16 Zoll mit 64GB RAM und einem 27-Zoll-Monitor."
  • Erwartetes Verhalten: Auftrag erteilen und bestätigen.

Runde 3

  • Nutzer: "Wann ist die Frist für die Anmeldung zur Krankenversicherung?"
  • Erwartetes Verhalten: Stellen Sie Informationen zu Leistungen bereit, ohne den Kontext zu verlieren.

Runde 4

  • Benutzer: "Können Sie bestätigen, was ich bestellt habe?"
  • Erwartetes Verhalten: Erinnern und Zusammenfassen des Auftrags.

Erwartete Ergebnisse

  • Die Gerätebestellung ist abgeschlossen.
  • Die Frage nach den Vorteilen wird genau beantwortet.
  • Der Kontext bleibt über Kurven hinweg erhalten.
  • Informationen werden nicht erneut angefordert.

Häufige Fallstricke

Beachten Sie beim Entwerfen und Auswerten von mehrteiligen Unterhaltungen die folgenden häufigen Probleme:

  • Die Auswertung von Wendungen isoliert statt innerhalb des vollständigen Gesprächskontexts, wodurch Fehler in Bezug auf Arbeitsspeicher, Kontinuität und Aufgabenerledigung verborgen werden können.
  • Es werden nur ideale Szenarien (Happy-Path-Szenarien) getestet, die das reale Benutzerverhalten wie Mehrdeutigkeiten, Korrekturen und Unterbrechungen nicht widerspiegeln.
  • Das Ignorieren von Unterschieden zwischen kurzen und langen Unterhaltungen, bei denen kurze Flows oft nicht abgeschlossen werden und lange Flows zu Kontextabweichungen führen.
  • Abgesehen von widrigem oder unerwartetem Benutzerverhalten, wie z. B. widersprüchliche Eingaben, Themenwechsel oder vage Anfragen.
  • Definieren unklarer oder impliziter Benutzerziele, wodurch es schwierig wird, festzustellen, ob die Unterhaltung erfolgreich war.
  • Überspezifizierte erwartete Antworten, was die Flexibilität verringert und gültige Abweichungen fälschlicherweise bestraft.
  • Fehlerbehandlung und Wiederherstellungspfade können nicht getestet werden, was zu Lücken in der Reaktion des Agenten auf Fehler oder fehlende Informationen führt.

Bewährte Methoden

Verwenden Sie diese Methoden, um effektive und skalierbare Multiturn-Auswertungen zu entwerfen:

  • Beginnen Sie mit einer kleinen Gruppe hochwertiger Szenarien, die die häufigsten oder kritischsten Gesprächsflüsse darstellen.
  • Definieren Sie für jeden Testfall ein klares Benutzerziel und verwenden Sie die Zielerreichung als primäre Erfolgsmetrik.
  • Testen Sie sowohl direkte (Benutzer gibt alle Eingaben im Voraus an) als auch geführte (Agent sammelt Eingaben über mehrere Umläufe) Pfade bis zum Abschluss.
  • Verwenden Sie zuerst Assertionen auf Unterhaltungsebene, und fügen Sie dann Assertionen auf Turn-Ebene für eine tiefere Überprüfung hinzu.
  • Entwerfen Sie Szenarien, die ein realistisches Benutzerverhalten widerspiegeln, einschließlich Klarstellungen, Korrekturen und Themenwechsel.
  • Überprüfen Sie die Kontextaufbewahrung explizit, indem Sie sicherstellen, dass der Agent zuvor bereitgestellte Informationen verwendet, ohne erneut nachzufragen.
  • Schließen Sie Fehlerbehandlungs- und Wiederherstellungsszenarien ein, um sicherzustellen, dass der Agent Fehler kommuniziert und die nächsten Schritte vorschlägt.
  • Verwenden Sie flexible, verhaltensbasierte Assertionen anstelle des exakten Antwortabgleichs.
  • Stellen Sie sicher, dass die Tests reproduzierbar sind und gleichzeitig der Realismus erhalten bleibt, indem Sie die erwarteten Verhaltensweisen anstelle der genauen Formulierungen definieren.
  • Durchlaufen und verfeinern Sie Testfälle basierend auf beobachteten Fehlern und sich entwickelnden Nutzungsmustern kontinuierlich.

Nächster Schritt