Entwerfen von Evaluierungs-Prompts

Die Qualität Ihrer Auswertung hängt von der Qualität Ihrer Eingabeaufforderungen ab. Gut gestaltete Prompts testen genau das, was Sie beabsichtigen – nicht mehr und nicht weniger.

In diesem Artikel wird erläutert, wie Sie Bewertungsprompts entwerfen, die klare, umsetzbare Ergebnisse liefern.

Anatomie eines effektiven Bewertungsprompts

Effektive Auswertungsprompts zeichnen sich durch vier Merkmale aus:

  • Einfache Absicht
  • Realistische Formulierung
  • Auf Daten basiert
  • Eigenständige

Einfache Absicht

Jede Eingabeaufforderung sollte ein Benutzerziel oder eine Frage testen. Eingabeaufforderungen mit mehreren absichten erschweren das Identifizieren der Ursache eines Fehlers.

Mehrfachabsicht (vermeiden) Einfache Absicht (bevorzugt)
Wie hoch ist mein PTO-Guthaben und können Sie mir einen Laptop bestellen? Wie hoch ist mein PTO-Guthaben?
Erzählen Sie mir von gesundheitlichen Vorteilen und auch dem 401k-Match. Welche Krankenversicherungen gibt es?

Um mehrere Funktionen zusammen zu testen, verwenden Sie mehrstufige Unterhaltungsauswertungen, anstatt Absichten in einer einzigen Eingabeaufforderung zu kombinieren.

Realistische Formulierung

Prompts sollten widerspiegeln, wie Benutzer tatsächlich kommunizieren, einschließlich informeller Sprache, unvollständiger Sätze und unterschiedlicher Detailgenauigkeiten.

Übermäßig formell Realistisch
Bitte informieren Sie sich über die jährliche bezahlte Freizeitzuteilung für Mitarbeiter im ersten Beschäftigungsjahr. Wie viele Urlaubstage bekommen Neueinstellungen?
Ich möchte einen Antrag auf Beschaffung von EDV-Geräten stellen. Ich muss einen Laptop bestellen.

Sie können realistische Eingabeaufforderungen ableiten aus:

  • Protokolle für Produktionsabfragen
  • User Research Sessions
  • Supporttickets
  • Alltägliche Unterhaltungen am Arbeitsplatz

Auf Daten basiert

Prompts sollten auf Daten basieren. Wenn Grounding-Daten verfügbar sind, verwende bestimmte Entitäten, Werte und Bezeichner. Dieser Ansatz macht Bewertungen messbar und überprüfbar.

Fundierte Eingabeaufforderungen ermöglichen präzise Aussagen wie "Die Antwort enthält 15 Tage" anstelle vager Überprüfungen wie "Die Antwort enthält die richtige Anzahl".

Ohne Grounding-Daten

Eingabeaufforderung: "Was ist die PTO-Richtlinie für Ingenieure?"

Mit Grounding-Daten

Grounding-Daten:

  • Mitarbeiter: Marcus Johnson
  • Abteilung: Engineering
  • Amtszeit: 8 Monate
  • Manager: Lisa Park
  • Standort: Büro in Austin

Eingabeaufforderung: "Ich bin im Entwicklungsteam – wie viele Urlaubstage bekomme ich?"

Selbständig (Singleturn)

Bei Single-Turn-Auswertungen muss jeder Prompt den gesamten erforderlichen Kontext enthalten. Der Agent kann sich nicht auf vorherige Gesprächsrunden verlassen. Die folgende Tabelle enthält Beispiele für eigenständige Eingabeaufforderungen.

Eigenständige Hängt vom Kontext ab (vermeiden)
Was deckt der PPO-Gesundheitsplan ab? Was ist mit dem anderen Krankenversicherungsplan?
Wie hoch sind die Mitarbeiterkosten für den PPO-Gesundheitsplan? Und wie viel kostet das?
Kann man ein 16-Zoll-MacBook Pro bestellen? Können Sie das stattdessen bestellen?

Verwenden Sie für Szenarien, die sich über mehrere Runden erstrecken, Gespräche mit mehreren Durchläufen.

Prompt-Variationen

Benutzer stellen nicht alle dieselbe Frage auf die gleiche Weise. Um die Generalisierung zu testen, erstellen Sie drei Variationen jeder Eingabeaufforderung.

Kanonische Eingabeaufforderungen

Kanonische Eingabeaufforderungen sind eindeutig, vollständig und eindeutig. Sie dienen als Grundlage.

  • Schließen Sie alle erforderlichen Parameter ein.
  • Verwenden Sie präzise Terminologie.
  • Vermeiden Sie Mehrdeutigkeiten.
  • Stellen Sie eine ideale Abfrage dar.

Beispiel

"Wie viele bezahlte Urlaubstage erhalten Mitarbeiter mit weniger als zwei Jahren Betriebszugehörigkeit nach der aktuellen PTO-Richtlinie jährlich?"

Variante natürlicher Sprache

Die Variante der natürlichen Sprache spiegelt alltägliche Konversationsformulierungen wider. Varianten natürlicher Sprache:

  • Verwenden Sie eine lockere Konversationssprache.
  • Kann Synonyme oder informelle Begriffe enthalten.
  • Vermeiden Sie technische IDs.
  • Bleiben Sie vollständig genug, um zu antworten.

Beispiel

"Hey, wie viel Urlaub bekomme ich als neuer Mitarbeiter?"

In der folgenden Tabelle werden kanonische Eingabeaufforderungen und Varianten in natürlicher Sprache verglichen.

Technik Kanonisch Natürliche Variante
Synonyme "Bezahlte Freizeit" "Urlaubstage", "Freizeit", "PTO"
Informelle Formulierung "Wie viele Tage erhalte ich" "Wie viel bekomme ich"
Impliziter Kontext "Mitarbeiter mit <2 Jahren Betriebszugehörigkeit" "Als Neueinstellung"
Lässige Hülle Richtige Groß-/Kleinschreibung Kleinbuchstaben, minimale Zeichensetzung

Robustheitstest

Der Robustheitstest bewertet, wie gut der Agent mit unvollkommenen Eingaben umgeht. Robustheitstests:

  • Berücksichtigen Sie realistische Tippfehler.
  • Grammatikfehler enthalten.
  • Verwenden Sie Kurzschriften oder Abkürzungen.
  • Testen Sie die Absichtserkennung unter Rauschen.

Beispiel: "Was ist mein Anspruch auf Urlaubstage"

Die folgende Tabelle zeigt Beispiele für zu testende Muster.

Muster Beispiel
Tippfehler "vacaton" statt "vacation"
Fehlende Zeichensetzung "was" statt "was" ist
Fehlende Wörter "how many days get"
Abkürzungen "PTO Bal?"
Run-on-Abfragen "Brauche Laptop MacBook Pro 16 Zoll"

Vollständige Beispiele für Promptvariationen

Die folgenden Beispiele veranschaulichen alle drei Eingabeaufforderungstypen für ein einzelnes Szenario.

Szenario: Gerätebestellung

Dieses Szenario enthält die folgenden Grundlagendaten:

  • Mitarbeiterin: Katrin Pold
  • Abteilung: Produktdesign
  • Startdatum: 15.01.2024
  • Ausrüstungsbudget: 3.500 USD
  • Zugelassene Artikel: MacBook Pro (14 Zoll oder 16 Zoll), externer Monitor, Tastatur, Maus

Prompt-Variationen

Kanonisch

"Ich bin ab dem 15. Januar 2024 ein neuer Mitarbeiter in der Abteilung Produktdesign. Ich muss einen 16-Zoll-MacBook Pro-Laptop bestellen. Bitte reichen Sie diese Geräteanforderung über das IT-Bestellsystem ein."

Natürliche Sprache

"Hallo, ich bin gerade dem Produktdesignteam beigetreten und muss meinen Laptop einrichten. Kann ich ein MacBook Pro bekommen? Der 16-Zoll-Pullover ist am besten geeignet."

Robustheitstest

"Ich muss MacBook Pro 16in für einen neuen Job im Produktdesign bestellen"

Assertionen (gelten für alle Varianten):

  • Die Antwort bestätigt, dass die Gerätebestellung initiiert wurde.
  • Der Agent hat das OrderEquipment-Tool aufgerufen.
  • Der Toolaufruf enthält "MacBook Pro 16 Zoll" (oder gleichwertig).
  • Die Antwort enthält eine Auftragsbestätigung oder Referenznummer.

Szenario: Richtlinienfrage mit Personalisierung

Dieses Szenario enthält die folgenden Grundlagendaten:

  • Mitarbeiter: James Wright
  • Standort: London, Vereinigtes Königreich
  • Amtszeit: 6 Monate
  • Beschäftigungsart: Vollzeit

Prompt-Variationen

Kanonisch

"Auf welche Feiertage habe ich als Vollzeitbeschäftigter in der Londoner Niederlassung mit 6 Monaten Betriebszugehörigkeit in diesem Jahr Anspruch?"

Natürliche Sprache

"Ich arbeite im Londoner Büro – welche Feiertage habe ich frei?"

Robustheitstest

"Britische Büroferien in diesem Jahr?"

Assertionen (gelten für alle Varianten):

  • Die Antwort listet britische Feiertage (nicht US-Feiertage) auf.
  • Die Antwort umfasst mindestens: Neujahr, Ostern, Weihnachten.
  • Die Antwort bezieht sich auf die Politik oder den Zeitplan des Vereinigten Königreichs.
  • Die Antwort bezieht sich nicht Erwähnung US-Feiertage wie den 4. Juli oder Thanksgiving.

Zu vermeidende Muster

Vermeiden Sie die folgenden Eingabeaufforderungsmuster.

Eingabeaufforderungen mit mehreren Absichten

Vermeiden Sie Eingabeaufforderungen mit mehreren Absichten. Wenn Ihre Eingabeaufforderung mehrere Absichten abdeckt, können Sie nicht ermitteln, welche Absicht einen Fehler verursacht hat.

  • Vermeiden Sie: Wie hoch ist mein PTO-Guthaben und können Sie mir etwas über Krankenversicherungsoptionen erzählen, und ich brauche möglicherweise auch einen Laptop?
  • Verwenden Sie stattdessen: Aufteilung in separate Prompts oder Verwendung der Multithread-Auswertung.

Schemafähige Eingabeaufforderungen

Vermeiden Sie schemafähige Eingabeaufforderungen. Schemafähige Eingabeaufforderungen funktionieren nicht gut, weil die Benutzer interne APIs oder Toolnamen nicht kennen.

  • Vermeiden Sie: "Rufen Sie die GetPTOBalance-API für die Mitarbeiter-ID 12345 auf"
  • Verwenden Sie stattdessen: "Wie hoch ist mein aktueller Urlaubssaldo?"

Vage Eingabeaufforderungen

Vermeiden Sie vage Aufforderungen. Wenn Ihre Eingabeaufforderung vage ist, können Sie keine messbaren Aussagen definieren.

  • Vermeiden Sie: "Hilf mir bei HR-Dingen"
  • Verwenden Sie stattdessen: "Gewusst wie melde ich mich bei der Zahnversicherung an?"

Führende Eingabeaufforderungen

Prompts, die die erwartete Antwort andeuten, testen nicht die tatsächliche Argumentationseffektivität des Agenten.

  • Vermeiden Sie: "Die PTO-Richtlinie sagt 15 Tage, oder?"
  • Verwenden Sie stattdessen: "Wie viele PTO-Tage erhalten neue Mitarbeiter?"

Nicht in sich geschlossen (Singleturn)

Vermeiden Sie Eingabeaufforderungen, die vom vorherigen Kontext abhängen.

  • Vermeiden Sie: "Was ist mit der anderen Option?"
  • Verwenden Sie stattdessen: "Was ist der Unterschied zwischen den HMO- und PPO-Gesundheitsplänen?"

Generieren von Prompts aus Benutzerszenarien

Beginnen Sie mit echter Benutzerabsicht anstelle von Featurelisten.

  • Sammeln Sie repräsentative Benutzerfragen.
  • Gruppieren nach Szenario (z. B. Richtliniensuche, Aktionen, Eskalation).
  • Schreiben Sie für jedes Szenario einen kanonischen Prompt.
  • Fügen Sie Varianten für natürliche Sprache und Robustheit hinzu.
  • Ground-Eingabeaufforderungen mit konkreten Daten.

Dieser Ansatz stellt sicher, dass die Auswertungen die reale Nutzung widerspiegeln.

KI-gestützte Prompterweiterung (optional)

Nachdem Sie eine starke Grundlage geschaffen haben, verwenden Sie KI, um die Abdeckung zu erweitern. Bitten Sie die KI, weitere Variationen vorzuschlagen. Überprüfen Sie jeden Vorschlag auf Realismus und Relevanz. Ablehnen von Eingabeaufforderungen, die unnatürlich, schemafähig oder außerhalb des Bereichs sind. Fügen Sie Prompts nur dort hinzu, wo sie die Abdeckung verbessern.

Checkliste für die Promptabdeckung

Verwenden Sie diese Checkliste, um sicherzustellen, dass Ihre Promptabdeckung vollständig ist.

Abgedeckte Funktionen

  • Für jedes Tool oder jede Aktion gibt es mindestens einen Testfall
  • Jede Wissensdomäne ist vertreten
  • Eskalationsverhalten wird getestet
  • Außerhalb des Gültigkeitsbereichs vorgesehene Szenarien werden getestet

Abdeckung von Variationen

  • Kanonische Eingabeaufforderung
  • Variante natürlicher Sprache
  • Robustheitstest

Grenzfälle

  • Sehr kurze Prompts
  • Sehr lange Prompts
  • Mehrdeutige Anforderungen
  • Fehlende Informationen
  • Ungültige oder nicht unterstützte Anforderungen

Personalisierung (falls zutreffend)

  • Unterschiedliche Benutzerstandorte
  • Unterschiedliche Besitzverhältnisse
  • Verschiedene Rollen oder Abteilungen

Nächster Schritt