Ableiten von Qualitätssignalen für die Copilot-Agent-Bewertung

Qualitätssignale bieten eine strukturierte Möglichkeit, um zu verstehen , warum Agentenantworten erfolgreich sind oder scheitern. Sie helfen Teams, Bewertungsergebnisse in sinnvolle Kategorien zu gruppieren, Verbesserungen zu priorisieren und Fortschritte im Laufe der Zeit nachzuverfolgen.

In diesem Artikel wird erläutert, wie Sie Qualitätssignale aus den Bewertungsergebnissen ableiten können, um Probleme zu diagnostizieren, Muster zu identifizieren und die Leistung des Copilot-Agents zu verbessern.

Durch die Verwendung von Qualitätssignalen können Teams:

  • Identifizieren wiederkehrender Fehlermuster
  • Verbesserungen basierend auf Auswirkungen priorisieren
  • Nachverfolgen der Leistung über Iterationen hinweg
  • Klare Kommunikation der Ergebnisse an Stakeholder

Was sind Qualitätssignale?

Qualitätssignale sind Kategorien, die Muster in den Bewertungsergebnissen darstellen. Sie stammen eher aus beobachtetem Verhalten als aus vordefinierten Regeln.

Assertionen und Qualitätssignale arbeiten in einem Bewertungsworkflow zusammen:

  • Assertionen bestimmen, ob eine Antwort erfolgreich ist oder fehlschlägt.
  • Qualitätssignale gruppieren die Ergebnisse der Behauptung in übergeordneten Mustern.
Aspekt Assertionen Qualitätssignale
Ebene Spezifisch und konkret Abstrakt und kategorisch
Zweck Bestimmen von Erfolg oder Fehler Diagnostizieren von Mustern
Menge Viele pro Testfall Wenige pro Agent
Herkunft Vor dem Testen definiert Aus Ergebnissen abgeleitet
Beispiel Enthält "15 Tage" Genauigkeit der Richtlinie

Nachdem Sie Assertions definiert haben, leiten Sie Qualitätssignale aus den Assertionsergebnissen ab und verwenden diese Signale, um die Leistung in verschiedenen Szenarien nachzuverfolgen.

Allgemeine Qualitätssignale

Verwenden Sie die folgenden allgemeinen Qualitätssignale, wenn Sie Copilot-Agents bewerten:

  • Richtliniengenauigkeit – Misst, ob die Antworten mit maßgeblichen Wissensquellen übereinstimmen
  • Quellenzuordnung – Misst, ob Antworten Informationsquellen eindeutig identifizieren
  • Personalisierung – Misst, ob Antworten relevanten Benutzerkontext verwenden
  • Werkzeuggenauigkeit – Misst, ob Werkzeugaufrufe korrekt ausgeführt werden
  • Tool-Response-Handling – Misst, ob der Agent die Tool-Ausgabe richtig interpretiert
  • Eskalationsangemessenheit – Misst, ob Anfragen bei Bedarf an menschlichen Support weitergeleitet werden
  • Datenschutz – Misst, ob vertrauliche Informationen geschützt sind
  • Aktionsaktivierung: Misst, ob die Antworten klare nächste Schritte enthalten

Signalauswertung und häufige Ursachen

In der folgenden Tabelle sind die Indikatoren für jedes Qualitätssignal aufgeführt.

Qualitätssignal Bestandene Indikatoren Fehlerindikatoren Häufige Ursachen
Genauigkeit der Richtlinie Richtige Werte und Datumsangaben

Genaue Richtliniendetails

Im Einklang mit der aktuellen Dokumentation
Veraltete oder falsche Werte

Widersprüchliche oder erfundene Details
Veraltete oder doppelte Dokumente

Falsche Abrufergebnisse

Modellhalluzinationen
Quellenangabe Verweise auf bestimmte Dokumente oder Abschnitte

Klare Attributionsaussagen
Keine Quelle angegeben

Vage oder allgemeine Verweise
Fehlende Quellmetadaten

In den Anweisungen wird die Zuordnung nicht betont
Personalisierung Regions- oder rollenspezifische Antworten

Kontextbezogene Empfehlungen
Generische Antworten, die den Benutzerkontext ignorieren

Falsche regionale oder rollenbasierte Informationen
Benutzerkontext für Agent nicht verfügbar

Wissensquellen nicht nach Zielgruppe segmentiert
Genauigkeit des Werkzeugs Richtige Werkzeugauswahl

Gültige Parameter und Bezeichner

Alle Pflichtfelder sind ausgefüllt
Fehlende oder falsche Parameter

Ungültige Tooleingaben
Mehrdeutige API-Spezifikationen

Falsche Parameterzuordnung
Handhabung von Toolantworten Genaue Kommunikation der Werkzeugergebnisse

Korrekte Behandlung von Erfolgs- und Fehlerzuständen
Falsche Erfolgsangaben

Ignorierte oder falsch interpretierte Toolfehler
Fehlende Anleitung zur Fehlerbehandlung

Fehlinterpretation von Toolantworten
Angemessenheit der Eskalation Sensible oder komplexe Themen werden korrekt weitergeleitet

Einhaltung von Eskalationsregeln
Agent versucht, nicht unterstützte Szenarien zu behandeln

Fehler beim Eskalieren von Anforderungen mit hohem Risiko
Undefinierte Eskalationskriterien

Übermäßig freizügige Anweisungen
Datenschutz Verweigerung der Offenlegung eingeschränkter Daten

Antworten auf autorisierte Informationen beschränkt
Offenlegung oder Rückschluss vertraulicher Daten

Antworten, die geschützte Informationen offenlegen
Schwache Zugriffssteuerungen

Unzureichende Datenschutzanleitung
Aktivierung von Aktionen Spezifische Anweisungen

Links, Bezeichner oder Kontaktdetails
Vage oder unvollständige Anleitung

Fehlende umsetzbare Schritte
Fehlende Verfahrensinformationen in Wissensquellen

Übermäßig zusammengefasste Antworten

Ableiten von Qualitätssignalen

Qualitätssignale werden aus Mustern in den Bewertungsergebnissen und nicht aus vordefinierten Checklisten abgeleitet. So leiten Sie Qualitätssignale ab:

  • Führen Sie einen ersten Satz von Bewertungstestfällen aus.
  • Überprüfen Sie fehlgeschlagene Antworten in verschiedenen Testfällen.
  • Identifizieren Sie wiederkehrende Muster bei Fehlern.
  • Definieren Sie jedes Muster als Qualitätssignal.
  • Markieren verwandter Assertionen mit dem entsprechenden Signal.
  • Verfolgen Sie die Erfolgsquoten nach Signal.

Qualitätssignale in der Praxis

Das folgende Beispiel zeigt Qualitätssignale, die für einen Mitarbeiter Onboarding-Agent definiert sind.

Beobachtung Muster identifiziert Qualitätssignal
Korrekte PTO-Werte zurückgegeben Genaues Abrufen von Wissen Genauigkeit der Richtlinie
Als Antwort zitierte Quelle Attribution enthalten Quellenangabe
Falsche regionale Informationen zurückgegeben Kontext nicht verwendet Personalisierung
Tool mit falschen Parametern aufgerufen Ausführungsfehler Genauigkeit des Werkzeugs
Anforderung ordnungsgemäß an die Personalabteilung weitergeleitet Richtige Eskalation Angemessenheit der Eskalation
Sensible Daten fast offengelegt Risiko der Datenschutzgrenze Datenschutz
Antwort enthalten nächste Schritte Umsetzbare Reaktion Aktivierung von Aktionen

Im Folgenden sind spezifische Maßnahmen für Qualitätssignale aufgeführt.

Genauigkeit der Richtlinie Quellenangabe Genauigkeit des Werkzeugs
Enthält die richtige PTO-Dauer Zitiert maßgebliche Dokumente Ruft das richtige Tool auf
Enthält die richtige Anmeldefrist Verweist auf bestimmte Abschnitte Verwendet gültige Parameter
Verweist nicht auf veraltete Richtlinien Gibt ein korrektes Ergebnis zurück

Anwenden und Kommunizieren von Qualitätssignalen

Verwenden Sie Qualitätssignale, um Bewertungsworkflows voranzutreiben und Erkenntnisse zu kommunizieren. So wenden Sie Qualitätssignale an:

  • Tag-Assertionen – Fügen Sie jeder Assertion in Ihren Testfällen Signal-Tags hinzu.

    Testfall: PTO-001
    Eingabeaufforderung: "Wie viele Urlaubstage bekommen neue Mitarbeiter?"

    Assertions:

    • Die Antwort enthält "15 Tage".
      Signal: Richtliniengenauigkeit

    • Die Antwort zitiert das Mitarbeiterhandbuch.
      Signal: Quellenzuordnung

    • In der Antwort wird die <2-jährige Amtszeit erwähnt.
      Signal: Personalisierung

  • Metriken berechnen – Aggregieren Sie Pass- und Fail-Ergebnisse nach Signal.

    Qualitätssignal Testfälle Bestanden Fehler Erfolgsquote
    Richtliniengenauigkeit 25 23 2 92%
    Quellenzuordnung 25 20 5 80%
    Personalisierung 15 11 4 73%
    Genauigkeit des Werkzeugs 12 10 2 83%
    Angemessenheit der Eskalation 8 8 0 100 %
    Datenschutz 10 10 0 100 %
  • Priorisieren Sie Probleme – Konzentrieren Sie sich auf Signale mit niedrigen Erfolgsquoten oder hoher Auswirkung.

    1. Personalisierung (73 %) - Größte Lücke, zuerst untersuchen.
    2. Quellenangabe (80 %) – zweite Priorität.
    3. Werkzeuggenauigkeit (83%) - Dritte Priorität.
    4. Richtliniengenauigkeit (92 %) - Kleinere Probleme, überwachen.
  • Verfolgen Sie den Fortschritt – Überwachen Sie die Signalübergaberaten über Agent-Versionen hinweg.

    • Version 1.0 > , 1.1 > , 1.2 > , 1.3
    • Personalisierung: 73% > 78% > 85% > 91% (Verbesserung)
    • Quellenangabe: 80% > 82% > 88% > 90% (Verbesserung)
    • Werkzeuggenauigkeit: 83 % > 85 % > 84 % > 92 % (verbessert nach v1.2-Regression)

Qualitätssignale verändern Stakeholder-Gespräche. Diese Spezifität ermöglicht gezielte Korrekturen, quantitative Fortschrittsverfolgung und eine klarere Kommunikation mit den Stakeholdern.

Ohne Signale: Der Agent funktioniert nicht gut. Benutzer beschweren sich.

Mit Signalen: Die Richtliniengenauigkeit liegt bei 92 % – wir erreichen unser Ziel. Aber die Personalisierung ist nach dem letzten Update auf 73 % gesunken. Insbesondere britische Mitarbeiter erhalten Informationen über die Feiertage in den USA. Wir haben die Grundursache identifiziert: Der Kontextabruf übergibt keine Standortdaten. Ein Fix für die nächste Version ist in Bearbeitung.

Qualitätssignale nach Agenttyp

Qualitätssignale und -prioritäten variieren je nach Art des Maklers, den Sie bewerten.

Agenttyp Signal Priority
Wissensbasiert Genauigkeit der Richtlinie Hoch
Quellenangabe Hoch
Vollständigkeit Mittel
Personalisierung Mittel
Tool-Calling Genauigkeit des Werkzeugs Hoch
Handhabung von Toolantworten Hoch
Aktivierung von Aktionen Hoch
Fehlerbehebung Mittel
Hybrid Genauigkeit des Routings Hoch
Wissenssignale Mittel
Toolsignale Mittel
Angemessenheit der Eskalation Mittel
Kundenorientiert Datenschutz Hoch
Ton und Professionalität Hoch
Angemessenheit der Eskalation Hoch
Vollständigkeit der Auflösung Mittel

Vermeiden Sie häufige Fallstricke

Vermeiden Sie die folgenden Probleme, um sicherzustellen, dass Ihre Qualitätssignale nützlich, konsistent und umsetzbar bleiben.

Verwenden Sie spezifische Signale anstelle von generischen Kategorien

Zu weit gefasste Signale wie "Genauigkeit", "Hilfsbereitschaft" oder "Relevanz" bieten keine umsetzbaren Erkenntnisse. Generische Signale erschweren es, Ursachen zu identifizieren oder Verbesserungen zu priorisieren.

Definieren Sie stattdessen Signale basierend auf spezifischen, beobachtbaren Mustern in den Bewertungsergebnissen.

  • Vermeiden: Genauigkeit
  • Bevorzugen: Richtliniengenauigkeit, Quellenangabe

Vermeiden Sie übermäßig granulare Signale

Das Erstellen zu vieler eng gefasster Signale erhöht die Komplexität, ohne die Einsicht zu verbessern. Eine übermäßige Granularität fragmentiert die Analyse und erschwert die Nachverfolgung aussagekräftiger Trends.

Gruppieren Sie stattdessen verwandte Verhaltensweisen in breitere, wiederverwendbare Signalkategorien.

  • Vermeiden: Zapfwellengenauigkeit, Vorteilsgenauigkeit, Feiertagsgenauigkeit
  • Bevorzugen: Richtliniengenauigkeit

Vermeiden vage Kriterien für Bestehen und Nichtbestehen

Vage Signaldefinitionen, wie z. B. "Korrektheit", fehlen messbare Standards. Ohne klare Kriterien sind die Ergebnisse inkonsistent und schwer zu interpretieren.

Definieren Sie stattdessen Signale mit expliziten, beobachtbaren Verhaltensweisen, die an Bewertungsergebnisse gebunden sind.

  • Vermeiden: "Antwort ist richtig"
  • Bevorzugen Sie: "Antwort enthält korrekten Wert und zitiert maßgebliche Quelle"

Nächster Schritt