Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Qualitätssignale bieten eine strukturierte Möglichkeit, um zu verstehen , warum Agentenantworten erfolgreich sind oder scheitern. Sie helfen Teams, Bewertungsergebnisse in sinnvolle Kategorien zu gruppieren, Verbesserungen zu priorisieren und Fortschritte im Laufe der Zeit nachzuverfolgen.
In diesem Artikel wird erläutert, wie Sie Qualitätssignale aus den Bewertungsergebnissen ableiten können, um Probleme zu diagnostizieren, Muster zu identifizieren und die Leistung des Copilot-Agents zu verbessern.
Durch die Verwendung von Qualitätssignalen können Teams:
- Identifizieren wiederkehrender Fehlermuster
- Verbesserungen basierend auf Auswirkungen priorisieren
- Nachverfolgen der Leistung über Iterationen hinweg
- Klare Kommunikation der Ergebnisse an Stakeholder
Was sind Qualitätssignale?
Qualitätssignale sind Kategorien, die Muster in den Bewertungsergebnissen darstellen. Sie stammen eher aus beobachtetem Verhalten als aus vordefinierten Regeln.
Assertionen und Qualitätssignale arbeiten in einem Bewertungsworkflow zusammen:
- Assertionen bestimmen, ob eine Antwort erfolgreich ist oder fehlschlägt.
- Qualitätssignale gruppieren die Ergebnisse der Behauptung in übergeordneten Mustern.
| Aspekt | Assertionen | Qualitätssignale |
|---|---|---|
| Ebene | Spezifisch und konkret | Abstrakt und kategorisch |
| Zweck | Bestimmen von Erfolg oder Fehler | Diagnostizieren von Mustern |
| Menge | Viele pro Testfall | Wenige pro Agent |
| Herkunft | Vor dem Testen definiert | Aus Ergebnissen abgeleitet |
| Beispiel | Enthält "15 Tage" | Genauigkeit der Richtlinie |
Nachdem Sie Assertions definiert haben, leiten Sie Qualitätssignale aus den Assertionsergebnissen ab und verwenden diese Signale, um die Leistung in verschiedenen Szenarien nachzuverfolgen.
Allgemeine Qualitätssignale
Verwenden Sie die folgenden allgemeinen Qualitätssignale, wenn Sie Copilot-Agents bewerten:
- Richtliniengenauigkeit – Misst, ob die Antworten mit maßgeblichen Wissensquellen übereinstimmen
- Quellenzuordnung – Misst, ob Antworten Informationsquellen eindeutig identifizieren
- Personalisierung – Misst, ob Antworten relevanten Benutzerkontext verwenden
- Werkzeuggenauigkeit – Misst, ob Werkzeugaufrufe korrekt ausgeführt werden
- Tool-Response-Handling – Misst, ob der Agent die Tool-Ausgabe richtig interpretiert
- Eskalationsangemessenheit – Misst, ob Anfragen bei Bedarf an menschlichen Support weitergeleitet werden
- Datenschutz – Misst, ob vertrauliche Informationen geschützt sind
- Aktionsaktivierung: Misst, ob die Antworten klare nächste Schritte enthalten
Signalauswertung und häufige Ursachen
In der folgenden Tabelle sind die Indikatoren für jedes Qualitätssignal aufgeführt.
| Qualitätssignal | Bestandene Indikatoren | Fehlerindikatoren | Häufige Ursachen |
|---|---|---|---|
| Genauigkeit der Richtlinie | Richtige Werte und Datumsangaben Genaue Richtliniendetails Im Einklang mit der aktuellen Dokumentation |
Veraltete oder falsche Werte Widersprüchliche oder erfundene Details |
Veraltete oder doppelte Dokumente Falsche Abrufergebnisse Modellhalluzinationen |
| Quellenangabe | Verweise auf bestimmte Dokumente oder Abschnitte Klare Attributionsaussagen |
Keine Quelle angegeben Vage oder allgemeine Verweise |
Fehlende Quellmetadaten In den Anweisungen wird die Zuordnung nicht betont |
| Personalisierung | Regions- oder rollenspezifische Antworten Kontextbezogene Empfehlungen |
Generische Antworten, die den Benutzerkontext ignorieren Falsche regionale oder rollenbasierte Informationen |
Benutzerkontext für Agent nicht verfügbar Wissensquellen nicht nach Zielgruppe segmentiert |
| Genauigkeit des Werkzeugs | Richtige Werkzeugauswahl Gültige Parameter und Bezeichner Alle Pflichtfelder sind ausgefüllt |
Fehlende oder falsche Parameter Ungültige Tooleingaben |
Mehrdeutige API-Spezifikationen Falsche Parameterzuordnung |
| Handhabung von Toolantworten | Genaue Kommunikation der Werkzeugergebnisse Korrekte Behandlung von Erfolgs- und Fehlerzuständen |
Falsche Erfolgsangaben Ignorierte oder falsch interpretierte Toolfehler |
Fehlende Anleitung zur Fehlerbehandlung Fehlinterpretation von Toolantworten |
| Angemessenheit der Eskalation | Sensible oder komplexe Themen werden korrekt weitergeleitet Einhaltung von Eskalationsregeln |
Agent versucht, nicht unterstützte Szenarien zu behandeln Fehler beim Eskalieren von Anforderungen mit hohem Risiko |
Undefinierte Eskalationskriterien Übermäßig freizügige Anweisungen |
| Datenschutz | Verweigerung der Offenlegung eingeschränkter Daten Antworten auf autorisierte Informationen beschränkt |
Offenlegung oder Rückschluss vertraulicher Daten Antworten, die geschützte Informationen offenlegen |
Schwache Zugriffssteuerungen Unzureichende Datenschutzanleitung |
| Aktivierung von Aktionen | Spezifische Anweisungen Links, Bezeichner oder Kontaktdetails |
Vage oder unvollständige Anleitung Fehlende umsetzbare Schritte |
Fehlende Verfahrensinformationen in Wissensquellen Übermäßig zusammengefasste Antworten |
Ableiten von Qualitätssignalen
Qualitätssignale werden aus Mustern in den Bewertungsergebnissen und nicht aus vordefinierten Checklisten abgeleitet. So leiten Sie Qualitätssignale ab:
- Führen Sie einen ersten Satz von Bewertungstestfällen aus.
- Überprüfen Sie fehlgeschlagene Antworten in verschiedenen Testfällen.
- Identifizieren Sie wiederkehrende Muster bei Fehlern.
- Definieren Sie jedes Muster als Qualitätssignal.
- Markieren verwandter Assertionen mit dem entsprechenden Signal.
- Verfolgen Sie die Erfolgsquoten nach Signal.
Qualitätssignale in der Praxis
Das folgende Beispiel zeigt Qualitätssignale, die für einen Mitarbeiter Onboarding-Agent definiert sind.
| Beobachtung | Muster identifiziert | Qualitätssignal |
|---|---|---|
| Korrekte PTO-Werte zurückgegeben | Genaues Abrufen von Wissen | Genauigkeit der Richtlinie |
| Als Antwort zitierte Quelle | Attribution enthalten | Quellenangabe |
| Falsche regionale Informationen zurückgegeben | Kontext nicht verwendet | Personalisierung |
| Tool mit falschen Parametern aufgerufen | Ausführungsfehler | Genauigkeit des Werkzeugs |
| Anforderung ordnungsgemäß an die Personalabteilung weitergeleitet | Richtige Eskalation | Angemessenheit der Eskalation |
| Sensible Daten fast offengelegt | Risiko der Datenschutzgrenze | Datenschutz |
| Antwort enthalten nächste Schritte | Umsetzbare Reaktion | Aktivierung von Aktionen |
Im Folgenden sind spezifische Maßnahmen für Qualitätssignale aufgeführt.
| Genauigkeit der Richtlinie | Quellenangabe | Genauigkeit des Werkzeugs |
|---|---|---|
| Enthält die richtige PTO-Dauer | Zitiert maßgebliche Dokumente | Ruft das richtige Tool auf |
| Enthält die richtige Anmeldefrist | Verweist auf bestimmte Abschnitte | Verwendet gültige Parameter |
| Verweist nicht auf veraltete Richtlinien | Gibt ein korrektes Ergebnis zurück |
Anwenden und Kommunizieren von Qualitätssignalen
Verwenden Sie Qualitätssignale, um Bewertungsworkflows voranzutreiben und Erkenntnisse zu kommunizieren. So wenden Sie Qualitätssignale an:
Tag-Assertionen – Fügen Sie jeder Assertion in Ihren Testfällen Signal-Tags hinzu.
Testfall: PTO-001
Eingabeaufforderung: "Wie viele Urlaubstage bekommen neue Mitarbeiter?"Assertions:
Die Antwort enthält "15 Tage".
Signal: RichtliniengenauigkeitDie Antwort zitiert das Mitarbeiterhandbuch.
Signal: QuellenzuordnungIn der Antwort wird die <2-jährige Amtszeit erwähnt.
Signal: Personalisierung
Metriken berechnen – Aggregieren Sie Pass- und Fail-Ergebnisse nach Signal.
Qualitätssignal Testfälle Bestanden Fehler Erfolgsquote Richtliniengenauigkeit 25 23 2 92% Quellenzuordnung 25 20 5 80% Personalisierung 15 11 4 73% Genauigkeit des Werkzeugs 12 10 2 83% Angemessenheit der Eskalation 8 8 0 100 % Datenschutz 10 10 0 100 % Priorisieren Sie Probleme – Konzentrieren Sie sich auf Signale mit niedrigen Erfolgsquoten oder hoher Auswirkung.
- Personalisierung (73 %) - Größte Lücke, zuerst untersuchen.
- Quellenangabe (80 %) – zweite Priorität.
- Werkzeuggenauigkeit (83%) - Dritte Priorität.
- Richtliniengenauigkeit (92 %) - Kleinere Probleme, überwachen.
Verfolgen Sie den Fortschritt – Überwachen Sie die Signalübergaberaten über Agent-Versionen hinweg.
- Version 1.0 > , 1.1 > , 1.2 > , 1.3
- Personalisierung: 73% > 78% > 85% > 91% (Verbesserung)
- Quellenangabe: 80% > 82% > 88% > 90% (Verbesserung)
- Werkzeuggenauigkeit: 83 % > 85 % > 84 % > 92 % (verbessert nach v1.2-Regression)
Qualitätssignale verändern Stakeholder-Gespräche. Diese Spezifität ermöglicht gezielte Korrekturen, quantitative Fortschrittsverfolgung und eine klarere Kommunikation mit den Stakeholdern.
Ohne Signale: Der Agent funktioniert nicht gut. Benutzer beschweren sich.
Mit Signalen: Die Richtliniengenauigkeit liegt bei 92 % – wir erreichen unser Ziel. Aber die Personalisierung ist nach dem letzten Update auf 73 % gesunken. Insbesondere britische Mitarbeiter erhalten Informationen über die Feiertage in den USA. Wir haben die Grundursache identifiziert: Der Kontextabruf übergibt keine Standortdaten. Ein Fix für die nächste Version ist in Bearbeitung.
Qualitätssignale nach Agenttyp
Qualitätssignale und -prioritäten variieren je nach Art des Maklers, den Sie bewerten.
| Agenttyp | Signal | Priority |
|---|---|---|
| Wissensbasiert | Genauigkeit der Richtlinie | Hoch |
| Quellenangabe | Hoch | |
| Vollständigkeit | Mittel | |
| Personalisierung | Mittel | |
| Tool-Calling | Genauigkeit des Werkzeugs | Hoch |
| Handhabung von Toolantworten | Hoch | |
| Aktivierung von Aktionen | Hoch | |
| Fehlerbehebung | Mittel | |
| Hybrid | Genauigkeit des Routings | Hoch |
| Wissenssignale | Mittel | |
| Toolsignale | Mittel | |
| Angemessenheit der Eskalation | Mittel | |
| Kundenorientiert | Datenschutz | Hoch |
| Ton und Professionalität | Hoch | |
| Angemessenheit der Eskalation | Hoch | |
| Vollständigkeit der Auflösung | Mittel |
Vermeiden Sie häufige Fallstricke
Vermeiden Sie die folgenden Probleme, um sicherzustellen, dass Ihre Qualitätssignale nützlich, konsistent und umsetzbar bleiben.
Verwenden Sie spezifische Signale anstelle von generischen Kategorien
Zu weit gefasste Signale wie "Genauigkeit", "Hilfsbereitschaft" oder "Relevanz" bieten keine umsetzbaren Erkenntnisse. Generische Signale erschweren es, Ursachen zu identifizieren oder Verbesserungen zu priorisieren.
Definieren Sie stattdessen Signale basierend auf spezifischen, beobachtbaren Mustern in den Bewertungsergebnissen.
- Vermeiden: Genauigkeit
- Bevorzugen: Richtliniengenauigkeit, Quellenangabe
Vermeiden Sie übermäßig granulare Signale
Das Erstellen zu vieler eng gefasster Signale erhöht die Komplexität, ohne die Einsicht zu verbessern. Eine übermäßige Granularität fragmentiert die Analyse und erschwert die Nachverfolgung aussagekräftiger Trends.
Gruppieren Sie stattdessen verwandte Verhaltensweisen in breitere, wiederverwendbare Signalkategorien.
- Vermeiden: Zapfwellengenauigkeit, Vorteilsgenauigkeit, Feiertagsgenauigkeit
- Bevorzugen: Richtliniengenauigkeit
Vermeiden vage Kriterien für Bestehen und Nichtbestehen
Vage Signaldefinitionen, wie z. B. "Korrektheit", fehlen messbare Standards. Ohne klare Kriterien sind die Ergebnisse inkonsistent und schwer zu interpretieren.
Definieren Sie stattdessen Signale mit expliziten, beobachtbaren Verhaltensweisen, die an Bewertungsergebnisse gebunden sind.
- Vermeiden: "Antwort ist richtig"
- Bevorzugen Sie: "Antwort enthält korrekten Wert und zitiert maßgebliche Quelle"