Die Optimierung eines Agenten endet nicht mit dem Start. Copilot Studio bietet umfangreiche Analysen, die Ihnen helfen zu verstehen, wie Nutzer mit Ihrem Agenten interagieren, wo Gespräche erfolgreich sind oder scheitern und wie gut der Agent seine Werkzeuge und sein Wissen nutzt. Dieser Artikel bietet eine strukturierte Checkliste und Best Practices, die Ihnen helfen, Ihren Makler kontinuierlich zu evaluieren und zu verbessern.
Überprüfen Sie Ihre Verbesserungs- und Analysebereitschaft
Verwenden Sie diese Fragen bei regelmäßigen Überprüfungen, wie Sprint-Zeremonien, monatlichen Optimierungen oder der Vorveröffentlichungsbereitschaft.
Themen und Benutzerabsichtsmuster
| Erledigt? |
Aufgabe |
| ✓ |
Überprüfen Sie Themen, um Cluster von Nutzerfragen und aufkommende Absichten zu identifizieren? |
| ✓ |
Fügst du häufig auftretende Themes zu deinem Backlog für zukünftige Verbesserungen hinzu? |
Unterhaltungsergebnisse
| Erledigt? |
Aufgabe |
| ✓ |
Analysieren Sie gelöste, eskalierte, abgebrochene und unbeteiligte Gespräche, um Verbesserungsbereiche zu finden? |
| ✓ |
Stellen Sie sicher, dass die Gespräche mit dem Gesprächsende enden, damit die Ergebnisse korrekt erfasst werden? |
| ✓ |
Untersuchen Sie Spitzen bei abgebrochenen Sitzungen, um unklare Antworten oder fehlende Logik zu erkennen? |
| ✓ |
Validierst du, dass Eskalationswege nur dann ausgelöst werden, wenn es angemessen ist? |
Generierte Antwortrate und -qualität
| Erledigt? |
Aufgabe |
| ✓ |
Überprüfen Sie die generierte Antwortrate, um Wissenslücken oder fehlende Abdeckungen zu identifizieren? |
| ✓ |
Überprüfen Sie Qualitätskennzahlen wie Vollständigkeit, Verankerung und Relevanz? |
| ✓ |
Untersuchen Sie schlechte Antworten und gehen Sie auf die in der Analytik genannten Gründe ein? |
| Erledigt? |
Aufgabe |
| ✓ |
Überwachen Sie, wie oft Werkzeuge und Aktionen eingesetzt werden und ob sie Erfolg haben oder scheitern? |
| ✓ |
Identifizieren Sie untergenutzte oder fehleranfällige Werkzeuge und entscheiden, ob Sie sie optimieren oder entfernen sollten? |
| ✓ |
Bestätigen Sie, dass Werkzeuge, die in der generativen Orchestrierung verwendet werden, zuverlässig funktionieren? |
| Erledigt? |
Aufgabe |
| ✓ |
Überprüfen Sie die Nutzung und Fehlerraten aller Wissensquellen? |
| ✓ |
Priorisieren Sie Aktualisierungen für Wissensquellen mit hohen Fehlerraten oder inkonsistenten Ergebnissen? |
| ✓ |
Überprüfen Sie, ob die richtigen Wissensquellen die Szenarien unterstützen, für die sie gedacht sind? |
Zufriedenheit und Nutzerfeedback
| Erledigt? |
Aufgabe |
| ✓ |
Sammeln Sie die Nutzerstimmung durch Daumen hoch/runter und CSAT-Umfragen? |
| ✓ |
Analysieren Sie Feedback-Trends, um unklare Antworten oder schwache Gesprächsströme zu erkennen? |
| ✓ |
Fügst du Interaktionsmuster mit geringer Zufriedenheit zu deinem Backlog für das Redesign hinzu? |
Best Practice Callouts
-
Behandeln Sie Analytics als eine iterative Verbesserungsschleife: Nutzen Sie Analytics, um schrittweise Veränderungen voranzutreiben. Nutze Themen, unvollständige Antworten und Fehlermuster, um die Sprintplanung zu informieren und Rückstaupunkte zu priorisieren.
-
Konzentrieren Sie sich auf die Qualität der Ergebnisse, nicht nur auf das Volumen: Ein gesundes System maximiert gelöste Gespräche und minimiert Eskalationen und Verlassenwerden. Nutzen Sie die Ergebnisverhältnisse als führenden Indikator für Klarheit und Wirksamkeit.
-
Stärken Sie Wissensquellen proaktiv: Hohe Fehlerquote oder minderwertige Antworten deuten oft auf unklare, veraltete oder unpassende Wissensquellen hin. Aktualisieren und strukturieren Sie diese Quellen häufig für eine bessere Erdung.
-
Optimieren Sie Werkzeuge für Stabilität und Erfolg: Unzuverlässige Toolaufrufe verschlechtern das Vertrauen. Verfolgen Sie Erfolgsraten und refaktorieren Sie Maßnahmen, die häufig scheitern oder inkonsistente Daten liefern.
-
Verwenden Sie Themen, um neue Chancen zu identifizieren: Themen heben aufkommende Absichten hervor. Nutzen Sie sie, um neue Themen, Wissensquellen oder Integrationsbedürfnisse zu informieren.
-
Stellen Sie sicher, dass Gespräche sauber enden: Verwenden Sie immer das Gesprächsende-Thema, um Auflösung und CSAT zu erfassen. Ohne dieses Thema werden Analysen unvollständig und irreführend.
-
Separate Bewertung autonomer und benutzerinitiierter Agenten: Autonome Agenten sind stark auf Auslöser und Werkzeugketten angewiesen. Überprüfen Sie die Ergebnisse und Trigger separat von nutzerinitiierten Flows.
-
Verfolgen Sie die Stimmung über die Zeit: Isoliertes Feedback ist nützlich, aber mehrwöchige Stimmungstrends zeigen systemische Probleme. Untersuchen Sie anhaltende Einbrüche frühzeitig.