Erkunden von Benutzerfragen, Sitzungs- und Feedbackdaten

Verwenden Sie die Drilldown-Analysefunktionen in Copilot Studio, um detailliertere Einblicke in Benutzerinteraktionen mit Ihrem Agent zu gewinnen. Sie können einzelne Benutzerfragen untersuchen, um die Antwortqualität zu verstehen, Wissenslücken zu identifizieren und zu sehen, wie Benutzer auf Agentantworten reagiert haben. Sie können auch tiefer in Konversationssitzungen einsteigen, um detaillierte Sitzungsdaten zu prüfen, den Ausgang von Konversationen nachzuverfolgen und die Performance über verschiedene Kanäle hinweg zu analysieren. Analysieren Sie außerdem die Antworten der Benutzer auf Ihren Agenten. Diese detaillierten Ansichten helfen Ihnen, die zugrunde liegenden Faktoren zu verstehen, die die wichtigsten Kennzahlen Ihres Agents beeinflussen, und Bereiche mit Verbesserungspotenzial zu identifizieren.

Vertiefen Sie zu einer Liste von Benutzerfragen

Führen Sie einen Drilldown aus, um bestimmte Fragen anzuzeigen, die zu einer Metrik und dem unterstützenden Kontext beigetragen haben, z. B. wie der Agent reagiert hat, wie Benutzer reagierten und welche Wissensquellen beteiligt waren. Diese Ansicht bietet einen besseren Einblick in die Antwortqualität und hilft dabei, mögliche Lücken in der Wissensabdeckung zu erkennen.

Important

Sie benötigen eine Bot-Transkriptanzeige-Sicherheitsrolle , um die Liste und die zugehörigen Metriken anzuzeigen. Nur Admins können diese Rolle zuweisen, indem sie die Sicherheitsrolle Bottranskriptionsanzeige bei der Freigabe des Agent zuweisen.

Informationen zum Aktivieren dieser Sicherheitsrolle in Ihrer einzel- oder gruppenumgebung finden Sie unter "Konfigurieren von Transkripteinstellungen".

Das Drilldown zur Liste der Fragen wird derzeit für die folgenden Metrikbereiche unterstützt: Generierte Antwortrate und Qualität und Verwendung von Wissensquellen.

Screenshot der generierten Antwortquote und -qualität sowie der Panels zur Nutzung der Wissensquellen auf der Registerkarte

So gelangen Sie zur Detailansicht der Fragenliste:

  • Wählen Sie im Bereich "Generierte Antwortrate und Qualität " die Option "Fragen anzeigen" aus.
  • Bewegen Sie den Mauszeiger im Bereich Rate und Qualität der generierten Antworten über das Antwortleistensegment Gut oder Schlecht, und wählen Sie es aus.
  • Wählen Sie im Bereich "Generierte Antwortrate und Qualität " die Prozentmetrik "Beantwortet" oder "Nicht beantwortet" aus.
  • Klicken Sie im Bereich "Wissensquelle" auf eine der aufgelisteten Quellen, oder wählen Sie " Alle anzeigen " aus, um eine Seite aller vom Agent verwendeten Wissensquellen zu öffnen und die gewünschte Quelle auszuwählen.

Die Liste der Benutzerfragen wird basierend auf dem Datenpunkt gefiltert, auf den Sie einen Drilldown durchgeführt haben. Dies spiegelt sich in den Standardfiltereinstellungen oberhalb der Frageliste wider. Wenn Sie beispielsweise das Segment " Irrelevant" der Leiste " Schlecht " in der Kachel " Qualität der generierten Antworten " auswählen, wird für die aufgeführten Fragen der Filter Irrelevant für die Antwortqualität festgelegt.

Wenn gewünscht, können Sie die folgenden Aktionen auf der Listenseite ausführen:

Im Fenster mit der Liste der Fragen wird Folgendes angezeigt:

Kolumne Description
Frage Die Frage gestellt.
Beantwortet Der Status der generativen KI-Antwort: Beantwortet oder nicht beantwortet.
Antwortqualität Antwortqualität für stichprobenierte Fragen. Mögliche Werte sind Poor und Good.
Reaktion Daumen nach oben, Daumen nach unten oder ohne Reaktion mit einem optionalen textbasierten Kommentar.
Datum Datum, an dem die Frage beantwortet wurde.
Wissensquelle Liste der in der Agentantwort zitierten Wissensquellen.

Um weitere Informationen zu erhalten, wählen Sie "Details zu jeder Frage anzeigen" aus, um den Seitenbereich "Fragendetails" zu öffnen. Dieses Panel bietet zusätzliche Einblicke in die Antwortqualität, die jeder Frage zugeordnet ist.

Detaillierter Parameter auf Frageebene Description
Zeitstempel Zeitstempel des letzten Zeitpunkts, an dem die Frage beantwortet wurde.
Benutzerabfrage Die Frage gestellt.
Antwort Die generative KI-Antwort.
Daumen nach oben / Daumen nach unten Wert für die neueste Instanz dieser Frage für den Daumen hoch/Daumen runter-Parameter.
Comment Optionaler zusätzlicher textbasierter Kommentar, der vom Benutzer zusätzlich zur Reaktion "Daumen hoch/Daumen runter" bereitgestellt wird.
Antwortqualität1 Antwort auf die Frage, welche Qualität der Antwort auf die Benutzerabfrage war. Mögliche Werte sind Poor und Good.
Grund2 In dem Fall, in dem die Antwortqualität lautet Poor, erklärt dieser Parameter, warum.

1 Antwortqualität ist nicht immer verfügbar und wird nur angezeigt, wenn die Frage zur Qualitätsanalyse untersucht wurde.

2 Wenn die Antwortqualität ist Good oder wenn die Frage nicht stichprobeniert wurde, wird dem Parameter Reason kein Wert zugewiesen.

Vertiefung zu Sitzungen

Führen Sie einen Drilldown zu Sitzungen durch, um die spezifischen Sitzungen anzuzeigen, die zu einer Metrik beigetragen haben, und untersuchen Sie die zugrunde liegenden Sitzungsdaten. Diese detailliertere Ansicht hilft Ihnen, das Warum und Wie hinter den Agentenmetriken der obersten Ebene zu verstehen und ermöglicht es Ihnen, potenzielle Probleme zu identifizieren und zu untersuchen.

Verwenden Sie die Sitzungsliste, um die Agentleistung zu analysieren und zu untersuchen, indem Sie die Daten auf Sitzungsebene untersuchen, die zu einem Sitzungsergebnis (resolved, escalated, , abandonedoder unengaged) führen. Filtern Sie z. B. nach Kanal, fokussieren Sie sich auf Sitzungen mit niedriger Kundenzufriedenheit (CSAT), und tauchen Sie dann in die Sitzungsdaten ein, um Einblicke zu erhalten, warum Kunden in diesen Kanälen möglicherweise eine schlechte Erfahrung machen.

So führen Sie einen Drilldown zum Sitzungslistenfenster aus:

  • Wählen Sie im Bereich " Unterhaltungsergebnisse " die Option " Sitzungen anzeigen " aus, um alle Sitzungen für den Analysezeitraum anzuzeigen.
  • Wählen Sie im Bereich „Unterhaltungsergebnisse“ die Option „Details anzeigen“ aus. Dadurch wird ein Seitenbereich mit weiteren Metriken zu Unterhaltungssitzungsergebnissen geöffnet. Wählen Sie ein beliebiges hervorgehobenes Metrikplot aus, um eine Filterliste von Sitzungen anzuzeigen.

Die Sitzungsliste wird basierend auf dem Datenpunkt gefiltert, auf den Sie einen Drilldown durchgeführt haben. Dies spiegelt sich in den Standardfiltereinstellungen oberhalb der Sitzungsliste wider. Wenn Sie z. B. im Seitenbereich "Unterhaltungsergebnisse" das Segment "Gelöst bestätigt Balkensegment" der Kachel "Gründe für gelöste Ergebnisse" auswählen, wird das Sitzungsergebnis bzw. der Ergebnisgrund auf "Gelöst" bzw. "Bestätigt" festgelegt.

Wenn gewünscht, können Sie auf der Seite *Sitzungen-Listeweitere Filter anwenden, um die Liste der Sitzungen weiter mithilfe der dimensionalen Filter der Liste einzugrenzen. Wenn Sie auf eine der Sitzungen klicken, wird der Sitzungstranskriptbereich angezeigt.

Note

  • Um Sitzungen anzuzeigen, müssen Sie über die Sicherheitsrolle "Bot-Transkriptanzeige " verfügen.

  • Die Liste der Sitzungen wird täglich aktualisiert und zeigt bis zu 10.000 Sitzungen pro Tag an. Nur die letzten 28 Tage der Sitzungen werden gespeichert und können angezeigt werden.

Die Liste des Sitzungsfensters wird nach den folgenden Parametern sortiert:

Detaillierter Parameter auf Sitzungsebene Description
Startzeitpunkt Zeitstempel des Zeitpunkts, zu dem die Sitzung aufgerufen wurde.
Dauer Länge der Unterhaltung mit dem Agenten, die in Minuten und Sekunden angezeigt wird.
Messages Anzahl der zwischen dem Benutzer und dem Agent ausgetauschten Nachrichten.
Ergebnis Ergebnis des Agentengesprächs. Mögliche Werte sind Resolved, Escalated, Abandoned oder Unengaged.
Ergebnisgrund Zusätzlicher Kontext, der erklärt, wie es zu dem Sitzungsergebnis gekommen ist (z. B. Systemfehler oder implizite Auflösung).
Kanal Der Kanal, in dem die Unterhaltung stattgefunden hat, z. B. Teams, Microsoft 365 Copilot und SharePoint.
CSAT Bewertung der Kundenzufriedenheit (Customer Satisfaction, CSAT) für die Sitzung, basierend auf Benutzerfeedback, falls verfügbar.

Screenshot des Drilldownfensters der Sitzungsliste.

Analysieren von Benutzerfeedback und Zufriedenheit

Über die allgemeinen Metriken hinaus bietet das Benutzerfeedback einen direkten Einblick in die Wahrnehmung der Antworten Ihres Agenten durch Reaktionen, Kommentare, Umfrageergebnisse und Stimmungsanalysen. Durch die eingehende Analyse von Nutzerkommentaren und -reaktionen können Sie nachvollziehen, was Nutzern an bestimmten Agentenantworten gefallen oder missfallen hat, Trends bei der Nutzerzufriedenheit erkennen und konkrete Bereiche aufdecken, in denen Ihr Agent besonders gut ist oder verbessert werden muss. Dies ist hilfreich, um die Benutzerstimmung zu verstehen und die Leistung Ihres Agenten kontinuierlich zu verfeinern.

Detaillierung zu Kommentaren

Nachdem ein Benutzer eine Reaktion bereitgestellt hat, kann er einen Kommentar hinterlassen. Wählen Sie auf der Analyseseite das Symbol "Kommentare" auf der Kachel "Reaktionen" aus, um einen Drilldown zu Benutzerkommentaren auszuführen.

Wenn gewünscht, können Sie die folgenden Aktionen auf der Kommentarlistenseite ausführen:

Detaillierte Analyse der Reaktionen

Wenn Sie in die Liste der Agentantworten vertiefen möchten, die zu einer einzelnen Benutzerreaktion beitragen, wählen Sie im Kreisdiagramm "Reaktionen" eines der Segmente "Daumen nach oben" oder "Daumen nach unten" aus. Standardmäßig wird die Liste der Agentantworten (die Reaktionsliste ) basierend auf der Benutzerreaktion gefiltert, auf der Sie einen Drilldown ausgeführt haben.

Wenn gewünscht, können Sie die folgenden Aktionen auf der Seite " Reaktionen" ausführen:

  • Last updated on