Effektivität von Konversationsagenten überwachen

Note

Dieser Artikel beschreibt Funktionen, die in Agenten oder Agent-Flows verwendet werden, die auf dem standard harness basieren.

Nutzen Sie die Monitor-Seite im Copilot Studio, um die Effektivität Ihres Gesprächsagenten über Analysesitzungen hinweg zu überprüfen. Identifizieren Sie, wo Gespräche erfolgreich sind oder scheitern, überprüfen Sie Nutzerfeedback und suchen Sie Möglichkeiten, Antworten und Werkzeuge zu verbessern.

Sehen Sie sich die folgenden Bereiche an:

• Die Bereiche Zusammenfassung, Überblick und Einsparungen zeigen wichtige Einblicke, Leistungskennzahlen (KPIs) sowie geschätzte Zeit- und Kosteneinsparungen.
• Der Abschnitt Benutzerdefinierte Metriken (Vorschau) ermöglicht es Ihnen, geschäftsspezifische Kennzahlen für die Anwendungsfälle Ihres Agenten zu definieren.
• Der Abschnitt "Effektivität " hilft Ihnen, die Qualität der Benutzererfahrungen zu bewerten, indem sie zeigen, wo Unterhaltungen erfolgreich sind, wo sie aufbrechen und wie Benutzer sich über Ergebnisse verhalten.
• Im Abschnitt "Verwenden" können Sie die betriebliche Leistung verbessern, indem Sie zeigen, wie gut Ihr Agent Fragen beantwortet, wie zuverlässig Tools und Wissensquellen diese Antworten unterstützen und wo gezielte Updates die Abdeckung und Konsistenz erhöhen können.

Sie können Analysen für Ereignisse anzeigen, die in den letzten 360 Tagen aufgetreten sind.

Benutzerdefinierte Metriken (Vorschau)

[Dieser Abschnitt ist die Vorabveröffentlichungsdokumentation und unterliegt Änderungen.]

Im Abschnitt "Benutzerdefinierte Metriken " können Sie bis zu drei geschäftsspezifische Metriken in natürlicher Sprache definieren und verfolgen, wie oft jedes Ergebnis in stichprobenbezogenen Sitzungen angezeigt wird. Verwenden Sie diese Metriken, um Ihre standardmäßigen Analyseeinblicke durch Indikatoren zu ergänzen, die die Ziele und die geschäftliche Nutzung Ihres Agenten widerspiegeln.

Important

Dieser Artikel enthält die Vorschaudokumentation von Microsoft Copilot Studio und kann geändert werden.

Vorschaufunktionen sind nicht für den Produktionsgebrauch gedacht und verfügen möglicherweise über eingeschränkte Funktionalität. Diese Funktionen stehen vor dem offiziellen Release zur Verfügung, damit Sie früher Zugriff darauf erhalten und Feedback geben können.

Wenn Sie einen produktionsreifen Agenten erstellen, finden Sie weitere Informationen unter Übersicht über Microsoft Copilot Studio.

Nutzer mit dem Privileg Bot Transcript Viewer können eine Liste der Kundensitzungen anzeigen, die basierend auf dem ausgewählten Abschnitt des Donut-Diagramms gefiltert sind. Wählen Sie eine einzelne Sitzung aus, um die Begründung hinter der Kennzahl zu sehen und auf deren Transkript zuzugreifen.

Erfahren Sie mehr über das Erstellen, Testen und Verfeinern von Kennzahlen in Überwachen Ihres Agents mit benutzerdefinierten Kennzahlen (Vorschau).

Wirksamkeit

Im Abschnitt "Effektivität " werden Benutzerfeedback angezeigt, die aus Reaktionen, Agentantworten, Umfrageergebnissen und Stimmungsbewertungen für eine Sitzung gesammelt wurden. Die Effektivität wird auf viele Unterabschnitte aufgeteilt:

• Gesprächsergebnisse: Wenn Sie das Endergebnis eines Gesprächs kennen, fällt es Ihnen leichter zu erkennen, wo Ihr Agent erfolgreich ist und wo Verbesserungsbedarf besteht.
• Reaktionen: Rückmeldungen von Benutzern, einschließlich Daumen hoch/Daumen runter und Benutzerkommentaren zu bestimmten Agentenantworten.
• Kundenzufriedenheit: Anzeigen der Kundenzufriedenheitsbewertung (CSAT).
• Stimmung (Vorschau): Eine KI-basierte Stimmungsanalyse für die gesamte Sitzung.
• Agents: Zeigt Anrufvolumenmetriken, Erfolgsraten und den aktuellen Status für untergeordnete und verbundene Agenten an.

Das System speichert Rückmeldungsdaten in der Konversationstranskripttabelle in Dataverse.

Gesprächsergebnisse

Der Abschnitt Unterhaltungsergebnisse zeigt ein Diagramm, das den Ergebnisstyp für jede Sitzung zwischen Ihrem Agenten und den Benutzern verfolgt.

Das Diagramm zeigt ein gestapeltes Histogramm oder ein gestapeltes Flächendiagramm der Sitzungsergebnisse. Gelöst, Eskaliert, Abgebrochen und Ohne Beteiligung haben jeweils eine entsprechende Farbe in der Legende. Die Y-Achse gibt die Anzahl der Sitzungen an.

Um Kennzahlen für ein Outcome an einem bestimmten Tag anzuzeigen, verwenden Sie die Diagramm-Legende, um das Outcome zu identifizieren, und fahren Sie dann mit der Maus über das Segment für diesen Tag.

Um Gesprächsergebnisse herunterzuladen, öffnen Sie das Diagrammmenü und wählen Sie CSV herunterladen.

Note

Wenn du beim Herunterladen irgendwelche Ergebnisse aus dem Diagramm entfernst, erscheinen deren Daten nicht im CSV.

Wenn Sie einen Seitenbereich mit detaillierten Informationen zu Unterhaltungsergebnissen öffnen möchten, wählen Sie im Diagramm die Option Details anzeigen aus. Die Seitenleiste Unterhaltungsergebnisse umfasst:

• Eine Aufschlüsselung in Form eines Kreisdiagramms der Sitzungsergebnisse mit relativer Gewichtung (ausgedrückt in Prozent) der Ergebnisse Behoben, Eskaliert und Abgebrochen.
• Ein gestapeltes Balkendiagramm mit der relativen Gewichtung (ausgedrückt in Prozent) der Ergebnisgründe Abgeschlossen (bestätigt) und Abgeschlossen (angenommen), die alle behobenen Sitzungsergebnisse beschreiben.
• Ein gestapeltes Balkendiagramm, das die relative Gewichtung (ausgedrückt in Prozent) der Ergebnisgründe System beabsichtigt, System unbeabsichtigt und Vom Benutzer angefordert zeigt, die alle eskalierten Sitzungsergebnisse beschreiben.
• Die wichtigsten Themen, die zu jedem Ergebnis geführt haben.

Note

Um ein Tooltip mit unformatierten Zählungsinformationen anzuzeigen, bewegen Sie die Maus über ein Segment des Kreisdiagramms oder des gestapelten Balkendiagramms.

Eine Sitzung fällt in einen der folgenden zwei Zustände:

• Nicht aktiviert: Eine Sitzung beginnt, wenn ein Benutzender mit Ihrem Agenten interagiert oder wenn der Agent eine proaktive Nachricht an den Benutzenden sendet. Die Sitzung beginnt in einem nicht aktiven Zustand.

• Eingebunden: Der Benutzer interagiert aktiv mit dem Agent. Es gibt einen Unterschied im Verhalten basierend auf dem Orchestrierungsmodus des Agents.

  • Klassische Orchestrierung: Eine Sitzung wird aktiv, wenn eines der folgenden Themen ausgelöst wird:

    • Benutzerdefiniertes Thema, das direkt vom Benutzer ausgelöst wird
    • Thema eskalieren
    • Fallback-Thema
    • Thema "Gesprächsförderung"

  • Generative KI-Orchestrierung: Eine Sitzung wird aktiv, wenn ein Benutzer einen Plan direkt auslöst und eines der folgenden Elemente enthält:

    • Nicht-Systemthema
    • Thema eskalieren
    • Fallback-Thema
    • Eine Wissensquelle
    • Ein Tool

Eine aktive Sitzung hat eines der folgenden Ergebnisse:

Ergebniskategorie	Ergebnis	Description
Gelöst		Eine Sitzung wird erfolgreich beendet. Es gibt zwei Arten aufgelöster Sitzungen: Aufgelöst bestätigt und Aufgelöst impliziert.
	Abgeschlossen (bestätigt)	Eine Sitzung wird als Abgeschlossen (bestätigt) betrachtet, wenn das Thema Unterhaltung beenden ausgelöst wird, und der Benutzer bestätigt, dass die Interaktion erfolgreich war.
	Gelöst (implizit)	Eine Sitzung gilt als Abgeschlossen (angenommen), wenn die Sitzung ohne Benutzerbestätigung aber basierend auf der Logik des Agents abgeschlossen wird. Der implizite Zustand "Aufgelöst" hängt davon ab, ob Ihr Agent klassische oder generative KI-Orchestrierung verwendet: – Klassische Orchestrierung: Eine Sitzung wird als Abgeschlossen (angenommen) betrachtet, wenn Unterhaltung beenden ausgelöst wird und der Benutzer die Sitzung ohne Bestätigung ablaufen lässt. – Orchestrierung basierend auf generativer KI: Eine Sitzung gilt als Abgeschlossen (angenommen), wenn eine Sitzung abläuft und keine verbleibenden aktiven Pläne vorhanden sind. Ein aktiver Plan ist ein Plan, der auf die Eingabe eines Benutzers wartet.
Eskaliert		Eine Sitzung endet, gilt aber als „Eskaliert“, wenn das Thema Eskalieren ausgelöst oder ein Knoten Übertragen an Agent ausgeführt wird (die aktuelle Analysesitzung endet, unabhängig davon, ob die Unterhaltung an einen Live-Agent übertragen wird oder nicht). Es gibt drei Arten von eskalierten Sitzungen: System beabsichtigt, System unbeabsichtigt und Vom Benutzer angefordert.
	System vorgesehen	Eine Sitzung wird automatisch eskaliert, wenn eine automatische Geschäftsregel von einem Ersteller festgelegt wurde. Die Eskalation ist ein erwartetes Ergebnis des Gesprächs und muss nicht untersucht oder geändert werden. Beispiel: Ein Benutzer möchte mehr als 25.000 $ an einen Drittanbieter übertragen. Dieser Betrag überschreitet einen Schwellenwert in einer Geschäftsregel, und die Sitzung wird infolgedessen automatisch eskaliert.
	System unbeabsichtigt	Eine Eskalation erfolgt automatisch, wenn eine Sitzung einen oder mehrere von einem Ersteller festgelegte Schwellenwerte überschreitet. In der Regel deutet dieses Ergebnis darauf hin, dass der Nutzer im Gespräch feststeckt und Unterstützung benötigt. Beispiel: Eine Sitzung wird eskaliert, nachdem eine bestimmte Aufgabe dreimal fehlgeschlagen ist.
	Vom Benutzer angefordert	Eine Sitzung wird eskaliert, da während der Unterhaltung eine explizite Benutzeranforderung aufgetreten ist. Beispiel: Ein Benutzer gibt Transfer me to an agent ein.
Aufgegeben		Eine Sitzung endet und gilt als Abgebrochen, wenn eine aktivierte Sitzung nach 30 Minuten abläuft und nicht den Status „behoben“ oder „eskaliert“ erreicht.

Sie können das Ergebnis auch für Tools mit dem conversationOutcome Parameter mithilfe des Toolcode-Editors festlegen. Zum Beispiel conversationOutcome: ResolvedConfirmed für bestätigten Erfolg oder conversationOutcome: ResolvedImplied für angedeuteten Erfolg.

Reaktionen

Im Abschnitt „Reaktionen“ wird Benutzerfeedback angezeigt, das aus Reaktionen auf Agentenantworten gesammelt wurde. Das Diagramm zählt, wie oft Benutzer entweder die Schaltfläche Daumen hoch (positiv) oder Daumen runter (negativ) ausgewählt haben, die für jede Antwort verfügbar ist, die sie von Ihrem Agenten erhalten haben.

Note

• Agenten, die im Microsoft Copilot-Kanal veröffentlicht werden, benötigen die Zustimmung des Administrators im Microsoft 365 Admin Center, um Nutzerfeedback zu teilen, einschließlich Reaktionen und Kommentare. Dieses Feedback können Sie auf der Monitor-Seite einsehen. Erfahren Sie mehr in den Agenten-Einstellungen im Microsoft 365 Admin Center.
• Reaktionen aus dem Microsoft Copilot-Kanal werden nicht in der Spalte Reaktionen in den Bereichen Themen und Wissensquellennutzung aggregiert oder gezählt.
• Zum Anzeigen von Kommentaren müssen Sie über die Sicherheitsrolle Bot-Transkript-Viewer verfügen.

Die Funktion "Reaktionen" ist standardmäßig für alle Kanäle außer dem Microsoft Copilot-Kanal aktiviert. Sie können dieses Feature bei Bedarf deaktivieren. Sie können auch einen Haftungsausschluss für Benutzer hinzufügen oder bearbeiten, in dem dargelegt ist, wie ihr Feedback verwendet wird:

1. Öffnen Sie den Agenten, gehen Sie zu Einstellungen und finden Sie den Bereich Benutzerfeedback .

2. Schalten Sie Benutzerreaktionen auf Agentnachrichten entweder Ein oder Aus.

3. Fügen Sie einen Haftungsausschluss hinzu (oder bearbeiten Sie einen vorhandenen Haftungsausschluss), damit Benutzer wissen, wie ihr Feedback verwendet wird. Sie können auch Datenschutzinformationen und Tipps bereitstellen.

Benutzer mit den Berechtigungen "Bot-Transkriptanzeige" können einen Drilldown zu Agentantworten für einzelne Reaktionen ausführen und nach Benutzerkommentaren filtern.

Anzeigen von Reaktionstrends im Laufe der Zeit

Wählen Sie "Details anzeigen " auf der Kachel " Reaktionen " aus, um den Seitenbereich " Reaktionen " zu öffnen. Die Anzeige zeigt, wie sich positive und negative Reaktionen (von Daumen nach oben und Daumen nach unten) im Laufe der Zeit entwickeln.

Kundenzufriedenheit

Im Abschnitt " Kundenzufriedenheit " werden Informationen zur Benutzerzufriedenheit basierend auf den Ergebnissen der Benutzerumfrage angezeigt:

• Zufriedenheitsbewertung: Eine Bewertung von 5, die aus den durchschnittlichen CSAT-Bewertungen (Customer Satisfaction) für Sitzungen berechnet wird, in denen Benutzer auf End-of-Session-Anfragen geantwortet haben, um eine Umfrage zu führen.

  Note

  Die Bewertungen von 1 und 2 werden zugeordnet als Nicht zufrieden, eine Bewertung von 3 wird als Neutral betrachtet, und die Bewertungen von 4 und 5 werden zugeordnet als Zufrieden.

• Zufriedenheit nach Sitzung: Ein gestapeltes Balkendiagramm, das die relative Gewichtung für jede der Umfragebewertungskategorien darstellt, nämlich Dissatisfied, Neutral, und Satisfied. Fahren Sie mit der Maus über jedes Segment des Diagramms, um die Größe der Stichprobe und den numerischen Wert der Gewichtung jeder Score-Kategorie zu sehen. Für Benutzer mit den Berechtigungen "Bot-Transkriptanzeige" können Sie einen Drilldown zu einer Liste der Kundensitzungen ausführen , die basierend auf dem ausgewählten Teil des Balkensegments gefiltert wurden.

Wählen Sie "Details anzeigen " aus, um den Trend "Zufriedenheitsbewertung" im ausgewählten Zeitraum anzuzeigen.

Stimmung (Vorschau)

[Dieser Abschnitt ist die Vorabveröffentlichungsdokumentation und unterliegt Änderungen.]

Die Stimmungsanalyse verwendet KI, um Benutzernachrichten aus einer Stichprobe von Sitzungen zu analysieren, um eine allgemeine Benutzerstimmung für den Agenten auszuwerten. Der numerische Wert stellt den Prozentsatz der Sitzungen mit negativer Nutzerstimmung dar.

Important

Dieser Artikel enthält die Vorschaudokumentation von Microsoft Copilot Studio und kann geändert werden.

Vorschaufunktionen sind nicht für den Produktionsgebrauch gedacht und verfügen möglicherweise über eingeschränkte Funktionalität. Diese Funktionen stehen vor dem offiziellen Release zur Verfügung, damit Sie früher Zugriff darauf erhalten und Feedback geben können.

Wenn Sie einen produktionsreifen Agenten erstellen, finden Sie weitere Informationen unter Übersicht über Microsoft Copilot Studio.

Wählen Sie "Details anzeigen" aus, um die Stimmungsdaten für die relative Gewichtung der einzelnen Stimmungskategorien (Positive, Neutral und Negative) anzuzeigen.

Sie können die Stimmungsanalyse für Ihren Agent unter "Einstellungen" aktivieren und deaktivieren. Wenn die Stimmungsanalyse deaktiviert ist, werden die Benutzerstimmungen während Sitzungen nicht analysiert.

1. Wechseln Sie zu "Einstellungen" , und wählen Sie "Erweitert" aus.

2. Schalten Sie die Sentiment-Analyse ein oder aus.

   

Agenten

Die Agents-Liste zeigt allgemeine Volumen-, Leistungs- und Statusmetriken für verbundene und untergeordnete Agents Ihres Haupt-Agents an. Die Liste gibt den Beziehungstyp an, den der aufgelistete Agent zu Ihrem Hauptagenten in der Spalte Typ hat. Wenn ein Agent ein untergeordneter Agent ist, lautet sein Typ Child. Verbundene Agents haben einen aufgelisteten Typ, der angibt, wo sie erstellt wurden (z. B. Copilot Studio, Azure AI Foundry ). Die Metrik Anrufe für jeden aufgelisteten Agent beschreibt das Volumen von Anrufen vom Haupt-Agent an den verbundenen oder untergeordneten Agent. Die Erfolgsquote gibt den Anteil der Anrufe (als % aller Anrufe) an, die erfolgreich abgeschlossen wurden. Status gibt den einzelnen Administrationsstatus für jeden verbundenen und untergeordneten Agent an.

Standardmäßig zeigt die Agentenliste die fünf besten verbundenen und untergeordneten Agenten deines Hauptagenten an, von der höchsten bis zur niedrigsten Gesamtzahl an Fragen. Wenn mehr als fünf Agents vorhanden sind, wählen Sie Alle anzeigen aus, um alle Agents anzuzeigen.

Note

Die Schaltfläche Alle anzeigen ist nur sichtbar, wenn mehr als fünf verbundene oder untergeordnete Agents für Ihren Haupt-Agent vorhanden sind.

Verwenden

Der Abschnitt "Verwendung" hilft Ihnen zu verstehen, wie Benutzer mit Ihrem Agent interagieren und wo die Zuverlässigkeit der Antwort verbessert werden kann. Die Verwendung wird in viele Unterabschnitte aufgeteilt:

• Designs: Designs helfen Ihnen, Analyseeinblicke zu gewinnen, indem Sie Benutzerfragen in KI-vorgeschlagene Kategorien gruppieren.
• Erzeugte Antwortrate und -qualität: Erkennen Sie, wann Ihr Agent Schwierigkeiten hat, Fragen zu beantworten, und wie er Wissensquellen nutzt, um seine Antwortrate und Qualität zu verbessern.
• Toolverwendung: Lernen, wie oft Tools verwendet werden und wie oft sie erfolgreich sind, können Ihnen helfen zu verstehen, ob diese Tools für Benutzer nützlich und erfolgreich sind.
• Verwendung der Wissensquelle: Erfahren Sie, wie oft einzelne Wissensquellen verwendet werden und wie oft Fehler zurückgegeben werden, um die Qualität und Abdeckung der Antworten Ihres Agenten zu verbessern.

Generierte Antwortrate und -qualität

Mit generativen Antworten kann Ihr Agent KI nutzen, um mithilfe von Wissensquellen und den von Ihnen bereitgestellten Anweisungen Antworten auf Nutzerfragen zu generieren. Ihr Agent kann jedoch möglicherweise nicht alle Benutzerabfragen beantworten. Der Abschnitt Generierte Antwortrate und Qualität verfolgt, organisiert und analysiert unbeantwortete Abfragen und Antwortqualität, um Ihnen Anleitungen zur Verbesserung der Antwortleistung Ihres Agent zu geben.

Die Antwortrate zeigt die Anzahl der beantworteten und nicht beantworteten Fragen innerhalb des ausgewählten Zeitraums und die prozentuale Änderung im Laufe der Zeit an.

Antwortqualität misst die Qualität der Antworten mithilfe von KI. Copilot Studio analysiert eine Stichprobe beantworteter Fragen auf Vollständigkeit, Relevanz und Faktentreue. Wenn eine Antwort einen festgelegten Standard erfüllt, kennzeichnet Copilot Studio sie als Qualität Gut. Antworten, die diesen Standard nicht erfüllen, werden als Schlechte Qualität bezeichnet. Für mit „Schlecht“ bewertete Antworten gibt Copilot Studio einen Grund für die Qualitätsbewertung an und zeigt den Prozentsatz der Antworten in jeder Kategorie an.

Bewegen Sie den Mauszeiger über ein beliebiges Segment eines Balkens im Diagramm, um die relative Gewichtung eines einzelnen Grunds für die Qualitätsbezeichnung Gut oder Schlecht anzuzeigen. Die QuickInfo zeigt auch die Anzahl der Antworten an, die zur Berechnung des Prozentwerts herangezogen wurden.

Bewegen Sie in der Legende unterhalb des Diagramms den Mauszeiger über eine der Qualitätsbezeichnungsgründe, um diesen Grund im Diagramm hervorzuheben.

Wählen Sie ein Segment des Balkendiagramms aus, um eine Seite mit Benutzerfragen zu öffnen, die nach dieser Antwortqualität gefiltert sind. Wählen Sie Fragen anzeigen , um eine ungefilterte Liste aller Fragen innerhalb des konfigurierten Zeitraums anzuzeigen.

Werkzeuggebrauch

Der Abschnitt zur Tool-Nutzung zeigt ein Diagramm und Kennzahlen, die zeigen, wie oft Ihre Tools im Laufe der Zeit starten und wie oft Ihr Agent diese Tools erfolgreich nutzt. Außerdem werden Trendindikatoren für die Häufigkeit der Verwendung der einzelnen Tools durch den Agent und der Prozentsatz der aufgerufenen Tools angezeigt, die erfolgreich verwendet werden.

Das Diagramm zeigt die fünf wichtigsten Werkzeuge, die im oben auf der Monitor-Seite definierten Datumszeitraum verwendet wurden.

In der Legende unter dem Diagramm fahren Sie mit der Maus über eines der Werkzeuge, um dieses Werkzeug im Diagramm hervorzuheben.

Wenn Sie einen Seitenbereich mit einer Liste aller Tools öffnen möchten, die in dem angegebenen Zeitraum verwendet wurden, zusammen mit Trendindikatoren, wählen Sie im Diagramm Details anzeigen aus. Im Bereich Toolnutzung können Sie Berechnungen des Prozentsatzes der für jedes Tool verwendeten Fragen anzeigen. Wenn Ihr Agent über untergeordnete Agents verfügt, können Sie festlegen, dass Berechnungen sowohl für den Haupt-Agent als auch für untergeordnete Agents angezeigt werden sollen (Alle) oder nur für den Haupt-Agent oder nur für den Untergeordneten Agent.

Wissensquelle nutzen

Der Abschnitt "Verwendung der Wissensquellen" bietet Einblicke in die Verwendung Ihrer Wissensquellen und wie oft diese Quellen Fehler melden. Erfahren Sie mehr über die Nutzung von Wissensquellen.