Agentenleistung in Copilot Studio überwachen

Note

Dieser Artikel beschreibt Funktionen, die in Agenten oder Agent-Flows verwendet werden, die auf dem standard harness basieren.

Verwenden Sie Analysen, um zu verstehen, wie gut Ihr Agent abschneidet, und um Bereiche mit Verbesserungspotenzial zu identifizieren.

Die Monitor-Seite in Copilot Studio fasst wichtige Kennzahlen zusammen und bietet Nutzungsanalysen für die Komponenten Ihres Agenten. Öffnen Sie individuelle Kennzahlen, um die zugrunde liegenden Daten zu erkunden.

Das Monitor-Erlebnis ist auf Konversationsagenten und autonome Agenten zugeschnitten.

Überwachung ist in allen Regionen verfügbar. Überwachungsdaten sind bis zu 360 Tage verfügbar. Sitzungsdetails und Transkriptinformationen sind für die letzten 28 Tage verfügbar. Zeit- und Datumstempel in der Analytik sind in Coordinated Universal Time (UTC) angegeben. Die Zeit- und Datumstempel umfassen Start- und Endzeiten des Tages, Sitzungszeiten und alle weiteren Zeitmarkierungen in den Daten Ihres Agenten.

Note

Die Monitor-Seite zeigt keine Analysen für die Aktivität an, die du abschließt, wenn du deinen Agenten im Copilot Studio über das Testpanel testest.

Gewähren Sie eingeschränkten schreibgeschützten Zugriff auf Analytik

Wenn du der Agenteninhaber bist, teile den Agent mit der Freigaberolle Analytics Viewer, um nur Zugriff auf dessen Monitor-Seite zu gewähren. Um auf Informationen zum Gesprächstranskript zuzugreifen, muss die Person außerdem die Sicherheitsrolle Bot Transcript Viewer innehaben.

Erfahren Sie mehr unter Teilen Sie die Analysen eines Agents.

Important

Als Agentbesitzer können Sie die Analytics-Viewer-Rolle nur für Einzelpersonen und nicht für Benutzergruppen freigeben.

Um auf die Monitor-Seite Ihres Agenten zuzugreifen:

1. Öffnen Sie Ihren Agenten in Copilot Studio.
2. Wähle Monitor in der oberen Menüleiste.

Summe

Der Zusammenfassungsbereich verwendet Copilot, um eine KI-Zusammenfassung der wichtigsten Analyseeinblicke über Ihren Agenten zu generieren. Wählen Sie "Mehr anzeigen" aus, um die vollständige zusammengefasste Liste der Einblicke anzuzeigen.

Es hilft Ihnen, allgemeine Themen und Metriken schnell zu verstehen und Bereiche zur Verbesserung für Ihren Agenten zu identifizieren, indem diese in einer Aufzählung für den ausgewählten Berichtszeitraum zusammengefasst werden. Diese Liste kann Engagement-Kennzahlen, Kundenstimmung und Feedback sowie Trends seit dem letzten Berichtszeitraum enthalten.

Kundenkommentar-Zusammenfassung (Vorschau)

[Dieser Abschnitt ist die Vorabveröffentlichungsdokumentation und unterliegt Änderungen.]

Die Zusammenfassung der Kundenkommentare hilft Ihnen, die allgemeine Kundenstimmung gegenüber dem Agenten anhand von Feedback und Kommentaren zu verstehen. Insights werden basierend auf dem Umfang verwandter Kommentare und deren gesamter Bedeutung priorisiert. Die Zusammenfassung filtert geringwertige oder irrelevante Kommentare heraus und gruppiert das verwandte Feedback zusammen.

Important

Dieser Artikel enthält die Vorschaudokumentation von Microsoft Copilot Studio und kann geändert werden.

Vorschaufunktionen sind nicht für den Produktionsgebrauch gedacht und verfügen möglicherweise über eingeschränkte Funktionalität. Diese Funktionen stehen vor dem offiziellen Release zur Verfügung, damit Sie früher Zugriff darauf erhalten und Feedback geben können.

Wenn Sie einen produktionsreifen Agenten erstellen, finden Sie weitere Informationen unter Übersicht über Microsoft Copilot Studio.

Um Microsoft Feedback zu diesem Abschnitt zu geben, wählen Sie Daumen hoch oder Daumen runter aus. Nutzen Sie das Panel "Feedback an Microsoft senden", um einen Kommentar hinzuzufügen und zu entscheiden, ob Sie verwandte Dateien teilen möchten.

1. Beschreiben Sie im Bereich Feedback an Microsoft senden in natürlicher Sprache Ihre Vorlieben oder Abneigungen, je nachdem, welches Symbol Sie zum Öffnen des Bereichs ausgewählt haben.
2. Entscheiden Sie, ob Sie Prompt, generierte Antwort, relevante Inhaltsbeispiele und zusätzliche Logdateien teilen möchten.
3. Wählen Sie "Absenden" aus.

Overview

Sehen Sie im Bereich Übersicht eine Leistungszusammenfassung auf hoher Ebene und betrachten Sie anschließend einzelne Kennzahlen genauer.

Aktive Benutzer

Aktive Nutzermetriken zeigen die Akzeptanz eines konversationellen Agenten und wie sich diese im Laufe der Zeit verändert. Ein aktiver Benutzer ist ein eindeutiger Benutzer, der mindestens einmal während des Zeitraums des Berichts mit dem Unterhaltungsagent interagiert hat. Die Monitor-Seite zeigt täglich aktive Nutzer (DAU) und monatlich aktive Nutzer (MAU) an. Die tägliche Zählung umfasst einen vollen 24-Stunden-Tag in UTC. Die monatliche Zählung folgt dem Kalendermonat in UTC.

Important

Das Feature "Aktive Benutzermetriken" wird nur unterstützt, wenn Sie ihren Agent so festlegen, dass die Authentifizierung unter "Sicherheitsauthentifizierung>> erforderlich ist.

Die durchschnittliche DAU für den ausgewählten Zeitraum plus der prozentualen Änderung des vorherigen Zeitraums wird als Key Performance Indicator (KPI) im Abschnitt "Übersicht " angezeigt.

Note

Die Formel für die durchschnittliche berechnete DAU-Metrik lautet: (sum of all full-day active user counts in the period) / (count of full days in the period).

Wenn Sie weitere Details zu täglichen und monatlich aktiven Benutzern anzeigen möchten, wählen Sie die Schaltfläche " Aktive Benutzer anzeigen " in der oberen rechten Ecke des Übersichtsbereichs aus.

Nur Unterhaltungssitzungen

Analytics für sprachbasierte Agenten in Copilot Studio verfolgen das Nutzerengagement mit Ihrem Agent und versuchen zu erfassen, wie gut Ihr Agent Benutzeraufgaben bearbeitet.

In der Konversationsanalyse werden die folgenden Konzepte und Begriffe verwendet:

• Gespräche sind eine fortlaufende Interaktion zwischen einem bestimmten Nutzer oder einer Gruppe von Nutzern auf einem Kanal und Ihrem Agenten.

• Unterhaltungen können pausiert und später fortgesetzt oder an einen Kundenservicemitarbeiter weitergeleitet werden. Das Gespräch kann einseitig sein, entweder vom Kunden zum Agenten oder vom Agenten zum Kunden, aber meistens ist es ein Hin und Her zwischen dem Kunden und dem Agenten.

• Ein Gespräch läuft nach 30 Minuten Inaktivität ab.

• Für Agenten, die auf dem Telephony-Kanal veröffentlicht werden, enden die Gespräche 3 Minuten nach einem Ende Gespräch-Ereignis.

• Eine einzelne Unterhaltung kann eine oder mehrere Analysesitzungen enthalten.

• Eine Analysesitzung auf Basis des Standard harness ist mit dem zuletzt benutzerdefinierten Thema verknüpft, das von einem Nutzer ausgelöst wurde. Wenn die Sitzung keine benutzerdefinierten Themen enthält, ist es das letzte Systemthema, das direkt vom Nutzer ausgelöst wird.

Nur Ereignis-Trigger-Sitzungen

Ein autonomer Agent ist ein Agent mit einem Ereignisauslöser. Diese Agents unterstützen nur Analysen für Agents mit Triggern.

Eine Analysesitzung für Agenten mit Triggern erfasst den Zeitraum ab dem Zeitpunkt, an dem ein Agent eine Nutzlast von einem Trigger erhält, bis hin zu allen Aktionen, die der Agent daraufhin ausführt. In diesen Analysesitzungen wird erfasst, worauf Ihr Agent reagiert und wie gut Ihr Agent abschneidet.

Note

Wenn ein Trigger fehlschlägt und der Agent keine Trigger-Payload erhält, kann keine Analysesitzung gestartet werden. Analytics erfasst nur erfolgreich ausgelöste Ausführungen.

Hybridansicht – sowohl unterhaltungs- als auch ereignisgesteuerte Sitzungen

Wenn die Daten Ihres Agenten Sitzungen für mindestens eine Konversation und mindestens eine triggerbasierte Ausführung im Berichtszeitraum enthalten, wird auf der Seite Monitor eine hybride Ansicht relevanter Kennzahlen sowohl für konversationelle als auch für autonome Sitzungen angezeigt. In dieser Ansicht zeigen die Abschnitte Übersicht und Effektivität Kennzahlen nebeneinander für sowohl die konversationsbezogenen als auch die ereignisausgelösten Sitzungen. Der Abschnitt "Nutzung" ermöglicht Ihnen, zwischen Unterhaltungen oder Läufen zu wählen, wodurch nur relevante Daten angezeigt werden. Wenn Sie "Alle " auswählen, werden alle verwendungsbezogenen Daten angezeigt. Im Abschnitt "Zufriedenheit " werden Die Zufriedenheitsmetriken für Unterhaltungssitzungen angezeigt.

Weitere Informationen finden Sie unter:

• Überwachen Sie die Effektivität des konversationellen Agenten für Metriken zu Konversationssitzungen

• Überwachen Sie den Zustand autonomer Agents für ereignisgesteuerte Sitzungsmetriken

Unterhaltungs-Transkription herunterladen

Sie können Sitzungstranskripte im Copilot Studio für Zeiträume innerhalb der letzten 28 Tage herunterladen. Es kann bis zu einer Stunde nach Ende einer Analysesitzung dauern, bis die zugehörigen Daten im Analytics-Dashboard angezeigt werden. Erfahren Sie mehr über Verfügbarkeit, Berechtigungen und Download-Schritte in Gesprächstranskripte in Copilot Studio herunterladen.

Die Aufbewahrung von Transkripten in Dataverse ist getrennt vom 28-tägigen Sitzungsdatenfenster im Copilot Studio. Erfahren Sie mehr unter Unterhaltungstranskripte in Power Apps herunterladen.

Themennutzungsanalysen

In Copilot Studio legt ein Thema fest, wie eine Konversation mit einem Agent fortschreitet, und stellt einen Teil einer Konversation zwischen einem Benutzer und einem Agenten dar. Der Themenmonitor-Bereich zeigt, wie sich ein einzelnes Thema entwickelt, einschließlich wie oft es ausgelöst wird, wie Sitzungen, die es enthalten, aufgelöst werden und wie zufrieden die Nutzer mit diesen Sitzungen sind. Nutzen Sie diese Erkenntnisse, um Themen zu identifizieren, die häufig eskalieren oder aufgegeben werden, und priorisieren Sie sie dann zur Verbesserung. Weitere Informationen finden Sie unter "Themen erstellen und bearbeiten".

Note

Topic Monitor ist nur für Agenten verfügbar, die über das Standard-Harness betrieben werden, sowie für Topics, die mit einer Sitzung verbunden sind. Wenn dein Agent generative Orchestrierung verwendet, nutze stattdessen Gesprächsergebnisse und Themen auf der Monitor-Seite .

Um das Thema Monitor-Panel anzusehen:

1. Gehen Sie auf die Themen-Seite Ihres Agenten im Copilot Studio.

2. Wählen Sie das Thema aus, das Sie analysieren möchten. Wenn keine Themen verfügbar sind, lesen Sie " Erstellen und Bearbeiten von Themen".

3. Wählen Sie in der oberen rechten Ecke der Seite ThemenMehr (...) >Überwachen aus.

Der Themenmonitor-Bereich zeigt:

• Themenergebnisse: Ein Diagramm mit Sitzungsergebnissen, Escalated, Resolvedund Abandoned, für Sitzungen, in denen dieses Thema ausgelöst wurde. Verwenden Sie dieses Diagramm, um den Themenstatus schnell zu beurteilen. Ein hoher Anteil an Escalated- oder AbandonedErgebnissen kann bedeuten, dass das Thema verbessert werden muss.
• Gesamtthemaverwendung: Ein Diagramm des Trend der Themenergebnisse im Laufe der Zeit. Verwenden Sie dies, um Regressionen zu erkennen, z. B. einen Anstieg abgebrochener Sitzungen nach der Bearbeitung eines Themas, oder um zu bestätigen, dass sich die Auflösungsraten durch kürzliche Änderungen verbessert haben.
• Kundenzufriedenheitsbewertung: Eine Bewertung basierend auf den Antworten auf Benutzerumfragen aus Sitzungen, die diesem Thema zugeordnet sind.
• Zufriedenheitsbewertungstrend: Ein Diagramm, das zeigt, wie sich die Zufriedenheitsbewertung im Laufe der Zeit ändert. Verwenden Sie diesen Trend, um Zeiträume zu identifizieren, in denen sich die Benutzerstimmung verschlechtert oder verbessert hat.

Um die Zeitspanne zu ändern, wählen Sie das Zeitbereichs-Dropdown-Menü oben im Thema-Monitor-Panel aus.

Zugeordnete Informationen

Messen der Rendite (ROI) und des Geschäftswerts von KI-Agenten