Metriken und Empfehlungen für Copilot Studio

Metriken über die betriebliche Integrität von Copilot Studio sind im Power Platform Admin Center verfügbar.

Anzeigen von Copilot Studio-Metriken

  1. Melden Sie sich beim Power Platform Admin Center an.

  2. Wählen Sie im Navigationsbereich die Option Überwachen aus.

  3. Wählen Sie im Bereich "Monitor" unter "Produkte" "Copilot Studio" aus.

    Auf der Seite Copilot Studio werden die Metriken für konversationale und autonome Agenten angezeigt, die in Copilot Studio erstellt wurden. Für Agents, die GitHub Copilot verwenden, verwendet Copilot Studio KI, um jede abgeschlossene Sitzung zu überprüfen und ihm ein einzelnes Ergebnis zuzuweisen, z. B. aufgelöst, eskaliert oder abgebrochen. Monitor verwendet dann dieses Ergebnis, um zu entscheiden, ob die Sitzung als Erfolg oder Fehler zählt. Die KI-Analyse wird nach Beendigung der Sitzung ausgeführt, sodass Metriken für diese Agents in Monitor bis zu 48 Stunden nach der Verwendung angezeigt werden können.

Copilot Studio-Metriken und Empfehlungen

Metrikdefinitionen

Typ Metric Definition Support
Agenten Erfolgsquote für Agent-Sitzungen Ein Prozentsatz, der beschreibt, wie oft ein autonomer Agent seine Aufgabe erfolgreich ausführen kann oder wie oft die Sitzung eines Unterhaltungsagenten erfolgreich aufgelöst wurde. Allgemein verfügbar
Agenten Letzte Agent-Sitzungen Die Anzahl der unterschiedlichen Benutzersitzungen in einem Agent an einem Tag. Eine Sitzung beginnt, wenn ein Benutzer den Agent öffnet und nach einer Bestimmten Zeit der Inaktivität endet oder wenn der Agent geschlossen wird. Allgemein verfügbar

Sitzungsergebniszuordnung

Die folgende Tabelle zeigt, wie Monitor jedes Sitzungsergebnis für Agenten zählt, die GitHub Copilot verwenden.

Sitzungsergebnis Was dies bedeutet Erfolgsquote für Agent-Sitzungen Letzte Agent-Sitzungen
Behoben – bestätigt Der Benutzer hat bestätigt, dass sein Bedarf erfüllt wurde. ✅ Erfolg Gezählt
Gelöst – implizit Das Anliegen des Benutzers scheint erfüllt zu sein, auch wenn der Benutzer dies nicht explizit bestätigt hat. ✅ Erfolg Gezählt
Eskaliert – vom System vorgesehen Der Agent hat die Sitzung aufgrund einer Eskalationsregel übergeben, die der Ersteller konfiguriert hat. Der Agent hat das getan, wofür er entwickelt wurde. ✅ Erfolg Gezählt
Eskaliert – vom Benutzer angefordert Der Benutzer hat gebeten, mit einer Person zu sprechen. ❌ Fehler Gezählt
Eskaliert – Systemfehler Die Sitzung wurde eskaliert, da der Agent oder ein Tool oder flow, das aufgerufen wurde, fehlgeschlagen ist. ❌ Fehler Gezählt
Nicht behoben – Agentfehler Der Agent sagte, es konnte nicht bei der Anfrage helfen. ❌ Fehler Gezählt
Ungelöst – vom Benutzer abgelehnt Der Benutzer hat die Antwort des Agents abgelehnt. ❌ Fehler Gezählt
Ungelöst – unvollständig Die Sitzung endete, obwohl das Anliegen des Benutzers noch offen war. ❌ Fehler Gezählt
Abgebrochen Der Benutzer reagierte nicht mehr, bevor die Sitzung beendet wurde. ❌ Fehler Gezählt
Nicht engagiert Der Benutzer hat nie eine Nachricht an den Agent gesendet, sodass es kein Ergebnis gibt. Ausgeschlossen Nicht gezählt
Nicht analysiert Es konnte kein Ergebnis ermittelt werden. Zum Beispiel war die Sitzung zu groß, um analysiert zu werden, sie wurde aufgrund von Kapazitätsgrenzen der Analyse übersprungen, oder die Analyse hat kein gültiges Ergebnis zurückgegeben. Ausgeschlossen Nicht gezählt

Berechnung der Erfolgsquote

Monitor berechnet die Erfolgsrate nur von Sitzungen, die ein Ergebnis haben:

Erfolgsrate von Agent-Sitzungen = erfolgreiche Sitzungen ÷ (erfolgreiche Sitzungen + fehlgeschlagene Sitzungen)

Note

  • Jede Sitzung wird einmal gezählt.
  • Diese Zuordnung gilt für Unterhaltungssitzungen für Agents, die GitHub Copilot verwenden. Autonome Agents melden weiterhin Erfolg, je nachdem, ob jede Ausführung ihre Aufgabe abgeschlossen hat.

Tipps zur Verbesserung Ihrer Erfolgsquote

  • Viele Ergebnisse „Ungelöst“ oder „Eskaliert – vom Benutzer angefordert“: Überprüfen Sie, ob der Agent über die Wissensquellen und Anweisungen verfügt, die er benötigt, um häufig gestellte Fragen zu beantworten.
  • Viele Ergebnisse mit dem Status „Eskaliert – System unbeabsichtigt“: Suchen Sie nach fehlerhaften Tools, Connectors oder Flüssen, die der Agent aufruft.
  • Viele "Abgebrochene" Ergebnisse: Überprüfen Sie Sitzungsaufzeichnungen, um zu sehen, wo Benutzer abspringen, z. B. nach langen Antworten oder wiederholten Klarstellungsfragen.