Überblick über die Leistung von Agenten (GitHub Copilot)

Der Monitor-Tab gibt den Machern einen kontextbezogenen Überblick über die Produktionsgesundheit eines Agenten. Nutzen Sie es, um Nutzung, Ergebnisse, Nutzerfeedback, Zuverlässigkeit und den Copilot-Kreditverbrauch zu verstehen, damit Sie Trends erkennen und entscheiden können, wo Sie den Agenten verbessern möchten.

Note

Funktionen in diesem Artikel werden von Agenten oder Workflows genutzt, die vom GitHub Copilot-Harness betrieben werden.

Nutzungsbasierte Abrechnung gilt für die Nutzung, den Bau, das Testen und die Bewertung von Agenten. Diese Aktionen könnten Copilot-Credits verbrauchen. Erfahren Sie mehr unter Kosten verwalten für Agenten, die vom GitHub Copilot-Harness betrieben werden.

Note

Du kannst den Monitor öffnen , bevor du deinen Agenten veröffentlichst. Produktionsnutzung, Feedback und Kreditdaten erscheinen, nachdem Sie den Agent veröffentlicht haben und die Leute ihn zu verwenden beginnen.

Was können Sie überwachen?

Monitor bietet eine Übersicht auf hoher Ebene über einen einzelnen Agenten. Sie hat folgenden Inhalt:

  • Überblick: Gesamtzahl der Sitzungen, Nutzer, autonome Durchläufe, durchschnittliche Dauer, Erfolgsrate und Fehlschläge.
  • Reaktionen: Daumen hoch und Daumen runter Feedback zu den Antworten der Agenten.
  • Geschätzte insgesamt verwendete Credits: Die Credits, die der Agent im ausgewählten Zeitraum verbraucht hat.
  • Sitzungen: Individuelle Interaktionen, wo sie stattfanden und welche Credits sie verbraucht haben.

Verwenden Sie den Datumsfilter, um sich auf einen bestimmten Berichtszeitraum zu konzentrieren. Prozentuale Indikatoren vergleichen jede Kennzahl mit dem vorherigen Zeitraum.

Monitor- und Agentenvorgänge

Monitor ist für Entwickler konzipiert, die schnell einen Überblick über einen einzelnen Agenten benötigen, während sie ihn erstellen und verbessern. Für flottenweite Überwachung, Governance, detaillierte Untersuchungen und operative Optimierung über Agenten und Umgebungen hinweg nutzen Sie die Erfahrung im Agentenbetrieb.

Übersicht über Metriken

Der Abschnitt Übersicht zeigt:

  • Gesamtzahl der Sitzungen: Die Anzahl der Gesprächssitzungen während des ausgewählten Zeitraums.
  • Gesamtnutzer: Die Anzahl der Nutzer, die während des ausgewählten Zeitraums mit dem Agenten interagiert haben.
  • Durchschnittliche Dauer: Die durchschnittliche Dauer von Sitzungen und Läufen.
  • Erfolgsquote: Wie erfolgreich der Agent Sitzungen und Durchläufe abgeschlossen hat.

Geschätzte insgesamt verwendete Credits

Die Kreditkarte zeigt die Gesamtzahl der Copilot-Credits, die der Agent im ausgewählten Zeitraum verbraucht hat, sowie die Änderung im Vergleich zum vorherigen Zeitraum. Im Gegensatz zu den nahezu Echtzeit-Schätzungen, die Sie in Preview and Evaluate sehen, spiegelt der in Monitor angezeigte Wert alle bis zu diesem Zeitpunkt verarbeiteten Ereignisse wider und ist die endgültige, wahrheitsbezogene Zahl, die für die Abrechnung verwendet wird.

Wenn eine Aufschlüsselung verfügbar ist, zeigt sie eine geschätzte Aufteilung des Verbrauchs nach Erfahrung, einschließlich Produktionsnutzung, Vorschautests, Bewertungen und anderer unterstützter Oberflächen. Nutzen Sie es, um zu verstehen, welche Aktivitäten oder Ergebnisse die Gutschriften verbraucht haben.

Erfahren Sie mehr unter Verstehen Sie die geschätzte Kreditnutzung und Übersicht über nutzungsbasierte Abrechnung.

Reaktionen

Der Abschnitt Reaktionen zeigt Nutzerfeedback zu den Antworten der Agenten. Das Diagramm zählt, wie oft Nutzer bei jeder Antwort von Ihrem Agenten Daumen hoch (positiv) oder Daumen unten (negativ) auswählen.

Agentenfähigkeiten

Der Abschnitt Capabilities hilft Ihnen zu verstehen, wie Nutzer mit Ihrem Agenten interagieren und wo sich die Zuverlässigkeit der Antworten verbessern kann. Sie hat folgenden Inhalt:

  • Tool-Nutzung: Welche Tools der Agent während der Sitzung aufgerufen hat.

Sitzungsnachverfolgung

Die Sitzungsliste zeigt einzelne Gesprächssitzungen mit Ihrem Agenten. Jede Sitzung umfasst:

  • Status: Ob die Sitzung abgeschlossen, fehlgeschlagen oder im Gange ist.
  • Dauer: Wie lange die Sitzung dauerte.
  • Benutzernachrichten: Die Anzahl der ausgetauschten Nachrichten.
  • Verwendete Tools: Welche Tools der Agent während der Sitzung aufgerufen hat.

Filtern Sie Sitzungen nach Status, wie gescheitert, abgeschlossen oder laufend, um schnell Sitzungen zu finden, die Aufmerksamkeit benötigen.

Wählen Sie eine Sitzung aus, um ihr vollständiges Transkript einzusehen, einschließlich der Nachrichten des Nutzers, der Antworten des Agenten und Details zu Tool-Aufrufen und Nutzung von Wissensquellen.

Fehlerüberwachung

Der Monitor hilft Ihnen, Probleme zu identifizieren und zu diagnostizieren:

  • Filtern Sie Sitzungen nach Status "Fehlgeschlagen " oder "Abgelehnt ", um problematische Interaktionen zu finden.
  • Überprüfen Sie die Sitzungsprotokolle, um zu verstehen, was schiefgelaufen ist.
  • Prüfen Sie den Verbindungsstatus des Tools und ob Authentifizierungsfehler vorliegen.
  • Achte auf Muster in fehlgeschlagenen Sitzungen, die auf ein Konfigurationsproblem hinweisen könnten.

Für eine Schritt-für-Schritt-Anleitung zur Nutzung des Reiters Monitor siehe Monitor an Agent.

Sitzungstranskripte herunterladen

Sie können die Sitzungstranskripte einige Minuten nach Ablauf der Sitzung herunterladen. Sie können jeden Zeitraum der letzten 29 Tage herunterladen. Sie können sie in Dataverse mithilfe des Power Apps Portals und als Session-Chattranskripte mithilfe der Copilot Studio-App herunterladen. Es kann bis zu eine Stunde nach Ende der Analysesitzung dauern, bis die zugehörigen Daten im Monitor-Tab erscheinen.

Überprüfen von Sitzungen

Die Sitzungsliste zeigt die jüngsten Interaktionen mit deinem Agenten.

Note

Die Sitzungsliste zeigt nur Sitzungen der letzten 28 Tage.

Je nach Interaktion kann die Liste zeigen:

  • Name: Der Benutzer, der mit der Interaktion verknüpft ist.
  • Datum: Wann die Interaktion stattfand.
  • Kanal: Der Kanal oder Copilot Studio-Oberfläche, an dem die Interaktion stattfand.
  • Anzahl der Nachrichten: Die Anzahl der Nachrichten in der Interaktion.
  • Dauer: Die Dauer der Interaktion.
  • Verwendete Credits: Die durch die Interaktion verbrauchten Copilot-Credits.

Öffnen Sie die Seite mit Sitzungsdetails, um aggregierte Sitzungsmetriken zu prüfen, die Liste zu filtern, nach Sitzungen zu suchen und Sitzungsdaten herunterzuladen.

Für weitere Exportoptionen für Transkripte erfahren Sie mehr unter Download Agent Session Transcripts.

Für Schritt-für-Schritt-Anleitung erfahren Sie mehr unter Überwachen und analysieren Sie die Leistung eines Agenten.

  • Zuletzt aktualisiert um