Kernkonzepte für die Beobachtbarkeit von Agenten

Agenten-Observabilität und -Qualität basieren auf einer sich wiederholenden Schleife: Finde ein Problem in deinem Agenten, misse es systematisch, behebe es, bestätige die Behebung und überwache, damit es nicht wiederholt wird. Jedes Konzept auf dieser Seite ist ein Teil dieser Schleife.

Diese Seite erklärt jedes Element und wie es zusammenhängt.


Die Qualitätsschleife

Die Agenten-Qualitätsschleife: Verfolgen, ein Problem finden, Feedback sammeln und einen Datensatz kuratieren, einen Scorer schreiben, den Agenten korrigieren, bewerten und die Produktion überwachen – was das nächste Problem aufzeigt.

Jeder Abschnitt unten entspricht einer Stufe in dieser Schleife.


Ablaufverfolgungen und Spannen

Ein Trace ist ein strukturierter Nachweis einer vollständigen Ausführung Ihres Agenten – die obersten Eingaben und Ausgaben, jeden Zwischenschritt (LLM-Aufrufe, Retriever-Lookups, Werkzeugaufrufe), Latenz und etwaige Fehler. Spuren sind das Rohmaterial, das jede andere Stufe im Kreislauf versorgt.

Ein Trace ist intern ein Baum aus Spans. Jede Spanne repräsentiert eine Operation: Sie erfasst, was eingegangen ist, was herauskam, wie lange es gedauert hat und alle Metadaten. Der Root-Span steht für die gesamte Anfrage des Agenten; untergeordnete Spans stehen für Teiloperationen, die während dieser Anfrage aufgetreten sind.

Traces werden im Unity-Katalog als Delta-Tabellen gespeichert (empfohlen). Das gibt dir kontrollierten Zugriff, SQL-Abfragemöglichkeiten und keine Speicherobergrenze pro Experiment – das gleiche Governance-Modell wie jede andere UC-Tabelle. Sobald sie gespeichert sind, können Sie Traces in der Benutzeroberfläche erforschen, sie mit SQL abfragen oder Fragen in natürlicher Sprache mit Genie Code stellen.

Verwandt:Instrumentieren Sie Ihren Agenten · Verfolgen Sie Traces in der Benutzeroberfläche · Such- und Abfragetraces

Sitzungen

Eine Sitzung ist ein Tag, das zusammengehörige Ablaufverfolgungen aus einer mehrteiligen Unterhaltungen gruppiert: Setzen Sie mlflow.trace.session für jede Ablaufverfolgung. Die Sitzungsgruppierung ermöglicht es Ihnen, die Gesprächsqualität durchgängig zu bewerten, nicht nur Gesprächszug für Gesprächszug.


Bewertungen: Feedback und Erwartungen

Eine Bewertung ist eine Qualitätsmessung, die an eine Spur angehängt ist. Es gibt zwei Arten:

Typ Wer es hinzufügt Was er erfasst
Feedback Scorer, Endnutzer, Fachexperten Eine Qualitätsbewertung: bestanden/nicht bestanden, numerische Bewertung oder Freitextkommentar. Beispiele: Ein Safety Bewertungsprüfer, der eine Antwort als unsicher markiert; ein Daumen nach unten vom Endnutzer.
Erwartungshaltung Domänenexperten Die korrekte Ausgabe für eine gegebene Eingabe – Ground Truth. Beispiele: die erwartete Antwort auf eine Frage; die erforderlichen Fakten, die eine Antwort enthalten muss.

Feedback ist das wichtigste Signal bei routinemäßiger Qualitätsarbeit; man braucht keine Erwartungen, um aus MLflow einen Mehrwert zu ziehen. Erwartungen sind optional, ermöglichen aber die präziseste Bewertung: Richter vergleichen zum Beispiel Correctness die Antwort des Agenten mit einer bekannten guten Antwort.

Verwandt:Entwickleranmerkungen · Expertenfeedback · Nutzerfeedback sammeln


Schützen

Ein Scorer ist eine Funktion, die eine Ablaufverfolgung bewertet und eine Feedback-Bewertung zurückgibt. Jeder Scorer folgt demselben Vertrag: erhält eine Spur → extrahiert relevante Felder → bewertet → Rückgabe von Feedback. Der gleiche Scorer arbeitet in der Offline-Bewertung und bei der Live-Produktionsüberwachung – man schreibt einmal Qualitätslogik und sie gilt überall.

Arten von Punktesammlern

Typ Wie die Bewertung erfolgt Verwenden Sie, wenn
Integrierte LLM-Judges
(mlflow.genai.scorers.*)
Vorgefertigte, LLM-gestützte Bewertungsmodule für gängige Bewertungsdimensionen: Korrektheit, Relevanz, Sicherheit, Faktentreue, Richtlinieneinhaltung und mehr. Sie wollen sofortige hochwertige Abdeckung, ohne individuellen Code schreiben zu müssen.
Benutzerdefinierte LLM-Bewerter Ein LLM-Richter mit einem individuellen Bewertungsprompt und einer Bewertungsrubrik, die du definierst. Eingebaute Juroren decken deine domänenspezifischen Kriterien nicht ab, oder du brauchst fein granulare Bewertungen (numerische Noten, benutzerdefinierte Kategorien).
Codebasierte Scorer Eine deterministische Python-Funktion – exakte Abgleichung, Formatvalidierung, Latenzprüfungen, Geschäftsregeln. Man braucht präzise, reproduzierbare Logik, die kein Sprachmodell benötigt.

Juroren gegen Scorer

Juroren (zum Beispiel) mlflow.genai.judges.is_correctbewerten Text anhand spezifischer Kriterien – aber sie wissen nicht, wie man eine Spur liest. Scorer sind die Adapter: Sie extrahieren die relevanten Felder aus einem Trace (Anfrage, Antwort, abgerufener Kontext usw.) und leiten sie an einen Richter oder an benutzerdefinierte Logik weiter. Wenn Sie einen integrierten Judge in scorers=[Correctness()] direkt verwenden, packt MLflow ihn automatisch in einen Scorer.

Verwandt:Überblick über die Punkterichter · Eingebaute Wertungsrichter · Benutzerdefinierte LLM-Richter · Codebasierte Punkterichter


Evaluationsdatensätze und Läufe

Evaluierungsdatensätze

Ein Evaluationsdatensatz ist eine versionierte, kuratierte Sammlung von Testfällen. Jeder Datensatz enthält:

  • inputs: Was soll ich dem Agenten schicken
  • expectations (optional): die korrekte Ausgabe, die von Scorern verwendet wird, die Ground Truth benötigen

Man baut Datensätze auf, indem man repräsentative Spuren aus Produktion oder Entwicklung auswählt, Fälle von Grund auf schreibt oder aus externen Quellen importiert. Datensätze sind versionierungsfähig, sodass Sie verfolgen können, wie Ihre Testsuite im Laufe der Zeit wächst.

Verwandt:Erstellen Sie einen Evaluierungsdatensatz

Auswertungsausführungen

Ein Evaluationslauf ist das Ergebnis des Aufrufs von mlflow.genai.evaluate(). Geben Sie ihm einen Datensatz und eine Liste der Scorer; es:

  1. Er führt Ihren Agenten auf jeder Eingabe im Datensatz aus und erfasst Traces.
  2. Wendet jeden Scorer auf jeden Trace an und erzeugt Feedback-Bewertungen.
  3. Speichert aggregierte Erfolgsquoten und Kennzahlen zusammen mit den einzelnen Ablaufverfolgungen.

Verwende Evaluationsläufe, um folgende Fragen zu beantworten: Hat diese Änderung die Qualität verbessert? und hat sie an anderer Stelle zu Regressionen geführt? Vergleiche die Ausführungen Seite an Seite, um den Fortschritt über Iterationen hinweg zu verfolgen. Evaluationsläufe sind eine spezielle Art von MLflow Run und können programmatisch abfragbar sein.

Verwandt:Führen Sie eine Bewertung durch · Wie die Bewertung funktioniert


Produktionsüberwachung

Produktionsüberwachung plant Scorer so ein, dass sie automatisch für den Live-Agentenverkehr ausgeführt werden. Fügen Sie Ihrem eingesetzten Agenten einen Scorer zu, und der Überwachungsdienst bewertet eingehende Spuren fortlaufend und schreibt Feedback-Bewertungen auf dieselbe Spur zurück.

Das Feedback-Format ist identisch mit der Offline-Bewertung, sodass Qualitätstrends zwischen Entwicklung und Produktion direkt vergleichbar sind. Produktionsmonitoring schließt den Kreislauf: Neue Fehler im Live-Verkehr werden entdeckt, die Sie dann in Ihren Bewertungsdatensatz einbauen, um sie in der nächsten Iteration zu beheben.

Verwandt:Produktionsüberwachungsübersicht · Monitoring starten und konfigurieren


Wie alles zusammenpasst

Jedes Konzept dient einer bestimmten Stufe der Qualitätsschleife:

Stage Schlüsselkonzepte
Verfolgen Sie Ihren Agent Ablaufverfolgungen, Spans
Finde ein Problem Traces, Sitzungen, UI- und SQL-Abfragen, natürlichsprachliche Analyse mit Genie Code
Sammeln Sie Feedback und kuratieren Sie einen Datensatz Bewertungen (Rückmeldung + Erwartungen), Bewertungsdatensätze
Schreiben Sie einen Scorer, korrigieren Sie den Agenten und bewerten Sie die Korrektur Punktesammler, Bewertungsläufe
Produktion überwachen Produktionsüberwachung, geplante Scorer

Die Schleife verbindet alles: Die Produktionsüberwachung erkennt neue Fehlerfälle → Sie kuratieren diese zu einem Datensatz → Sie erstellen oder optimieren einen Scorer → Sie führen eine Evaluierung durch, um die Fehlerbehebung zu bestätigen → der verbesserte Agent geht in Produktion → die Überwachung achtet auf das nächste Problem.


Nächste Schritte