Teste einen Agenten mit der Chat-UI

Die MLflow Review App enthält eine integrierte Chat-Oberfläche, mit der Fachexperten Ihren Agenten interaktiv testen und sofortiges Feedback geben können. Verwenden Sie die Chat-UI als Möglichkeit, die Stimmung Ihrer App zu überprüfen.

Von Bedeutung

Für die Benutzeroberfläche "App-Chat überprüfen" ist ein Agent erforderlich, der auf einem Model Serving-Endpunkt bereitgestellt wird. Es unterstützt derzeit keine Agents, die in Databricks-Apps bereitgestellt werden. Wenn Sie Ihren Agenten auf Databricks Apps deployen, können Sie weiterhin vorhandene Traces für die Auswertung kennzeichnen. Databricks erstellt Überprüfungs- und Feedbackunterstützung direkt in der Chatbot-Vorlage.

App-Chat-UI überprüfen

Gründe für die Verwendung von Chat-UI-Tests

Chat-UI-Tests sind ideal, wenn Sie:

  • Testen von Dialogabläufen und Multi-Turn-Interaktionen mit Fachexperten
  • Sammeln von Expertenfeedback zu Anwendungsantworten und -verhalten
  • Überprüfen von Updates in einer sicheren Umgebung vor der Produktionsbereitstellung

Voraussetzungen

  • MLflow und erforderliche Pakete müssen installiert werden. Die in diesem Handbuch beschriebenen Features erfordern MLflow Version 3.1.0 oder höher. Führen Sie den folgenden Befehl aus, um das MLflow SDK zu installieren oder zu aktualisieren, einschließlich der für die Databricks-Integration erforderlichen Extras:

    pip install --upgrade "mlflow[databricks]>=3.1.0" openai "databricks-connect>=16.1"

  • Ihre Entwicklungsumgebung muss mit dem MLflow-Experiment verbunden sein, in dem Ihre Agenten-Traces protokolliert werden.

  • Domain-Experten müssen alle folgenden Informationen besitzen, um die Chat-UI der Review App nutzen zu können:

    • Kontobereitstellung: Der Prüfer muss in Ihrem Databricks-Konto bereitgestellt werden. Kontoadministratoren können die SCIM-Bereitstellung auf Kontoebene nutzen, um Benutzer von Ihrem Identitätsanbieter zu synchronisieren oder Benutzer und Gruppen manuell registrieren. Details finden Sie unter Benutzer- und Gruppenverwaltung .
    • Arbeitsbereich-Zugriffsberechtigung: Der Prüfer muss die Arbeitsbereich-Zugriffsberechtigung für den Arbeitsbereich besitzen, der das Experiment hostet. Die Review App lädt über Workspace-UI-Routen, die diese Berechtigung erfordern, daher reicht die Kontobereitstellung allein nicht aus. Siehe Einen Benutzer einem Arbeitsbereich zuweisen , um Berechtigungen zuzuweisen.
    • Endpunktzugriff: CAN_QUERY Berechtigung auf dem modellbedienenden Endpunkt.

Einrichten und Sammeln von Feedback mit der Chat-Benutzeroberfläche

Die Chat-Benutzeroberfläche der MLflow Review App verbindet sich mit einer bereitgestellten Version Ihres Agenten, sodass Domänenexperten mit Ihrer App chatten und sofortiges Feedback geben können. Führen Sie die folgenden Schritte aus, um die Chat-Benutzeroberfläche einzurichten und Feedback zu sammeln:

  1. Packen Sie Ihre App mit benutzerdefinierten Agenten und stellen Sie sie mithilfe von Deploy on Apps als Model-Serving-Endpunkt bereit.

  2. Fügen Sie den Endpunkt zur Überprüfungs-App Ihres Experiments hinzu:

    Hinweis

    Im folgenden Beispiel wird der Rezensions-App eine von Databricks gehostete LLM hinzugefügt. Ersetzen Sie den Endpunkt durch den Endpunkt Ihrer App aus Schritt 1.

    from mlflow.genai.labeling import get_review_app

# Get review app for current MLflow experiment
review_app = get_review_app()

# Connect your deployed agent endpoint
review_app.add_agent(
    agent_name="claude-sonnet",
    model_serving_endpoint="databricks-claude-sonnet-4-5",
)

print(f"Share this URL: {review_app.url}/chat")

  3. Geben Sie nach der Konfiguration die URL der Überprüfungs-App für Ihre Domänenexperten frei. Sie können folgende Aktionen durchführen:

  • Zugreifen auf die Chatschnittstelle über ihren Webbrowser
  • Interagieren Sie mit Ihrer Anwendung, indem Sie Fragen eingeben
  • Bereitstellen von Feedback nach jeder Antwort mithilfe der integrierten Feedbacksteuerelemente
  • Fortsetzen der Unterhaltung zum Testen mehrerer Interaktionen

Überprüfen des Renderns von App-Inhalten

Die Chat-Benutzeroberfläche verwendet Domänenexpertenabfragen als Eingabe, Live-Agent-Endpunktantworten als Ausgabe und speichert Ergebnisse in MLflow-Ablaufverfolgungen. Sie müssen kein benutzerdefiniertes Bezeichnungsschema bereitstellen, da bei diesem Ansatz feste Feedbackfragen verwendet werden.

Die Review-Anwendung rendert automatisch verschiedene Inhaltstypen aus Ihrer MLflow-Nachverfolgung:

  • Abgerufene Dokumente: Dokumente innerhalb eines RETRIEVER Bereichs werden zur Anzeige gerendert.
  • OpenAI-Formatnachrichten: Eingaben und Ausgaben der MLflow-Ablaufverfolgung nach OpenAI-Chatunterhaltungen werden gerendert:
    • outputs die ein OpenAI-Format ChatCompletions-Objekt enthalten
    • inputs oder outputs Wörterbücher, die einen messages Schlüssel mit einem Array von OpenAI-Format-Chatnachrichten enthalten
      • Wenn das messages Array OpenAI-Format-Tool-Aufrufe enthält, werden diese ebenfalls gerendert.
  • Wörterbücher: Eingaben und Ausgaben der MLflow-Ablaufverfolgung, die Wörterbücher sind, werden als ansprechend formatierte JSONs gerendert.

Andernfalls wird der Inhalt von input und output aus der Stammspanne jeder Ablaufverfolgung als primärer Inhalt für die Überprüfung verwendet.

Chatfeedback anzeigen

Alle Interaktionen und Feedback, die über die Chat-Benutzeroberfläche gesammelt werden, werden automatisch als Ablaufverfolgungen in MLflow erfasst.

So sehen Sie sich die Spuren aus Chat-Interaktionen an:

  1. Navigieren zur MLflow-Benutzeroberfläche
  2. Suchen des Experiments, das Ihrer Überprüfungs-App-Sitzung zugeordnet ist
  3. Durchsuchen Sie die Protokolle, um den vollständigen Unterhaltungsverlauf anzuzeigen.
  4. Überprüfen Sie das Feedback, das jeder Antwort zugeordnet ist.

Nächste Schritte

  • Erfahren Sie, wie Sie vorhandene Traces für eine systematischere Feedbacksammlung kennzeichnen.
  • Erkundung der Feedbacksammlung von Endbenutzern für Produktionsanwendungen

Nächster Schritt:Evaluationsdatensatz-Referenz

  • Zuletzt aktualisiert um