Freigeben über

Feedback-Modell (abgekündigt)

Von Bedeutung

Veralteter Hinweis: Das Feedbackmodell ist seit dem 4. Dezember 2025 veraltet und wird in der neuesten Version von databricks-agents nicht mehr unterstützt.

Aktion erforderlich: Verwenden Sie stattdessen MLflow 3, um Ihr Modell 3 zu protokollieren . Verwenden Sie dann die log_feedback API und die MLflow 3-Bewertungs-API , um Feedback zu sammeln.

Mit dem Feedbackmodell können Sie programmgesteuert Feedback zu Agentantworten sammeln. Wenn Sie einen Agent mithilfe agents.deploy()bereitstellen, erstellt Databricks automatisch einen Feedbackmodellendpunkt zusammen mit Ihrem Agent.

Dieser Endpunkt akzeptiert strukturiertes Feedback (Bewertungen, Kommentare, Beurteilungen) und protokolliert es in Inferenztabellen. Dieser Ansatz wurde jedoch durch die robusteren Feedbackfunktionen von MLflow 3 ersetzt.

Migrieren zu MLflow 3

Anstatt das veraltete Feedbackmodell zu verwenden, migrieren Sie zu MLflow 3 für umfassende Feedback- und Bewertungsfunktionen:

  • Erstklassige Bewertungsprotokollierung mit robuster Validierung und Fehlerbehandlung
  • Integration der Echtzeitverfolgung für sofortige Feedbacksichtbarkeit
  • Überprüfen der App-Integration mit erweiterten Features für die Zusammenarbeit von Projektbeteiligten
  • Produktionsüberwachungsunterstützung mit automatisierter Qualitätsbewertung

So migrieren Sie vorhandene Workloads zu MLflow 3:

  1. Führen Sie ein Upgrade auf MLflow 3.1.3 oder höher in Ihrer Entwicklungsumgebung aus:

    %pip install mlflow>=3.1.3
dbutils.library.restartPython()

  2. Aktivieren Sie die Überprüfungs-App zur Sammlung von Feedback von Projektbeteiligten.

  3. Ersetzen Sie Feedback-API-Aufrufe durch die MLflow 3-Bewertungsprotokollierung.

  4. Stellen Sie Ihren Agent mit MLflow 3 bereit:

    • Die Echtzeitablaufverfolgung erfasst automatisch alle Interaktionen.
    • Bewertungen werden direkt an Traces angefügt für eine einheitliche Sichtbarkeit.

  5. Einrichten der Produktionsüberwachung (optional):

    • Automatisierte Qualitätsbewertung im Produktionsverkehr konfigurieren

Funktionsweise der Feedback-API (veraltet)

Das Feedbackmodell hat einen REST-Endpunkt verfügbar gemacht, der strukturiertes Feedback zu Agentantworten akzeptiert hat. Sie würden Feedback über eine POST-Anforderung an den Feedbackendpunkt senden, nachdem Ihr Agent eine Anforderung verarbeitet hat.

Beispiel für Feedbackanforderung:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Sie können zusätzliche oder unterschiedliche Schlüsselwertpaare in den text_assessments.ratingsretrieval_assessments.ratings Feldern übergeben, um verschiedene Arten von Feedback bereitzustellen. Im Beispiel zeigt die Feedback-Payload, dass die Antwort des Agents auf die Anforderung mit der ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 korrekt, präzise und kontextbezogen ist, basierend auf Daten, die von einem Retriever-Tool abgerufen wurden.

Einschränkungen der Feedback-API

Die experimentelle Feedback-API hat mehrere Einschränkungen:

  • Keine Eingabeüberprüfung; Die API reagiert immer erfolgreich, auch bei ungültiger Eingabe
  • Erforderliche Databricks-Anforderungs-ID: Sie müssen die ursprüngliche Agent-Anforderung databricks_request_id übergeben.
  • Ableitungstabellenabhängigkeit: Feedback wird mithilfe von Rückschlusstabellen mit ihren inhärenten Einschränkungen gesammelt.
  • Eingeschränkte Fehlerbehandlung: Keine aussagekräftigen Fehlermeldungen zur Problembehandlung

Um die erforderliche databricks_request_id zu erhalten, müssen Sie {"databricks_options": {"return_trace": True}} in Ihrer ursprünglichen Anforderung an den Agent-Serverendpunkt einschließen.

Nächste Schritte

  • Last updated on