Delen via

Het feedbackmodel (verouderd)

Belangrijk

Afschaffingsmelding: Het feedbackmodel is vanaf 4 december 2025 afgeschaft en wordt niet meer ondersteund in de nieuwste versie van databricks-agents.

Actie vereist: gebruik MLflow 3 om in plaats daarvan uw model 3 te registreren . Gebruik vervolgens de log_feedback API en de MLflow 3 Assessments-API om feedback te verzamelen.

Met het feedbackmodel kunt u programmatisch feedback verzamelen over agentreacties. Wanneer u een agent implementeert met behulp van agents.deploy(), maakt Databricks automatisch een feedbackmodeleindpunt naast uw agent.

Dit eindpunt accepteert gestructureerde feedback (beoordelingen, opmerkingen, evaluaties) en registreert het in deductietabellen. Deze benadering is echter vervangen door de krachtigere feedbackmogelijkheden van MLflow 3.

Migreren naar MLflow 3

In plaats van het afgeschafte feedbackmodel te gebruiken, migreert u naar MLflow 3 voor uitgebreide feedback- en evaluatiemogelijkheden:

  • Eersteklas evaluatielogboekregistratie met robuuste validatie en foutafhandeling
  • Integratie van realtime tracering voor onmiddellijke zichtbaarheid van feedback
  • App-integratie beoordelen met verbeterde samenwerkingsfuncties van belanghebbenden
  • Ondersteuning voor productiebewaking met geautomatiseerde kwaliteitsevaluatie

Bestaande workloads migreren naar MLflow 3:

  1. Voer een upgrade uit naar MLflow 3.1.3 of hoger in uw ontwikkelomgeving:

    %pip install mlflow>=3.1.3
dbutils.library.restartPython()

  2. Schakel de beoordelings-app in voor feedbackverzameling van belanghebbenden.

  3. Vervang feedback-API-aanroepen door MLflow 3-evaluatielogboekregistratie.

  4. Implementeer uw agent met MLflow 3:

    • Bij realtime tracering worden automatisch alle interacties vastgelegd
    • Evaluaties worden rechtstreeks gekoppeld aan traceringen voor geïntegreerde zichtbaarheid

  5. Productiebewaking instellen (optioneel):

Hoe de feedback-API werkt (afgeschaft)

Het feedbackmodel heeft een REST-eindpunt weergegeven dat gestructureerde feedback over reacties van agents heeft geaccepteerd. U verzendt feedback via een POST-aanvraag naar het feedback-eindpunt nadat uw agent een aanvraag heeft verwerkt.

Voorbeeld van feedbackaanvraag:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

U kunt extra of andere sleutel-waardeparen doorgeven in de text_assessments.ratings en retrieval_assessments.ratings velden om verschillende typen feedback te geven. In het voorbeeld geeft de feedback-payload aan dat de reactie van de agent op de aanvraag met ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 correct, nauwkeurig en gebaseerd is op context die is opgehaald door een retriever-hulpprogramma.

Beperkingen voor feedback-API

De experimentele feedback-API heeft verschillende beperkingen:

  • Geen invoervalidatie; De API reageert altijd goed, zelfs met ongeldige invoer
  • Vereiste Databricks-aanvraag-id: U moet de databricks_request_id oorspronkelijke agentaanvraag doorgeven
  • Afhankelijkheid van deductietabel: Feedback wordt verzameld met behulp van deductietabellen met hun inherente beperkingen
  • Beperkte foutafhandeling: Geen zinvolle foutberichten voor probleemoplossing

Om het vereiste databricks_request_id op te halen, moet u {"databricks_options": {"return_trace": True}} opnemen in uw oorspronkelijke verzoek aan het eindpunt van de agent.

Volgende stappen

  • Last updated on