Partilhar via

Modelo de feedback (preterido)

Importante

Aviso de descontinuação: O modelo de feedback foi descontinuado a partir de 4 de dezembro de 2025 e já não é suportado na versão mais recente do databricks-agents.

Ação necessária: Use o MLflow 3 para registar o seu modelo 3 em vez disso. Depois, use a log_feedback API e a API MLflow 3 Assessments para recolher feedback.

O modelo de feedback permite que você colete feedback programaticamente sobre as respostas do agente. Quando se implanta um agente usando agents.deploy(), Databricks cria automaticamente um endpoint de modelo de feedback junto ao agente.

Este ponto de extremidade aceita feedback estruturado (classificações, comentários, avaliações) e registra-o em tabelas de inferência. No entanto, essa abordagem foi substituída pelos recursos de feedback mais robustos do MLflow 3.

Migrar para o MLflow 3

Em vez de usar o modelo de feedback preterido, migre para o MLflow 3 para obter feedback abrangente e recursos de avaliação:

  • Registro de avaliação de primeira classe com validação robusta e tratamento de erros
  • Integração de rastreamento em tempo real para visibilidade imediata do feedback
  • Revise a integração do aplicativo com recursos aprimorados de colaboração entre partes interessadas
  • Suporte ao monitoramento da produção com avaliação automatizada da qualidade

Para migrar cargas de trabalho existentes para MLflow 3:

  1. Atualize para MLflow 3.1.3 ou superior em seu ambiente de desenvolvimento:

    %pip install mlflow>=3.1.3
dbutils.library.restartPython()

  2. Ative a App de Revisão para recolha de feedback das partes interessadas.

  3. Substituir chamadas de API de feedback por registos de avaliação MLflow 3.

  4. Implante seu agente com o MLflow 3:

    • O rastreamento em tempo real captura automaticamente todas as interações
    • As avaliações são anexadas diretamente aos rastreamentos para uma visibilidade unificada

  5. Configurar o monitoramento de produção (opcional):

Como funciona a API de feedback (obsoleto)

O modelo de feedback expôs um endpoint REST que aceitava feedback estruturado sobre as respostas do agente. Você enviaria feedback por meio de uma solicitação POST para o endpoint de feedback depois que o seu agente processasse um pedido.

Exemplo de pedido de feedback:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Você pode passar pares chave-valor adicionais ou diferentes nos campos text_assessments.ratings e retrieval_assessments.ratings para fornecer outros tipos de feedback. No exemplo, a carga útil de feedback indica que a resposta do agente à solicitação com ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 está correta, precisa e fundamentada no contexto buscado por uma ferramenta retriever.

Limitações da API de feedback

A API de feedback experimental tem várias limitações:

  • Sem validação de entrada; A API sempre responde com êxito, mesmo com entrada inválida
  • ID de pedido do Databricks necessário: É necessário passar o databricks_request_id do pedido original do agente
  • Dependência da tabela de inferência: O feedback é coletado usando tabelas de inferência com suas limitações inerentes
  • Tratamento de erros limitado: Nenhuma mensagem de erro significativa para solução de problemas

Para obter o databricks_request_id necessário, deves incluir {"databricks_options": {"return_trace": True}} na tua solicitação original para o agente que serve o endpoint.

Passos seguintes

  • Last updated on