Compartilhar via

Modelo de feedback (obsoleto)

Importante

Aviso de descontinuação: o modelo de feedback foi descontinuado a partir de 4 de dezembro de 2025 e não tem mais suporte na versão mais recente do databricks-agents.

Ação necessária: use o MLflow 3 para registrar seu modelo 3 em vez disso. Em seguida, use a log_feedback API e a API de Avaliações do MLflow 3 para coletar comentários.

O modelo de comentários permite que você colete comentários programaticamente sobre as respostas do agente. Quando você implanta um agente usando agents.deploy(), o Databricks cria automaticamente um ponto de extremidade de modelo de feedback ao lado do agente.

Esse ponto de extremidade aceita comentários estruturados (classificações, comentários, avaliações) e registra-o em tabelas de inferência. No entanto, essa abordagem foi substituída pelos recursos de comentários mais robustos do MLflow 3.

Migrar para o MLflow 3

Em vez de usar o modelo de comentários preterido, migre para o MLflow 3 para obter recursos abrangentes de comentários e avaliação:

  • Log de avaliação de nível superior com validação robusta e tratamento de erros
  • Integração de rastreamento em tempo real para visibilidade imediata de feedback
  • Integração do aplicativo Review com recursos aprimorados de colaboração de partes interessadas
  • Suporte ao monitoramento de produção com avaliação automatizada de qualidade

Para migrar cargas de trabalho existentes para o MLflow 3:

  1. Atualize para o MLflow 3.1.3 ou superior em seu ambiente de desenvolvimento:

    %pip install mlflow>=3.1.3
dbutils.library.restartPython()

  2. Habilite o Aplicativo de Revisão para a coleção de comentários dos stakeholders.

  3. Substitua as chamadas à API de feedback pelo registro de logs de avaliação do MLflow 3.

  4. Implante seu agente com o MLflow 3:

    • O rastreamento em tempo real captura automaticamente todas as interações
    • Avaliações são diretamente anexadas aos traços para uma visibilidade unificada.

  5. Configurar o monitoramento de produção (opcional):

Como funciona a API de comentários (preterida)

O modelo de feedback expôs um endpoint REST que aceitava feedback estruturado sobre as respostas do agente. Você enviaria feedback por meio de uma solicitação POST para o endpoint de feedback depois que o seu programa processasse uma requisição.

Exemplo de solicitação de comentários:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Você pode passar pares de chave-valor adicionais ou diferentes nos campos text_assessments.ratings e retrieval_assessments.ratings para fornecer diferentes tipos de feedback. No exemplo, a carga útil de feedback indica que a resposta do agente à solicitação com ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 está correta, precisa e embasada no contexto buscado por uma ferramenta de recuperação.

Limitações da API de comentários

A API de comentários experimentais tem várias limitações:

  • Nenhuma validação de entrada; A API sempre responde com êxito, mesmo com entrada inválida
  • ID de solicitação do Databricks necessária: Você precisa passar o databricks_request_id do pedido original do agente
  • Dependência da tabela de inferência: Os comentários são coletados usando tabelas de inferência com suas limitações inerentes
  • Tratamento limitado de erros: Nenhuma mensagem de erro significativa para solução de problemas

Para obter o necessário databricks_request_id, você deve incluir {"databricks_options": {"return_trace": True}} em sua solicitação original para o agente que atende o ponto de extremidade.

Próximas etapas

  • Last updated on