Compartir a través de

Modelo de retroalimentación (obsoleto)

Importante

Aviso de desuso: el modelo de comentarios ha quedado en desuso a partir del 4 de diciembre de 2025 y ya no se admite en la versión más reciente de databricks-agents.

Acción necesaria: use MLflow 3 para registrar el modelo 3 en su lugar. A continuación, use la API log_feedback y la API de evaluaciones MLflow 3 en su lugar para recopilar comentarios.

El modelo de comentarios permite recopilar comentarios mediante programación sobre las respuestas del agente. Al implementar un agente mediante agents.deploy(), Databricks crea automáticamente un endpoint del modelo de retroalimentación junto con su agente.

Este punto de conexión acepta comentarios estructurados (clasificaciones, comentarios, evaluaciones) y los registra en tablas de inferencia. Sin embargo, este enfoque se ha reemplazado por las funcionalidades de comentarios más sólidas de MLflow 3.

Migración a MLflow 3

En lugar de usar el modelo de comentarios en desuso, migre a MLflow 3 para obtener funcionalidades completas de comentarios y evaluación:

  • Registro de evaluación de primera clase con una validación sólida y un control de errores
  • Integración del seguimiento en tiempo real para la visibilidad inmediata de los comentarios
  • Revisión de la integración de aplicaciones con características mejoradas de colaboración entre partes interesadas
  • Soporte para la supervisión de producción con evaluación de calidad automatizada

Para migrar cargas de trabajo existentes a MLflow 3:

  1. Actualice a MLflow 3.1.3 o superior en el entorno de desarrollo:

    %pip install mlflow>=3.1.3
dbutils.library.restartPython()

  2. Habilite la aplicación de revisión para la recopilación de comentarios de las partes interesadas.

  3. Reemplace las llamadas API de comentarios por el registro de evaluación de MLflow 3.

  4. Implemente el agente con MLflow 3:

    • El seguimiento en tiempo real captura automáticamente todas las interacciones
    • Las evaluaciones se adjuntan directamente a los rastros para una visibilidad unificada

  5. Configurar la supervisión de producción (opcional):

Funcionamiento de la API de comentarios (en desuso)

El modelo de comentarios exponía un punto de conexión REST que aceptaba comentarios estructurados sobre las respuestas del agente. Enviaría comentarios a través de una solicitud POST al punto de conexión de comentarios después de que el agente procesara una solicitud.

Solicitud de comentarios de ejemplo:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Puede pasar pares clave-valor adicionales o diferentes en los campos text_assessments.ratings y retrieval_assessments.ratings para proporcionar diferentes tipos de comentarios. En el ejemplo, la carga de retroalimentación indica que la respuesta del agente a la solicitud con el identificador 573d4a61-4adb-41bd-96db-0ec8cebc3744 es correcta, precisa y en el contexto obtenido por una herramienta de extracción.

Limitaciones de la API de comentarios

La API de comentarios experimentales tiene varias limitaciones:

  • Sin validación de entrada; La API siempre responde correctamente, incluso con una entrada no válida.
  • Identificador de solicitud de Databricks requerido: Debe incluir el databricks_request_id en la solicitud del agente original.
  • Dependencia de la tabla de inferencia: Los comentarios se recopilan mediante tablas de inferencia con sus limitaciones inherentes
  • Control limitado de errores: No hay mensajes de error significativos para solucionar problemas

Para obtener el dato requerido databricks_request_id, debe incluir {"databricks_options": {"return_trace": True}} en la solicitud original al punto final de servicio del agente.

Pasos siguientes

  • Last updated on