Modelo de retroalimentación (obsoleto)

Importante

Para los nuevos casos de uso, Databricks recomienda implementar agentes en Databricks Apps para un control total sobre el código del agente, la configuración del servidor y el flujo de trabajo de implementación. Consulte Creación de un agente de IA e implementación en Aplicaciones de Databricks. Para migrar un agente existente, consulte Migración de un agente de Model Serving a Databricks Apps.

Importante

Aviso de desuso: el modelo de comentarios ha quedado en desuso a partir del 4 de diciembre de 2025 y ya no se admite en la versión más reciente de databricks-agents.

Acción necesaria: use MLflow 3 para registrar el modelo 3 en su lugar. A continuación, use la API log_feedback y la API de evaluaciones MLflow 3 en su lugar para recopilar comentarios.

El modelo de comentarios permite recopilar comentarios mediante programación sobre las respuestas del agente. Al implementar un agente mediante agents.deploy(), Databricks crea automáticamente un endpoint del modelo de retroalimentación junto con su agente.

Este punto de conexión acepta comentarios estructurados (clasificaciones, comentarios, evaluaciones) y los registra en tablas de inferencia. Sin embargo, este enfoque se ha reemplazado por las funcionalidades de comentarios más sólidas de MLflow 3.

Migración a MLflow 3

En lugar de usar el modelo de comentarios en desuso, migre a MLflow 3 para obtener funcionalidades completas de comentarios y evaluación:

  • Registro de evaluación de primera clase con una validación sólida y un control de errores
  • Integración del seguimiento en tiempo real para la visibilidad inmediata de los comentarios
  • Revisión de la integración de aplicaciones con características mejoradas de colaboración entre partes interesadas
  • Soporte para la supervisión de producción con evaluación de calidad automatizada

Para migrar cargas de trabajo existentes a MLflow 3:

  1. Actualice a MLflow 3.1.3 o superior en el entorno de desarrollo:

    %pip install mlflow>=3.1.3
dbutils.library.restartPython()

  2. Habilite la aplicación de revisión para la recopilación de comentarios de las partes interesadas.

  3. Reemplace las llamadas API de comentarios por el registro de evaluación de MLflow 3.

  4. Implemente el agente con MLflow 3:

    • El seguimiento en tiempo real captura automáticamente todas las interacciones
    • Las evaluaciones se adjuntan directamente a los rastros para una visibilidad unificada

  5. Configurar la supervisión de producción (opcional):

Funcionamiento de la API de comentarios (en desuso)

El modelo de comentarios exponía un punto de conexión REST que aceptaba comentarios estructurados sobre las respuestas del agente. Debería enviar los comentarios mediante una solicitud POST al punto final de comentarios una vez que su agente haya procesado una solicitud.

Solicitud de comentarios de ejemplo:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Puede pasar pares clave-valor adicionales o diferentes en los campos text_assessments.ratings y retrieval_assessments.ratings para proporcionar diferentes tipos de comentarios. En el ejemplo, la carga útil de la respuesta indica que la respuesta del agente a la solicitud con el ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 es correcta, precisa y se basa en el contexto obtenido mediante una herramienta de recuperación.

Limitaciones de la API de comentarios

La API de comentarios experimentales tiene varias limitaciones:

  • Sin validación de entrada; La API siempre responde correctamente, incluso con una entrada no válida.
  • ID de solicitud de Databricks obligatorio: Debe introducir el databricks_request_id de la solicitud original del agente
  • Dependencia de la tabla de inferencia: Los comentarios se recopilan mediante tablas de inferencia con sus limitaciones inherentes
  • Control limitado de errores: No hay mensajes de error significativos para solucionar problemas

Para obtener el requerido databricks_request_id, debe incluir {"databricks_options": {"return_trace": True}} en su solicitud original al punto final del agente de servicio.

Recursos adicionales

  • Last updated on