Compartir vía

Implementación de un agente para aplicaciones de IA generativas

Implemente el agente de IA en Mosaic AI Model Serving mediante la deploy() función de la API de Python de Agent Framework. La implementación crea un punto de conexión de servicio con herramientas integradas de escalabilidad, supervisión y colaboración.

El agente implementado se integra automáticamente con las funcionalidades de evaluación y supervisión de MLflow 3 , incluido el seguimiento en tiempo real, la aplicación de revisión para recibir comentarios de las partes interesadas y la supervisión.

Requirements

MLflow 3

  • Registre su agente en Unity Catalog.
  • Instale MLflow 3.1.3 o posterior para implementar agentes mediante la deploy() API desde databricks.agents.
  • La implementación de agentes desde fuera de un cuaderno de Databricks requiere databricks-agents la versión 1.1.0 o posterior del SDK.

Instale los requisitos previos:

# Install prerequisites
%pip install mlflow>=3.1.3 databricks-agents>=1.1.0

# Restart Python to make sure the new packages are picked up
dbutils.library.restartPython()

MLflow 2.x

Important

Databricks recomienda usar MLflow 3 para implementar agentes, ya que algunas funcionalidades de registro de MLflow 2 quedarán en desuso. Consulte las acciones de implementación detalladas.

  • Registre su agente en Unity Catalog.
  • Instale MLflow 2.13.1 o posterior para implementar agentes mediante la deploy() API desde databricks.agents.
  • La implementación de agentes desde fuera de un cuaderno de Databricks requiere databricks-agents SDK versión 0.12.0 o posterior.

Instale los requisitos previos:

# Install prerequisites
%pip install mlflow>=2.13.1 databricks-agents>=0.12.0

# Restart Python to make sure the new packages are picked up
dbutils.library.restartPython()

Desplegar agentes usando deploy()

Implemente el agente en un punto de conexión de servicio de modelo:

from databricks import agents

deployment = agents.deploy(uc_model_name, uc_model_info.version)

# Retrieve the query endpoint URL for making API requests
deployment.query_endpoint

Al llamar a deploy(), Databricks configura automáticamente la infraestructura de producción e integra el agente con las características de inteligencia artificial de la generación de MLflow haciendo lo siguiente:

Advertencia

Si va a implementar un agente desde un cuaderno almacenado en una carpeta de Git de Databricks, el seguimiento en tiempo real de MLflow 3 no funcionará de forma predeterminada.

Para habilitar el seguimiento en tiempo real, establezca el experimento en un experimento no asociado a Git mediante mlflow.set_experiment() antes de ejecutar agents.deploy().

La deploy() función realiza las siguientes acciones de forma predeterminada:

  • Crea un punto de servicio de modelo para hospedar tu agente con escalado automático y equilibrio de carga.
  • Aprovisiona la autenticación segura para que el agente acceda a los recursos subyacentes
  • Habilita la supervisión en tiempo real mediante el seguimiento de experimentos de MLflow y la evaluación automatizada de la calidad en el tráfico de producción
  • Configuración de la colaboración entre partes interesadas mediante la aplicación de revisión para la recopilación de comentarios

Para obtener más información, consulte Acciones de implementación detalladas.

Personalización de la implementación

Pase argumentos adicionales a deploy() para personalizar la implementación. Por ejemplo, puede habilitar la escala en cero para los puntos de conexión inactivos pasando scale_to_zero_enabled=True. Esto reduce los costos, pero aumenta el tiempo para atender las consultas iniciales.

Para más parámetros, consulte API de Python de agentes de Databricks.

Recuperación y eliminación de implementaciones de agentes

Recupere o gestione los despliegues existentes del agente. Consulte la Python API de Databricks Agents.

from databricks.agents import list_deployments, get_deployments, delete_deployment

# Print all current deployments
deployments = list_deployments()
print(deployments)

# Get the deployment for a specific agent model name and version
agent_model_name = ""    # Set to your Unity Catalog model name
agent_model_version = 1  # Set to your agent model version
deployment = get_deployments(model_name=agent_model_name, model_version=agent_model_version)

# List all deployments
all_deployments = list_deployments()

# Delete an agent deployment
delete_deployment(model_name=agent_model_name, model_version=agent_model_version)

Autenticación para recursos dependientes

A menudo, los agentes necesitan autenticarse en otros recursos para completar tareas cuando son desplegados. Por ejemplo, un agente puede necesitar acceder a un índice de búsqueda vectorial para consultar datos no estructurados.

Para obtener información sobre los métodos de autenticación, incluidos cuándo usarlos y cómo configurarlos, consulte Autenticación para agentes de IA.

Acciones de implementación detalladas

En la tabla siguiente se enumeran las acciones de implementación detalladas resultantes de una deploy() llamada. La implementación puede tardar hasta 15 minutos en completarse.

MLflow 3

Acción deploy() Description
Crear un endpoint de servicio de modelos Crea un endpoint de API REST escalable que proporciona el agente a las aplicaciones orientadas al usuario con balanceo de carga automático.
Proporcione autenticación segura Proporciona automáticamente credenciales de corta duración que permiten al agente acceder a los recursos administrados por Databricks (índices de búsqueda vectorial, funciones del catálogo de Unity, etc.) con permisos mínimos necesarios.
Databricks comprueba que el propietario del punto de conexión tiene los permisos adecuados antes de emitir credenciales, lo que impide el acceso no autorizado.
Para los recursos que no son de Databricks, pase variables de entorno con secretos a deploy(). Consulte Configuración del acceso a los recursos desde los puntos de conexión de servicio del modelo.
Habilitación de la aplicación de revisión Proporciona una interfaz web en la que las partes interesadas pueden interactuar con el agente y proporcionar comentarios. Consulte Recopilación de comentarios y expectativas mediante la etiquetado de seguimientos existentes.
Habilitación del seguimiento en tiempo real Registra todas las interacciones del agente en un experimento de MLflow en tiempo real, lo que proporciona visibilidad inmediata para la supervisión y la depuración.
  • Trazas desde su punto de conexión se escriben en el experimento de MLflow actualmente activo (establecido con mlflow.set_experiment())
  • Todos los agentes del punto de conexión comparten el mismo experimento para el almacenamiento de seguimiento
  • Las trazas también se escriben en las tablas de inferencia para el almacenamiento a largo plazo
Habilitación de la supervisión de producción (beta) Configura la evaluación de calidad automatizada que ejecuta los puntuadores en el tráfico de producción. Consulte Supervisión de producción.
Habilitación de tablas de inferencia Crea tablas que registran las entradas y respuestas de solicitud para la auditoría y el análisis.
Registrar solicitudes de API REST y revisar comentarios de la aplicación Registra las solicitudes de API y los comentarios en una tabla de inferencia.
Advertencia: El modelo de comentarios está en desuso y se quitará en una versión futura. Actualice a MLflow 3 y use la log_feedback API en su lugar. Consulte Recopilación de comentarios de los usuarios.
  • Cree un modelo de comentarios para aceptar y registrar comentarios de la aplicación de revisión.
  • Este modelo se sirve en el mismo modelo de CPU que sirve el punto de conexión que el agente implementado.

MLflow 2

Acción deploy() Description
Crear un endpoint de servicio de modelos Crea un endpoint de API REST escalable que proporciona el agente a las aplicaciones orientadas al usuario con balanceo de carga automático.
Proporcione autenticación segura Proporciona automáticamente credenciales de corta duración que permiten al agente acceder a los recursos administrados por Databricks (índices de búsqueda vectorial, funciones del catálogo de Unity, etc.) con permisos mínimos necesarios.
Databricks comprueba que el propietario del punto de conexión tiene los permisos adecuados antes de emitir credenciales, lo que impide el acceso no autorizado.
Para los recursos que no son de Databricks, pase variables de entorno con secretos a deploy(). Consulte Configuración del acceso a los recursos desde los puntos de conexión de servicio del modelo.
Habilitación de la aplicación de revisión Proporciona una interfaz web en la que las partes interesadas pueden interactuar con el agente y proporcionar comentarios. Consulte Recopilación de comentarios y expectativas mediante la etiquetado de seguimientos existentes.
Habilitación de tablas de inferencia Crea tablas que registran las entradas y respuestas de solicitud para la auditoría y el análisis.
Advertencia: Los registros de solicitud y los registros de evaluación están en desuso y se quitarán en una versión futura. Consulte los registros de peticiones y la desaprobación de los registros de evaluación para obtener instrucciones de migración.
Registrar solicitudes de API REST y revisar comentarios de la aplicación (en desuso) Registra las solicitudes de API y los comentarios en una tabla de inferencia.
Advertencia: El modelo de comentarios está en desuso y se quitará en una versión futura. Actualice a MLflow 3 y use la log_feedback API en su lugar. Consulte Recopilación de comentarios de los usuarios.
  • Cree un modelo de comentarios para aceptar y registrar comentarios de la aplicación de revisión.
  • Este modelo se sirve en el mismo modelo de CPU que sirve el punto de conexión que el agente implementado.

Pasos siguientes

  • Last updated on