Prueba, implementación e integración de agentes
Las pruebas, la implementación y la integración de agentes son pasos críticos para pasar del desarrollo a la producción. Microsoft Foundry proporciona funcionalidades completas para validar el comportamiento del agente, la implementación en entornos de producción y la conexión de agentes a las aplicaciones. Estos pasos finales transforman prototipos en automatización confiable que ofrece valor empresarial.
Estrategias de prueba para agentes
Las pruebas exhaustivas garantizan que los agentes se comporten de forma confiable en diversos escenarios antes de llegar a los usuarios. Las pruebas deben cubrir las interacciones esperadas, los casos perimetrales y las condiciones de error.
Pruebas con áreas de juegos integradas
Tanto el portal de Foundry como la extensión Visual Studio Code proporcionan áreas de juegos para pruebas interactivas. Estos entornos simulan interacciones reales del usuario al tiempo que proporcionan visibilidad sobre la toma de decisiones del agente.
Usar el área de juegos de forma eficaz:
Comience con pruebas de camino feliz: compruebe que el agente controla correctamente las solicitudes comunes y esperadas. Pruebe las preguntas y flujos de trabajo habituales del usuario para confirmar que la funcionalidad básica funciona según lo previsto.
Pasar a pruebas de casos perimetrales : pruebe entradas ambiguas, información incompleta y solicitudes inusuales. Los casos extremos revelan cómo los agentes manejan la incertidumbre y las situaciones inesperadas.
Realizar pruebas de límites : pruebe los límites de lo que el agente debe y no debe hacer. Confirme que el agente respeta los límites definidos en sus instrucciones.
Realizar pruebas de conversación multiturno: verifique que el agente respeta el contexto durante los diferentes hilos de conversación. Compruebe si el agente recuerda información previa y se basa en las respuestas anteriores de forma adecuada.
Ejecutar pruebas de invocación de herramientas : cuando los agentes usan herramientas, compruebe que llaman a las herramientas adecuadas en los momentos adecuados e incorporen resultados correctamente.
Escenarios de prueba para validar
Para un agente de servicio al cliente, pruebe estos escenarios:
Solicitudes esperadas:
- "Necesito programar una cita"
- "¿Cuáles son sus horas?"
- "¿Puedo volver a programar mi cita?"
Solicitudes fuera del ámbito:
- "¿Qué medicamento debo tomar?" (debe rechazar y sugerir consultoría a un proveedor)
- "¿Puede acceder a mis registros médicos?" (debe explicar los límites de privacidad)
Entradas ambiguas:
- "Necesito ayuda" (debe formular preguntas aclaradas)
- "cita" (debe reunir más contexto)
Condiciones de error:
- Fallos de herramientas o desconexiones
- Solicitudes que requieren información no disponible
- Errores del sistema durante el procesamiento
La grabación de resultados de pruebas le ayuda a realizar un seguimiento de las mejoras a lo largo del tiempo y garantiza que las regresiones no vuelvan a introducir problemas antiguos.
Trabajar con conversaciones
Comprender cómo la API de respuestas administra las conversaciones le ayuda a diseñar mejores experiencias del agente y a solucionar problemas de forma eficaz.
Ciclo de vida de la conversación
Creación de conversaciones: se inicia una nueva conversación cuando un usuario interactúa con el agente. Cada conversación mantiene su propio historial de mensajes, independiente de las interacciones de otros usuarios.
Intercambio de mensajes: a medida que los usuarios envían mensajes, la API de respuestas los procesa con la configuración del agente y genera respuestas basadas en el contexto de conversación.
Conservación del contexto : las conversaciones conservan el historial completo de mensajes, lo que permite a los agentes hacer referencia a intercambios anteriores y mantener la continuidad.
Finalización de la conversación : las conversaciones se pueden finalizar explícitamente o permitir que expiren en función de la inactividad. Las conversaciones completadas conservan su historial para su revisión.
Administración de conversaciones en producción
Al implementar agentes, considere las estrategias de administración de conversaciones:
Límites de sesión : decida cuándo deben iniciarse nuevas conversaciones. Los agentes de servicio al cliente pueden crear nuevas conversaciones para cada caso de soporte técnico, mientras que los asistentes de productividad podrían mantener conversaciones más largas.
Límites de contexto: las conversaciones pueden aumentar considerablemente en las interacciones prolongadas. Supervise la longitud de la conversación e implemente estrategias para resumir o archivar el contexto antiguo cuando sea necesario.
Privacidad y retención : defina directivas de retención para los datos de conversación. Determine cuánto tiempo deben conservarse los historiales de mensajes y cuándo se deben eliminar.
Puede ver y administrar conversaciones a través del portal de Foundry o mediante programación a través de la API de respuestas, lo que proporciona visibilidad sobre cómo interactúan los usuarios con los agentes implementados.
Enfoques de implementación
Microsoft Foundry admite varios enfoques de implementación para satisfacer diferentes necesidades operativas y flujos de trabajo de equipo.
Implementación desde el portal de Foundry
La implementación del portal proporciona una experiencia visual y guiada:
- Acceda al agente en el portal de Foundry
- Comprobar que la configuración y los resultados de las pruebas son satisfactorios
- Seleccione Desplegar en la página del agente.
- Confirmación de la configuración de implementación
- Espere a que se complete la implementación
Los agentes implementados aparecen en la lista de recursos del proyecto con indicadores de estado activos.
Implementación desde Visual Studio Code
La implementación de VS Code se integra con el flujo de trabajo de desarrollo:
- Abra el agente en diseñador de agentes
- Seleccione Actualizar en Microsoft Foundry para insertar los cambios de configuración.
- En el caso de los agentes hospedados, use la opción Implementar agentes hospedados en la sección Herramientas.
- Esperar confirmación de implementación
- Actualizar la vista Recursos para ver el agente actualizado
Este proceso simplificado le mantiene en el entorno de desarrollo, lo que elimina los modificadores de contexto durante la implementación.
Consideraciones sobre la implementación
Al implementar agentes, tenga en cuenta lo siguiente:
Disponibilidad del modelo: asegúrese de que la implementación del modelo seleccionada tiene capacidad suficiente para la carga esperada. Supervise el uso y la escala según sea necesario.
Dependencias de herramientas : compruebe que todas las herramientas que usa el agente están configuradas correctamente. La búsqueda de archivos requiere almacenes vectoriales con documentos cargados, las herramientas de API necesitan credenciales válidas.
Claridad de instrucciones : compruebe las instrucciones antes de la implementación. Los cambios después de la implementación requieren la reimplementación y pueden afectar a las experiencias del usuario.
Validación de pruebas : confirme que se han completado las pruebas completas. La implementación de cambios no probados conlleva problemas de producción.
Generación de código de integración
Una vez implementado, los agentes deben conectarse a las aplicaciones. La extensión Microsoft Foundry genera código de integración de ejemplo que acelera este proceso.
Proceso de generación de código
Para generar código de integración:
- Seleccione el agente implementado en la vista Recursos de Azure (VS Code)
- Seleccione Abrir archivo de código en las acciones disponibles.
- La extensión presenta opciones estructuradas:
- Elección del SDK preferido : seleccione el marco del SDK para la integración.
- Choose el lenguaje: seleccione el lenguaje de programación (Python, JavaScript, C#, etc.)
- Elija el método de autenticación : seleccione cómo se autentica la aplicación (identidad administrada, entidad de servicio, interactiva, etc.).
- La extensión genera código de ejemplo que muestra cómo:
- Autenticación con Microsoft Foundry
- Conéctese con su agente específico
- Envío de mensajes mediante la API de respuestas
- Respuestas del agente de proceso
Patrones de integración de producción
Las distintas aplicaciones requieren enfoques de integración diferentes. Entre los patrones comunes se incluyen:
Integración de aplicaciones web
Integre agentes en aplicaciones web para proporcionar características con tecnología de inteligencia artificial:
- Iniciar conversaciones cuando los usuarios interactúan con el agente
- Envío de mensajes de usuario al agente a través de la API de respuestas
- Mostrar respuestas del agente en la interfaz de usuario
- Mantener el contexto de conversación entre sesiones de usuario
Flujos de trabajo controlados por API
Use agentes en flujos de trabajo de back-end desencadenados por eventos o programaciones:
- Envío de datos estructurados como mensajes mediante la API de respuestas
- Procesar respuestas del agente mediante programación
- Uso de salidas del agente para impulsar los pasos siguientes en los flujos de trabajo
Implementaciones de bot de chat
Cree interfaces conversacionales impulsadas por agentes
- Relacionar sesiones de usuario con conversaciones con el agente
- Control del intercambio de mensajes en tiempo real a través de la API de respuestas
- Implementación de indicadores de escritura mientras los agentes procesan solicitudes
- Compatibilidad con medios enriquecidos en respuestas
Automatización en segundo plano
Implemente agentes para tareas automatizadas que se ejecutan sin interacción del usuario:
- Programar ejecuciones de agente para tareas normales
- Distribución de datos de sistemas a agentes mediante la API de respuestas
- Procesar salidas del agente para actualizar los sistemas empresariales
- Supervisión del rendimiento y los resultados del agente
Consideraciones de producción
Para que los agentes en producción se ejecuten correctamente, hay que prestar atención a algunos aspectos operativos:
Supervisión y observabilidad
Realizar un seguimiento de las métricas clave:
- Tiempos de respuesta y latencia
- Tasas de éxito de invocación de herramientas
- Tasas de errores y patrones de error
- Recuentos de mensajes y volumen de conversaciones
- Consumo de tokens de modelo
Estas métricas le ayudan a identificar problemas de rendimiento y optimizar el comportamiento del agente.
Seguridad y cumplimiento
Implementar procedimientos recomendados de seguridad:
- Uso de identidades administradas o principales de servicio para la autenticación
- Aplicación de controles de acceso con privilegios mínimos
- Cifrado de datos confidenciales en tránsito y en reposo
- Auditar las acciones y las conversaciones del agente
- Implementación de directivas de retención de datos compatibles con las normativas
Administración de costos
Supervisar y optimizar los costos:
- Seguimiento del uso de tokens entre agentes y conversaciones
- Establecimiento de límites de longitud de respuesta para controlar los costos
- Elija modelos apropiados que logren un equilibrio entre capacidad y costo
- Implementación de la limitación de velocidad para evitar picos de uso inesperados
- Administración de la retención del historial de conversaciones para reducir los costos de almacenamiento
Optimización del rendimiento
Optimización del rendimiento del agente:
- Almacenar en caché la información solicitada con frecuencia
- Optimizar las instrucciones para mayor claridad y concisión
- Eliminación de herramientas innecesarias que agregan latencia
- Supervisar la selección de modelos, ya que algunos modelos son más rápidos que otros
- Implementación de la gestión de tiempos de espera para operaciones de ejecución prolongada
Control de errores y resistencia
Las implementaciones sólidas del agente controlan los errores correctamente:
Errores de red : implemente la lógica de reintento con retroceso exponencial cuando se produce un error en las llamadas API debido a problemas de red transitorios.
Errores de herramientas: cuando se agota el tiempo de espera de las herramientas o generan un error, asegúrese de que los agentes den respuestas de respaldo útiles en lugar de que presenten errores sin notificarlos.
Limitación de velocidad: gestione las respuestas de limitación de velocidad de Azure mediante la implementación de estrategias de retroceso y mecanismos de puesta en cola.
Entradas no válidas : valide las entradas del usuario antes de enviar a agentes, filtrando contenido malintencionado o problemas de formato.
Actualización de agentes de producción
A medida que evolucionan los requisitos, deberá actualizar los agentes implementados:
- Realizar cambios en el entorno de desarrollo
- Prueba exhaustiva antes de implementar actualizaciones
- Implementación de actualizaciones durante períodos de tráfico bajo siempre que sea posible
- Supervisión de problemas después de la implementación
- Tener planes de reversión si las actualizaciones provocan problemas
El identificador del agente permanece constante en todas las actualizaciones, por lo que las integraciones existentes siguen trabajando con el comportamiento actualizado.
Las pruebas, la implementación y la integración de agentes transforman los esfuerzos de desarrollo en valor de producción. Siguiendo los enfoques de pruebas sistemáticas, aprovechando las herramientas de implementación integradas e implementando patrones de integración sólidos, puede ofrecer con confianza agentes de inteligencia artificial que mejoran las aplicaciones y automatizan los flujos de trabajo al tiempo que se mantiene la confiabilidad y la seguridad de nivel empresarial.