¿Qué es el optimizador de agentes? (versión preliminar)

Importante

El optimizador de agentes está actualmente en versión preliminar. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no se admitan o que tengan funcionalidades restringidas. Para más información, consulte Términos de uso complementarios para las versiones preliminares de Microsoft Azure.

El optimizador de agentes de Foundry Agent Service mejora automáticamente los agentes basados en solicitudes y los agentes hospedados evaluando su comportamiento y generando mejores configuraciones. En función del tipo de agente, estas configuraciones pueden incluir instrucciones mejoradas, aptitudes, descripciones de herramientas y selección de modelos.

La creación de agentes de inteligencia artificial eficaces requiere una amplia ingeniería rápida. Implemente un agente con instrucciones hechas a mano, pruébelo en escenarios reales, identifique puntos débiles, revise el mensaje y repita. Este bucle es lento, subjetivo y no es escalable. El optimizador de agentes automatiza este ciclo para que pueda centrarse en la lógica principal del agente.

Tipos de agente admitidos

El optimizador usa el mismo bucle de mejora controlada por evaluación para ambos tipos de agente, pero la configuración, los destinos de optimización y la experiencia de implementación difieren.

Tipo de agente Lo que el optimizador puede mejorar Cómo iniciar una ejecución
Agente de aviso Instrucciones, descripciones de herramientas de llamada a funciones y selección de modelos Use el asistente de optimización en el portal de Foundry. No se requiere ningún cambio de código.
Agente hospedado Instrucciones, aptitudes, descripciones de herramientas de llamada a funciones y selección de modelos Use Foundry Toolkit, que genera automáticamente la estructura de compatibilidad para la optimización, o prepare el agente para la optimización y use Azure Developer CLI.

Agentes rápidos

Para un agente de prompts, el optimizador evalúa la versión seleccionada del agente y genera instrucciones alternativas. También puede mejorar las descripciones de las herramientas de llamada a funciones y comparar el mensaje en varias implementaciones de modelos candidatos.

Las herramientas de llamada a funciones de prompt-agent se ejecutan en el lado cliente. El optimizador puede mejorar las descripciones de herramientas y parámetros que guían las llamadas a funciones del modelo, pero no puede evaluar la ejecución de la herramienta durante la optimización de la descripción de la herramienta.

Inicie el asistente de optimización desde la pestaña Optimizar del agente en el portal de Foundry. El asistente le guía a través de la selección de la versión del agente, el conjunto de datos, los criterios de evaluación y los modelos de optimización antes de enviar la ejecución. Puede generar un conjunto de datos a partir de trazas del agente, seleccionar un conjunto de datos existente de Foundry o cargar un conjunto de datos mediante el asistente.

Cuando finalice la ejecución, compare los cambios en la puntuación, revise la instrucción de antes y después e inspeccione los resultados de cada evaluador. A continuación, puede promocionar un candidato seleccionado a una nueva versión del agente de prompt a partir de la ejecución de optimización.

Para la experiencia integral del portal, consulte Inicio rápido: Optimizar un agente de prompt.

Agentes hospedados

En el caso de un agente hospedado, el optimizador mejora la configuración que el código carga en tiempo de ejecución. El agente necesita el paquete de optimización y una configuración de línea base que expone las instrucciones y, opcionalmente, las aptitudes y las definiciones de herramientas de llamada a funciones. Foundry Toolkit puede generar automáticamente la estructura base de esta integración. Para el flujo de trabajo de la CLI de Azure developer, agregue la integración antes de ejecutar el optimizador. Después, el optimizador puede generar y evaluar configuraciones candidatas sin cambiar la lógica principal del agente.

La optimización del agente alojado admite conjuntos de datos JSONL locales y conjuntos de datos registrados en tu proyecto de Foundry, incluidos los conjuntos de datos de evaluación generados a partir de trazas. Después de una ejecución, aplique el candidato seleccionado a la configuración local, revise los cambios y vuelva a implementar el agente.

Para obtener la experiencia de agente hospedado de un extremo a otro, consulte Inicio rápido: Optimización de un agente hospedado.

Flujo de trabajo de optimización

Ambos tipos de agente siguen la misma ruta de acceso de alto nivel:

  1. Seleccione la línea base del agente. Elija la versión de prompt-agent o la configuración del agente hospedado con la que se comparan los candidatos.
  2. Seleccione un conjunto de datos de evaluación. Use tareas representativas de un conjunto de datos existente o cargado. También puede usar un conjunto de datos registrado generado a partir de seguimientos del agente.
  3. Seleccione criterios de evaluación. Elija evaluadores integrados o personalizados que mida los comportamientos que desea mejorar.
  4. Ejecute el optimizador. Elija los modelos y destinos de optimización disponibles y, a continuación, genere y evalúe candidatos. Para los agentes de solicitudes, revisa la estimación de costes en el portal antes de enviar la ejecución.
  5. Consulte los resultados. Compare las puntuaciones de candidatos con la línea base y, a continuación, elija el mejor candidato. Cuando esté disponible, revise el uso medido de tokens después de la ejecución. Consulte Descripción de los resultados de la optimización.
  6. Aplique el candidato seleccionado. Promueva un candidato de agente de solicitud a una nueva versión del agente o aplique la configuración del agente hospedado y vuelva a implementarlo.

Los agentes alojados requieren la integración de código listo para el optimizador. Foundry Toolkit genera automáticamente la estructura base de esta integración cuando inicias una optimización. Para el flujo de trabajo de la CLI para desarrolladores de Azure, agregue el paquete de optimización y una configuración de línea de base antes de empezar. Consulte Prepare su agente para el optimizador. Los agentes de prompt no necesitan esta integración con código.

Funcionamiento del optimizador de agentes

El optimizador de agentes ejecuta un ciclo de evaluación y mejora de bucle cerrado:

  1. Evalúe la línea base. El optimizador ejecuta su agente con un conjunto de datos de tareas y evalúa cada respuesta según los criterios que defina o un conjunto predeterminado incorporado. La línea base es la puntuación del agente antes de cualquier cambio.
  2. Generar candidatos. El optimizador genera configuraciones alternativas denominadas candidatos, como instrucciones reescritas, aptitudes detectadas, descripciones de herramientas mejoradas o selecciones de modelos diferentes. Los tipos candidatos disponibles dependen del tipo de agente.
  3. Evaluar candidatos. El optimizador prueba cada candidato con el mismo conjunto de datos.
  4. Clasificación y recomendación. El optimizador clasifica los resultados por puntuación compuesta, un valor entre 0,0 y 1,0 que representa el rendimiento agregado y marca el mejor candidato con ★ . A continuación, aplique y despliegue la opción ganadora.

Todo el proceso se ejecuta en la nube. El tiempo de ejecución depende del tamaño del conjunto de datos, del número de candidatos y de los modelos seleccionados.

En el caso de los agentes hospedados, después de preparar el optimizador del agente, no se necesitan más cambios en el código entre ejecuciones. load_config() devuelve la línea base normalmente y proporciona la configuración optimizada durante una ejecución sin marcas de características ni lógica condicional.

Advertencia

Durante la optimización, el optimizador evalúa tu agente invocándolo para cada tarea de tu conjunto de datos. Si el agente llama a herramientas externas(como API, bases de datos o servicios de terceros), esas llamadas se ejecutan durante cada ejecución de evaluación. Para evitar efectos secundarios no deseados (cargos, mutaciones de estado o limitación de velocidad), considere la posibilidad de usar puntos de conexión de prueba o implementaciones de herramientas simuladas durante la optimización.

Destinos de optimización

Un destino de optimización es un aspecto específico de la configuración del agente que el optimizador puede mejorar. Los destinos disponibles dependen del tipo de agente. En el caso de los agentes alojados, el optimizador activa automáticamente los objetivos aplicables a partir de la configuración de línea base y de la configuración de eval.yaml.

Objetivo Lo que mejora el optimizador Agente de indicaciones Agente alojado en servidor
Optimización de instrucciones Reescribe y perfecciona el prompt del sistema para obtener una puntuación más alta. Usa la versión de prompt-agent seleccionada como línea base. Se activa cuando la línea base tiene un instructions.md archivo.
Mejora de aptitudes Perfecciona el cuerpo de cada habilidad reutilizable sin alterar su propósito. No está soportado. Se activa cuando la línea base tiene un skills/ directorio con SKILL.md archivos.
Optimización de herramientas Mejora las descripciones de parámetros y herramientas de llamada a funciones para que el modelo llame a las herramientas con mayor precisión. No cambia los tipos, los valores predeterminados ni los campos obligatorios. Disponible en las herramientas de llamada de funciones. Dado que el cliente ejecuta estas herramientas, la ejecución de herramientas no se evalúa durante la optimización. Se activa cuando la línea base tiene un tools.json archivo. Solo se admiten las herramientas de llamada a funciones.
Selección de modelos Evalúa el agente en varias implementaciones de modelos para encontrar el mejor equilibrio de calidad a costo. Seleccione modelos candidatos en el Asistente de optimización. Agregue implementaciones candidatas a model_search_space en eval.yaml.

Para ver las entradas de referencia para agentes hospedados, consulte Prepare su agente para el optimizador. Para ejecutar y configurar destinos de agente hospedado, consulte Optimización de instrucciones, aptitudes, herramientas y modelos del agente.

Models

El optimizador de agentes usa dos modelos durante una ejecución de optimización. Ambos deben desplegarse en su proyecto de Foundry.

Model Clave de configuración del agente hospedado Marca de la CLI del agente hospedado Función Modelos compatibles
Modelo de Eval eval_model --eval-model Puntúa las respuestas del agente con los criterios del conjunto de datos Cualquier modelo de finalización de chat (por ejemplo, gpt-4.1-mini)
Modelo de optimización optimization_model --optimize-model Genera configuraciones candidatas (instrucciones, aptitudes, herramientas, selección de modelos) gpt-5, gpt-5.1, gpt-5.2, gpt-5.4, gpt-5.5, , DeepSeek-V4-ProDeepSeek-V-3.2

El modelo de evaluación se ejecuta una vez para cada evaluador, tarea y evaluación candidata. Lee la respuesta del agente y cada criterio y, a continuación, devuelve una puntuación binaria. El modelo de optimización analiza los resultados de línea base y genera candidatos mejorados en los destinos configurados, incluidas las instrucciones, las aptitudes, las herramientas y los modelos. Debido a que razona sobre el conjunto completo de datos, un modelo de optimización más potente suele generar mejores candidatos.

Para los agentes de solicitudes, seleccione el modelo de evaluación y los modelos candidatos en el asistente de optimización. Para los agentes hospedados, especifique los modelos en eval.yaml o con opciones de la CLI. La optimization_model configuración es necesaria para las ejecuciones del agente hospedado. Para conocer los pasos de configuración, consulte Elección de los modelos de evaluación y optimización.

Descripción de los resultados de la optimización

En esta sección se explica la tabla de resultados, cómo se calcula la puntuación compuesta y cómo interpretar las mejoras.

Tip

Vea los resultados de optimización en el portal de Foundry. Vaya al proyecto, seleccione Agentes, elija el agente y, a continuación, seleccione la pestaña Optimizar para ver las comparaciones de puntuación, los cambios de solicitud o configuración y los detalles del evaluador.

Para los agentes de solicitudes, una ejecución completada muestra las puntuaciones de referencia y candidata, una comparación del prompt antes y después, del modelo y de la descripción de las herramientas, así como las puntuaciones de cada evaluador.

En el caso de los agentes hospedados, la CLI también muestra una tabla de resultados:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Columnas de la tabla de resultados

Column Description
Candidato Nombre de la configuración. baseline es el agente actual antes de la optimización.
Puntuación Puntuación compuesta en todas las tareas y criterios, que van de 0,0 a 1,0.
Eval Vínculo al trabajo de evaluación en el portal de Foundry.
Estrategia Objetivos de mutación incluidos en el candidato, como skill_policy-reviewer, tools.

★ marca el candidato con la puntuación compuesta más alta. Este es el candidato recomendado para desplegar.

Cómo se calculan las puntuaciones

Cada evaluador en tu conjunto de datos genera una puntuación bruta para la respuesta del agente. El optimizador procesa estas puntuaciones para generar la puntuación compuesta que se muestra en los resultados:

  • Reescalar: la puntuación bruta de cada evaluador se reescala entre 0 y 1.
  • Invertir si es necesario: si un evaluador está configurado de modo que cuanto más bajo, mejor, la puntuación se invierte para que todos los evaluadores utilicen la semántica de "cuanto más alto, mejor".
  • Promedio: las puntuaciones reescaladas en todos los evaluadores y tareas se calculan para generar la puntuación compuesta.

Puntuación compuesta: El promedio de todas las puntuaciones reescaladas del evaluador de todas las tareas.

Interpretación de las mejoras de puntuación

Mejora Interpretación
Menor que 0,03 Ruido. No es una mejora significativa.
De 0,03 a 0,10 Mejora moderada. Vale la pena implementar.
De 0,10 a 0,20 Mejora significativa.
Mayor que 0,20 Mejora importante. Probablemente de una línea base deficiente.

Ventajas e inconvenientes del token

Las instrucciones optimizadas suelen ser más largas y detalladas, lo que puede aumentar el uso de tokens de respuesta. Tenga en cuenta estos factores:

  • Si el aumento del token es proporcional a la mejora de la puntuación
  • Si el aumento del costo se ajusta a su presupuesto
  • Si las respuestas son innecesariamente detalladas o agregan valor con la longitud adicional

Para más información sobre el intervalo de costos de ejecución previa y el uso medido posterior a la ejecución, consulte Estimaciones de costos del optimizador del agente y uso de tokens.

Limitaciones y disponibilidad

  • El optimizador de agentes admite agentes de solicitud y agentes hospedados durante la versión preliminar.
  • Las ejecuciones de optimización de prompt-agent se inician en el portal de Foundry. Puede promover un candidato seleccionado a una nueva versión del agente a partir de la ejecución completada.
  • La optimización del agente hospedado está disponible en todas las regiones en las que están disponibles los agentes hospedados, excepto el Este de Noruega.
  • La optimización del agente hospedado requiere el protocolo De respuestas.

Contenido relacionado

  • Last updated on