¿Qué es el optimizador de agentes? (versión preliminar)

Importante

El optimizador de agentes está actualmente en versión preliminar. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no se admitan o que tengan funcionalidades restringidas. Para más información, consulte Términos de uso complementarios para las versiones preliminares de Microsoft Azure.

El optimizador de agentes en foundry Agent Service mejora automáticamente los agentes hospedados mediante la evaluación de su comportamiento y la generación de mejores configuraciones. Estas configuraciones pueden incluir instrucciones mejoradas, aptitudes, descripciones de herramientas y selección de modelos.

La creación de agentes de inteligencia artificial eficaces requiere una amplia ingeniería rápida. Implemente un agente con instrucciones hechas a mano, pruébelo en escenarios reales, identifique puntos débiles, revise el mensaje y repita. Este bucle es lento, subjetivo y no es escalable. El optimizador de agentes automatiza este ciclo para que pueda centrarse en la lógica principal del agente.

Flujo de trabajo de optimización

Optimizar un agente sigue un proceso repetible. Cada paso se vincula al artículo que lo cubre con detalle:

  1. Prepare su agente. Añada el paquete de optimización y una configuración base para que el optimizador pueda leer y mejorar su agente. Consulte Prepare su agente para el optimizador.
  2. Cree un conjunto de datos de evaluación. Defina las tareas y los criterios en función de los cuales se evalúa el optimizador. Consulte Creación de un conjunto de datos de evaluación y evaluadores.
  3. Ejecute el optimizador. Inicie una ejecución de optimización y elija qué destinos y modelos explorar. Consulte Optimización de instrucciones, aptitudes, herramientas y modelos del agente.
  4. Consulte los resultados. Compare las puntuaciones de candidatos con la línea base y elija la mejor. Consulte Descripción de los resultados de la optimización.
  5. Aplicar y desplegar. Promover el candidato seleccionado a la configuración de su agente y volver a desplegarlo. Consulta Implementar la variante ganadora.

Para probar el flujo de trabajo completo con un agente de ejemplo, comience con el inicio rápido: Optimización de un agente hospedado.

Funcionamiento del optimizador de agentes

El optimizador de agentes ejecuta un ciclo de evaluación y mejora de bucle cerrado:

  1. Evalúe la línea base. El optimizador ejecuta su agente con un conjunto de datos de tareas y evalúa cada respuesta según los criterios que defina o un conjunto predeterminado incorporado. La línea base es la puntuación del agente antes de cualquier cambio.
  2. Generar candidatos. El optimizador genera configuraciones alternativas denominadas candidatos (instrucciones reescritas o aptitudes detectadas) diseñadas para mejorar las puntuaciones.
  3. Evaluar candidatos. El optimizador prueba cada candidato con el mismo conjunto de datos.
  4. Clasificación y recomendación. El optimizador clasifica los resultados por puntuación compuesta, un valor entre 0,0 y 1,0 que representa el rendimiento agregado y marca el mejor candidato con ★ . A continuación, aplique y despliegue la opción ganadora.

Todo el proceso se ejecuta en la nube y tarda entre 5 y 20 minutos, según el tamaño del conjunto de datos. Después de que el optimizador del agente esté listo, no se necesitan más cambios en el código entre ejecuciones: load_config() devuelve la línea de base normalmente y proporciona la configuración optimizada automáticamente durante y después de una ejecución, sin marcas de características ni lógica condicional.

Advertencia

Durante la optimización, el optimizador evalúa tu agente invocándolo para cada tarea de tu conjunto de datos. Si el agente llama a herramientas externas(como API, bases de datos o servicios de terceros), esas llamadas se ejecutan durante cada ejecución de evaluación. Para evitar efectos secundarios no deseados (cargos, mutaciones de estado o limitación de velocidad), considere la posibilidad de usar puntos de conexión de prueba o implementaciones de herramientas simuladas durante la optimización.

Destinos de optimización

Un destino de optimización es un aspecto específico de la configuración del agente que el optimizador puede mejorar. El optimizador ejecuta todos los objetivos aplicables en una única ejecución y activa automáticamente cada uno en función de tu configuración de referencia y de los ajustes de eval.yaml.

Objetivo Lo que mejora el optimizador Se activa cuando tu valor de referencia tiene
Optimización de instrucciones Reescribe y perfecciona el prompt del sistema para obtener una puntuación más alta. El destino más común. Un instructions.md archivo
Mejora de aptitudes Refina el cuerpo de cada aptitud reutilizable (en SKILL.md) al tiempo que mantiene las descripciones de las aptitudes sin cambios. Un skills/ directorio
Optimización de herramientas Mejora las descripciones de herramientas y parámetros para que el modelo llame a herramientas con mayor precisión. No cambia los tipos, los valores predeterminados ni los campos obligatorios. Un tools.json archivo
Selección de modelos Evalúa tu agente en múltiples implementaciones de modelos para encontrar el mejor equilibrio entre calidad y coste. model_search_space en eval.yaml

Para configurar estas entradas básicas, consulte Prepare su agente para el optimizador. Para ejecutar y configurar cada destino, consulte Optimización de instrucciones, aptitudes, herramientas y modelos del agente.

Models

El optimizador de agentes usa dos modelos durante una ejecución de optimización. Ambos deben desplegarse en su proyecto de Foundry.

Model Clave de configuración Marca de la CLI Función Modelos compatibles
Modelo de Eval eval_model --eval-model Puntúa las respuestas del agente con los criterios del conjunto de datos Cualquier modelo de finalización de chat (por ejemplo, gpt-4.1-mini)
Modelo de optimización optimization_model --optimize-model Genera configuraciones candidatas (instrucciones, aptitudes, herramientas, selección de modelos) gpt-5, gpt-5.1, gpt-5.2, gpt-5.4, gpt-5.5, , DeepSeek-V4-ProDeepSeek-V-3.2

El modelo de evaluación se ejecuta una vez por tarea por candidato. Lee la respuesta del agente y cada criterio y, a continuación, devuelve una puntuación binaria. El modelo de optimización analiza los resultados de línea base y genera candidatos mejorados en los destinos configurados (instrucciones, aptitudes, herramientas y modelos). Debido a que razona sobre el conjunto completo de datos, un modelo de optimización más potente suele generar mejores candidatos.

Puede especificar estos modelos en eval.yaml o con marcas de la CLI y optimization_model es necesario. Para conocer los pasos de configuración, consulte Elección de los modelos de evaluación y optimización.

Descripción de los resultados de la optimización

En esta sección se explica la tabla de resultados, cómo se calcula la puntuación compuesta y cómo interpretar las mejoras.

Tip

También puede ver los resultados de optimización en el portal de Foundry. Vaya al proyecto, seleccione Agentes, elija el agente y, a continuación, seleccione la pestaña Optimizar para ver las comparaciones de puntuación, los gráficos y las opciones de implementación.

Una vez completada una ejecución de optimización, verá una tabla de resultados:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Columnas de la tabla de resultados

Column Description
Candidato Nombre de la configuración. baseline es el agente actual antes de la optimización.
Puntuación Puntuación compuesta en todas las tareas y criterios, que van de 0,0 a 1,0.
Eval Vínculo al trabajo de evaluación en el portal de Foundry.
Estrategia Objetivos de mutación incluidos en el candidato, como skill_policy-reviewer, tools.

★ marca el candidato con la puntuación compuesta más alta. Este es el candidato recomendado para desplegar.

Cómo se calculan las puntuaciones

Cada evaluador en tu conjunto de datos genera una puntuación bruta para la respuesta del agente. El optimizador procesa estas puntuaciones para generar la puntuación compuesta que se muestra en los resultados:

  • Reescalar: la puntuación bruta de cada evaluador se reescala entre 0 y 1.
  • Invertir si es necesario: si un evaluador está configurado de modo que cuanto más bajo, mejor, la puntuación se invierte para que todos los evaluadores utilicen la semántica de "cuanto más alto, mejor".
  • Promedio: las puntuaciones reescaladas en todos los evaluadores y tareas se calculan para generar la puntuación compuesta.

Puntuación compuesta: El promedio de todas las puntuaciones reescaladas del evaluador de todas las tareas.

Interpretación de las mejoras de puntuación

Mejora Interpretación
Menor que 0,03 Ruido. No es una mejora significativa.
De 0,03 a 0,10 Mejora moderada. Vale la pena implementar.
De 0,10 a 0,20 Mejora significativa.
Mayor que 0,20 Mejora importante. Probablemente de una línea base deficiente.

Ventajas e inconvenientes del token

Las instrucciones optimizadas suelen ser más largas y detalladas, lo que puede aumentar el uso de tokens de respuesta. Tenga en cuenta estos factores:

  • Si el aumento del token es proporcional a la mejora de la puntuación
  • Si el aumento del costo se ajusta a su presupuesto
  • Si las respuestas son innecesariamente detalladas o agregan valor con la longitud adicional

Limitaciones y disponibilidad

Contenido relacionado

  • Last updated on