O que é o otimizador do agente? (versão prévia)

Importante

O Otimizador de Agente está atualmente em versão prévia. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares para Versões Prévias do Microsoft Azure.

O otimizador de agente no Serviço do Foundry Agent melhora automaticamente os agentes de prompt e os agentes hospedados avaliando seu comportamento e gerando melhores configurações. Dependendo do tipo de agente, essas configurações podem incluir instruções aprimoradas, habilidades, descrições de ferramentas e seleção de modelo.

Desenvolver agentes de IA eficazes requer um extenso trabalho de engenharia de prompts. Você implementa um agente com instruções elaboradas manualmente, testa-o em cenários reais, identifica pontos fracos, revisa o prompt e repete. Esse loop é lento, subjetivo e não é dimensionado. O otimizador do agente automatiza esse ciclo para que você possa se concentrar na lógica principal do agente.

Tipos de agente com suporte

O otimizador usa o mesmo loop de melhoria orientado por avaliação para ambos os tipos de agente, mas a configuração, os destinos de otimização e a experiência de implantação diferem.

Tipo de agente O que o otimizador pode melhorar Como você inicia uma execução
Agente de prompt Instruções, descrições da ferramenta de chamada de função e seleção de modelo Use o assistente de otimização no portal do Foundry. Nenhuma alteração de código é necessária.
Agente hospedado Instruções, habilidades, descrições da ferramenta de chamada de função e seleção de modelo Use o Foundry Toolkit, que dá suporte à otimização de scaffolds automaticamente, ou prepare o otimizador do agente e use a CLI do desenvolvedor Azure.

Agentes de prompt

Para um agente de prompt, o otimizador avalia uma versão do agente selecionada e gera instruções alternativas. Ele também pode melhorar as descrições das ferramentas de chamada de função e comparar o prompt entre várias implantações de modelos candidatos.

As ferramentas de chamada de função do prompt-agent são executadas no lado do cliente. O otimizador pode melhorar a ferramenta e as descrições de parâmetro que orientam as chamadas de função do modelo, mas não pode avaliar a execução da ferramenta durante a otimização de descrição da ferramenta.

Inicie o assistente de otimização na guia Otimizar do agente no portal do Foundry. O assistente orienta você na seleção da versão do agente, do conjunto de dados, dos critérios de avaliação e dos modelos de otimização antes de enviar a execução. Você pode gerar um conjunto de dados a partir de rastreamentos de agente, selecionar um conjunto de dados do Foundry existente ou carregar um conjunto de dados no assistente.

Quando a execução for concluída, compare as alterações de pontuação, examine o prompt antes e depois e inspecione os resultados por avaliador. Em seguida, você pode promover um candidato selecionado para uma nova versão do prompt-agent na execução de otimização.

Para obter a experiência de portal de ponta a ponta, consulte Início Rápido: Otimizar um agente de prompt.

Agentes hospedados

Para um agente hospedado, o otimizador melhora a configuração que seu código carrega em runtime. O agente precisa do pacote de otimização e de uma configuração de linha de base que exponha as instruções e, opcionalmente, as habilidades e as definições da ferramenta de chamada de função. O Foundry Toolkit pode estruturar automaticamente essa integração. Para o fluxo de trabalho da CLI do Desenvolvedor Azure, adicione a integração antes de executar o otimizador. Em seguida, o otimizador pode gerar e avaliar as configurações de candidato sem alterar a lógica central do agente.

A otimização do agente hospedado dá suporte a conjuntos de dados JSONL locais e conjuntos de dados registrados em seu projeto foundry, incluindo conjuntos de dados de avaliação gerados a partir de rastreamentos. Após uma execução, aplique o candidato selecionado à configuração local, examine as alterações e reimplante o agente.

Para obter a experiência de agente hospedado de ponta a ponta, consulte Início Rápido: Otimizar um agente hospedado.

O fluxo de trabalho de otimização

Ambos os tipos de agente seguem o mesmo caminho de alto nível:

  1. Selecione a linha de base do agente. Escolha a versão do prompt-agent ou a configuração de agente hospedado com a qual você compara candidatos.
  2. Selecione um conjunto de dados de avaliação. Use tarefas representativas de um conjunto de dados existente ou carregado. Você também pode usar um conjunto de dados registrado gerado a partir de rastreamentos de agente.
  3. Selecione critérios de avaliação. Escolha avaliadores internos ou personalizados que medem os comportamentos que você deseja melhorar.
  4. Execute o otimizador. Escolha os destinos e modelos de otimização disponíveis e, em seguida, gere e avalie os candidatos.
  5. Revise os resultados. Compare as pontuações do candidato com a linha de base e escolha a melhor. Confira Noções básicas sobre os resultados da otimização.
  6. Aplique o candidato selecionado. Promova um candidato de prompt-agent a uma nova versão do agente ou aplique a configuração e a reimplantação do agente hospedado.

Os agentes hospedados exigem integração de código pronta para otimizador. O Foundry Toolkit cria automaticamente essa integração quando você inicia uma otimização. Para o fluxo de trabalho da CLI do Desenvolvedor Azure, adicione o pacote de otimização e uma configuração de linha de base antes de começar. Consulte Prepare seu agente para o otimizador. Os agentes de prompt não exigem essa integração de código.

Como funciona o otimizador do agente

O otimizador de agentes executa um ciclo fechado de avaliação e aprimoramento:

  1. Avalie a linha de base. O otimizador invoca seu agente em um conjunto de dados de tarefas e pontua cada resposta em relação aos critérios definidos ou a um conjunto padrão interno. O valor de referência é a pontuação do agente antes de qualquer alteração.
  2. Gerar candidatos. O otimizador produz configurações alternativas chamadas de candidatos, como instruções reescritas, habilidades descobertas, descrições de ferramentas aprimoradas ou seleções de modelos diferentes. Os tipos de candidatos disponíveis dependem do tipo de agente.
  3. Avaliar candidatos. O otimizador testa cada candidato no mesmo conjunto de dados.
  4. Classificar e recomendar. O otimizador classifica os resultados por pontuação composta, um valor entre 0,0 e 1,0 que representa o desempenho agregado e marca o melhor candidato com ★ . Em seguida, aplique e implante a versão vencedora.

Todo o processo é executado na nuvem. O tempo de execução depende do tamanho do conjunto de dados, do número de candidatos e dos modelos selecionados.

Para agentes hospedados, depois de deixar o otimizador do agente pronto, nenhuma alteração de código adicional é necessária entre as execuções. load_config() retorna sua linha de base normalmente e fornece configuração otimizada durante uma execução sem sinalizadores de recurso ou lógica condicional.

Warning

Durante a otimização, o otimizador avalia seu agente invocando-o em cada tarefa em seu conjunto de dados. Se o agente chamar ferramentas externas, como APIs, bancos de dados ou serviços de terceiros, essas chamadas serão executadas durante cada execução de avaliação. Para evitar efeitos colaterais não intencionais (encargos, mutações de estado ou limitação de taxa), considere usar pontos de extremidade de teste ou simular implementações de ferramentas durante a otimização.

Destinos de otimização

Um objetivo de otimização é um aspecto específico da configuração do seu agente que o otimizador pode melhorar. Os destinos disponíveis dependem do tipo de agente. Para agentes hospedados, o otimizador ativa automaticamente os destinos aplicáveis da configuração e eval.yaml das configurações da linha de base.

Meta O que o otimizador melhora Agente de prompt Agente hospedado
Ajuste de instrução Reescreve e refina o prompt do sistema para obter uma pontuação mais alta. Usa a versão do prompt-agent selecionada como a linha de base. Ativa quando a linha de base tem um instructions.md arquivo.
Aprimoramento de habilidades Refina o corpo de cada habilidade reutilizável mantendo sua finalidade intacta. Sem suporte. Ativa quando a linha de base tem um skills/ diretório com SKILL.md arquivos.
Otimização da ferramenta Melhora as descrições de parâmetros e ferramentas de chamada de função para que o modelo chame as ferramentas com mais precisão. Ele não altera tipos, padrões ou campos necessários. Disponível para ferramentas de chamada de função. Como o cliente executa essas ferramentas, a execução da ferramenta não é avaliada durante a otimização. É ativado quando a linha de base tem um tools.json arquivo. Há suporte apenas para ferramentas de chamada de função.
Seleção de modelo Avalia o agente em várias implantações de modelo para encontrar a melhor compensação de qualidade a custo. Selecione modelos candidatos no assistente de otimização. Adicionar implantações candidatas a model_search_space .eval.yaml

Para obter entradas de linha de base do agente hospedado, consulte Tornar seu agente pronto para otimizador. Para executar e configurar destinos de agente hospedado, consulte Otimizar instruções, habilidades, ferramentas e modelos do agente.

Models

O otimizador de agente usa dois modelos durante uma execução de otimização. Ambos devem ser implantados no seu projeto do Foundry.

Modelo Chave de configuração do agente hospedado Sinalizador da CLI do agente hospedado Função Modelos com suporte
Modelo de avaliação eval_model --eval-model Avalia as respostas do agente com base nos critérios no conjunto de dados Qualquer modelo de conclusão de chat (por exemplo, gpt-4.1-mini)
Modelo de otimização optimization_model --optimize-model Gera configurações de candidato (instruções, habilidades, ferramentas, seleção de modelo) gpt-5, gpt-5.1, gpt-5.2, gpt-5.4, , gpt-5.5, DeepSeek-V4-Pro, DeepSeek-V-3.2

O modelo de avaliação é executado uma vez por tarefa por candidato. Ele lê a resposta do agente e cada critério e retorna uma pontuação binária. O modelo de otimização analisa os resultados da linha de base e gera candidatos aprimorados entre os destinos configurados (instruções, habilidades, ferramentas e modelos). Como ele raciocina com base no conjunto de dados completo, um modelo de otimização mais capaz normalmente produz melhores soluções candidatas.

Para agentes de prompt, selecione o modelo de avaliação e os modelos candidatos no assistente de otimização. Para agentes hospedados, especifique os modelos dentro eval.yaml ou com sinalizadores da CLI. A optimization_model configuração é necessária para execuções de agente hospedado. Para obter as etapas de configuração, consulte Escolher os modelos de avaliação e otimização.

Entender os resultados da otimização

Esta seção explica a tabela de resultados, como a pontuação composta é computada e como interpretar melhorias.

Dica

Exibir os resultados da otimização no portal do Foundry. Navegue até seu projeto, selecione Agentes, escolha seu agente e, em seguida, selecione a guia Otimizar para ver comparações de pontuação, solicitação ou alterações de configuração e detalhes do avaliador.

Para agentes de prompt, uma execução concluída mostra as pontuações da linha de base e do candidato, uma comparação de prompt, modelo e descrição de ferramentas antes e depois e pontuações por avaliador.

Para agentes hospedados, a CLI também exibe uma tabela de resultados:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Colunas da tabela de resultados

Coluna Description
Candidato Nome da configuração. baseline é o agente atual antes da otimização.
Pontuação Pontuação composta em todas as tarefas e critérios, variando de 0,0 a 1,0.
Eval Link para o trabalho de avaliação no portal do Foundry.
Estratégia Destinos de mutação incluídos no candidato, como skill_policy-reviewer, tools.

A ★ indica o candidato com a maior pontuação composta. Este é o candidato recomendado para implantação.

Como as pontuações são computadas

Cada avaliador em seu conjunto de dados produz uma pontuação bruta para a resposta do agente. O otimizador processa essas pontuações para produzir a pontuação composta mostrada nos resultados:

  • Redimensionamento: a pontuação bruta de cada avaliador é redimensionada para 0 a 1.
  • Inverta, se necessário: se um avaliador estiver configurado de modo que valores menores sejam melhores, a pontuação será invertida para que todos os avaliadores usem a semântica de "quanto maior, melhor".
  • Média: a média das pontuações reescalonadas de todos os avaliadores e tarefas é calculada para produzir a pontuação composta.

Pontuação composta: a média de todas as pontuações do avaliador redimensionada em todas as tarefas.

Interpretação das melhorias na pontuação

Aperfeiçoamento Interpretação
Menor que 0,03 Ruído. Não é uma melhoria significativa.
0,03 a 0,10 Melhoria moderada. Vale a pena implantar.
0,10 a 0,20 Melhoria significativa.
Maior que 0,20 Melhorias importantes. Provavelmente de uma linha de base ruim.

Vantagens e desvantagens dos tokens

As instruções otimizadas geralmente são mais longas e detalhadas, o que pode aumentar o uso do token de resposta. Considere estes fatores:

  • Se o aumento do token é proporcional à melhoria da pontuação
  • Se o aumento de custos se ajusta ao seu orçamento
  • Se as respostas são desnecessariamente verbosas ou agregam valor com a extensão extra

Limitações e disponibilidade

  • O otimizador de agente dá suporte a agentes de prompt e agentes hospedados durante a visualização.
  • As execuções de otimização do prompt-agent são iniciadas no portal do Foundry. Você pode promover um candidato selecionado para uma nova versão do agente a partir da execução concluída.
  • A otimização de agente hospedado está disponível em todas as regiões em que os agentes hospedados estão disponíveis, exceto no Leste da Noruega.
  • A otimização do agente hospedado requer o protocolo Respostas.

Conteúdo relacionado

  • Last updated on