Was ist der Agent-Optimierer? (Vorschau)

Important

Agent Optimizer ist derzeit als Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Supplementale Nutzungsbedingungen für Microsoft Azure Previews.

Der Agent-Optimierer im Foundry Agent Service verbessert Prompt-Agents und gehostete Agents automatisch, indem er ihr Verhalten auswertet und bessere Konfigurationen generiert. Je nach Agenttyp können diese Konfigurationen verbesserte Anweisungen, Fähigkeiten, Toolbeschreibungen und Modellauswahl umfassen.

Die Entwicklung effektiver KI-Agenten erfordert umfangreiches Prompt-Engineering. Sie stellen einen Agent mit handgemachten Anweisungen bereit, testen sie anhand realer Szenarien, identifizieren Schwachstellen, überarbeiten die Eingabeaufforderung und wiederholen. Diese Schleife ist langsam, subjektiv und skaliert nicht. Der Agent-Optimierer automatisiert diesen Zyklus, sodass Sie sich auf die Kernlogik Ihres Agents konzentrieren können.

Unterstützte Agenttypen

Der Optimierer verwendet die gleiche auswertungsgesteuerte Verbesserungsschleife für beide Agenttypen, aber die Einrichtungs-, Optimierungsziele und Bereitstellungserfahrung unterscheiden sich.

Agenttyp Was der Optimierer verbessern kann So starten Sie einen Durchlauf
Prompt-Agent Anweisungen, Funktionsaufruf-Toolbeschreibungen und Modellauswahl Verwenden Sie den Optimierungs-Assistenten im Foundry-Portal. Es sind keine Codeänderungen erforderlich.
Gehosteter Agent Anweisungen, Fähigkeiten, Funktionsaufruf-Toolbeschreibungen und Modellauswahl Verwenden Sie das Foundry Toolkit, das die Optimierungsunterstützung automatisch einrichtet, oder machen Sie den Agenten für die Optimierung bereit und verwenden Sie die Azure Developer CLI.

Prompt-Agenten

Für einen Prompt-Agenten bewertet der Optimierer eine ausgewählte Version des Agenten und generiert alternative Anweisungen. Es kann auch Beschreibungen für Funktionsaufruftools verbessern und die Eingabeaufforderung über mehrere Kandidatenmodellbereitstellungen hinweg vergleichen.

Tools für Funktionsaufrufe von Prompt-Agenten werden auf der Client-Seite ausgeführt. Der Optimierer kann die Tool- und Parameterbeschreibungen verbessern, die die Funktionsaufrufe des Modells leiten, die Toolausführung kann jedoch während der Optimierung der Toolbeschreibung nicht ausgewertet werden.

Starten Sie den Optimierungs-Assistenten über die Registerkarte " Optimieren " des Agents im Findry-Portal. Der Assistent führt Sie durch die Auswahl der Agentversion, des Datensatzes, der Bewertungskriterien und der Optimierungsmodelle, bevor Sie den Lauf absenden. Sie können einen Datensatz aus Agenten-Ablaufverfolgungen generieren, einen vorhandenen Foundry-Datensatz auswählen oder im Assistenten einen Datensatz hochladen.

Wenn der Lauf abgeschlossen ist, vergleichen Sie die Bewertungsänderungen, prüfen Sie den Prompt vor und nach der Änderung, und prüfen Sie die Ergebnisse der einzelnen Auswerter. Anschließend können Sie einen ausgewählten Kandidaten über die Optimierungsausführung auf eine neue Prompt-Agent-Version heraufstufen.

Informationen zur End-to-End-Portalumgebung finden Sie unter Schnellstart: Optimieren eines Prompt-Agenten.

Gehostete Agents

Für einen gehosteten Agent optimiert der Optimierer die Konfiguration, die Ihr Code zur Laufzeit lädt. Der Agent benötigt das Optimierungspaket und eine Basiskonfiguration, die die Anweisungen und optional Fähigkeiten und Funktionsaufruf-Tooldefinitionen verfügbar macht. Foundry Toolkit kann automatisch das Grundgerüst für diese Integration erstellen. Fügen Sie für den Azure Developer CLI-Workflow die Integration hinzu, bevor Sie den Optimierer ausführen. Der Optimierer kann dann Kandidatenkonfigurationen generieren und auswerten, ohne die Kernlogik Ihres Agents zu ändern.

Die Optimierung gehosteter Agents unterstützt lokale JSONL-Datasets und in Ihrem Foundry-Projekt registrierte Datasets, einschließlich Evaluierungsdatasets, die aus Traces generiert wurden. Wenden Sie nach einer Ausführung den ausgewählten Kandidaten auf Ihre lokale Konfiguration an, überprüfen Sie die Änderungen, und stellen Sie den Agent erneut bereit.

Die End-to-End-Agent-Erfahrung finden Sie unter "Schnellstart: Optimieren eines gehosteten Agents".

Der Optimierungsworkflow

Beide Agenttypen folgen demselben übergeordneten Ablauf:

  1. Wählen Sie die Basislinie des Agenten aus. Wählen Sie die Prompt-Agent-Version oder die Konfiguration des gehosteten Agents aus, mit der Sie Kandidaten vergleichen.
  2. Wählen Sie ein Auswertungsdatenset aus. Verwenden Sie repräsentative Aufgaben aus einem vorhandenen oder hochgeladenen Dataset. Sie können auch einen registrierten Datensatz verwenden, der aus Agenten-Traces erstellt wurde.
  3. Wählen Sie Bewertungskriterien aus. Wählen Sie integrierte oder benutzerdefinierte Bewerter aus, die das Verhalten messen, das Sie verbessern möchten.
  4. Führen Sie den Optimierer aus. Wählen Sie die verfügbaren Optimierungsziele und -modelle aus, und generieren und bewerten Sie dann Kandidaten. Bei Prompt-Agenten überprüfen Sie die Kostenschätzung im Portal, bevor Sie den Lauf übermitteln.
  5. Überprüfen Sie die Ergebnisse. Vergleichen Sie die Kandidatenbewertungen mit Ihrem Basisplan, und wählen Sie dann den besten Kandidaten aus. Falls verfügbar, überprüfen Sie die nach dem Durchlauf gemessene Token-Nutzung. Informationen zu Optimierungsergebnissen finden Sie unter "Grundlegendes zu Optimierungsergebnissen
  6. Wenden Sie den ausgewählten Kandidaten an. Einen Prompt-Agent-Kandidaten auf eine neue Agent-Version heraufstufen oder die Konfiguration des gehosteten Agenten anwenden und erneut bereitstellen.

Gehostete Agents erfordern eine Optimierer-fähige Codeintegration. Das Foundry Toolkit erstellt diese Integration automatisch, wenn Sie eine Optimierung starten. Fügen Sie für den Azure Developer CLI-Workflow das Optimierungspaket und eine Basiskonfiguration hinzu, bevor Sie beginnen. Siehe Machen Sie Ihren Agenten optimierungsbereit. Prompt-Agents erfordern diese Code-Integration nicht.

Funktionsweise des Agent-Optimierrs

Der Agent-Optimierer führt einen Closed-Loop-Bewertungs- und Verbesserungszyklus aus:

  1. Bewerten Sie die Baseline. Der Optimierer ruft Ihren Agent anhand eines Datasets von Aufgaben auf und bewertet jede Antwort anhand von Kriterien, die Sie definieren oder einen integrierten Standardsatz festlegen. Der Ausgangswert ist der Wert Ihres Agenten vor jeglichen Änderungen.
  2. Generieren Sie Kandidaten. Der Optimierer erzeugt alternative Konfigurationen, die als Kandidaten bezeichnet werden, z. B. umgeschriebene Anweisungen, entdeckte Fähigkeiten, verbesserte Toolbeschreibungen oder verschiedene Modellauswahlen. Die verfügbaren Kandidatentypen hängen vom Agenttyp ab.
  3. Kandidaten auswerten. Der Optimierer testet jeden Kandidaten anhand desselben Datasets.
  4. Bewerten und empfehlen. Der Optimierer bewertet ergebnisse nach zusammengesetzter Bewertung, einem Wert zwischen 0,0 und 1,0, der die aggregierte Leistung darstellt, und markiert den besten Kandidaten mit ★ . Anschließend wenden Sie den Gewinner an und stellen ihn bereit.

Der gesamte Prozess wird in der Cloud ausgeführt. Die Laufzeit hängt von der Datasetgröße, der Anzahl der Kandidaten und den ausgewählten Modellen ab.

Nachdem Sie Ihren Agent-Optimierer vorbereitet haben, sind für gehostete Agents keine weiteren Codeänderungen zwischen den Ausführungen erforderlich. load_config() gibt Ihren Basisplan normal zurück und stellt eine optimierte Konfiguration während einer Ausführung ohne Featurekennzeichnungen oder bedingte Logik bereit.

Warning

Während der Optimierung wertet der Optimierer Ihren Agenten aus, indem er ihn gegen jede Aufgabe in Ihrem Dataset aufruft. Wenn Ihr Agent externe Tools wie APIs, Datenbanken oder Dienste von Drittanbietern aufruft, werden diese Aufrufe während jeder Auswertungsausführung ausgeführt. Um unbeabsichtigte Nebenwirkungen (Gebühren, Zustandsänderungen oder Ratenbegrenzung) zu vermeiden, sollten Sie während der Optimierung die Verwendung von Testendpunkten oder das Simulieren von Toolimplementierungen in Betracht ziehen.

Optimierungsziele

Ein Optimierungsziel ist ein bestimmter Aspekt der Konfiguration Ihres Agents, den der Optimierer verbessern kann. Verfügbare Ziele hängen vom Agenttyp ab. Bei gehosteten Agenten aktiviert der Optimierer automatisch die zutreffenden Ziele aus der Basiskonfiguration und den eval.yaml-Einstellungen.

Ziel Was der Optimierer verbessert Prompt-Agent Bereitgestellter Agent
Anweisungsoptimierung Schreibt die Systemaufforderung neu und optimiert sie, um eine höhere Bewertung zu erzielen. Verwendet die ausgewählte Prompt-Agent-Version als Basis. Aktiviert, wenn der Basisplan über eine instructions.md Datei verfügt.
Qualifikationsverbesserung Verfeinert den Inhalt jeder wiederverwendbaren Fähigkeit, wobei ihr Zweck erhalten bleibt. Nicht unterstützt. Aktiviert, wenn der Basisplan über ein skills/ Verzeichnis mit SKILL.md Dateien verfügt.
Tooloptimierung Verbessert Funktionsaufruftool- und Parameterbeschreibungen, sodass das Modell Tools genauer aufruft. Es werden keine Typen, Standardwerte oder Pflichtfelder geändert. Verfügbar für Funktionsaufruftools. Da der Client diese Tools ausführt, wird die Toolausführung während der Optimierung nicht ausgewertet. Aktiviert, wenn der Basisplan über eine tools.json Datei verfügt. Nur Funktionsaufruftools werden unterstützt.
Modellauswahl Wertet den Agent in mehreren Modellbereitstellungen aus, um das beste Verhältnis von Qualität zu Kosten zu finden. Wählen Sie Kandidatenmodelle im Optimierungs-Assistenten aus. Fügen Sie Kandidaten-Bereitstellungen zu model_search_space in eval.yaml hinzu.

Informationen zu Baseline-Eingaben für gehostete Agents finden Sie unter Machen Sie Ihren Agent für den Optimierer bereit. Informationen zum Ausführen und Konfigurieren von Gehosteten Agent-Zielen finden Sie unter Optimieren von Agent-Anweisungen, Fähigkeiten, Tools und Modellen.

Models

Der Agent-Optimierer verwendet während eines Optimierungslaufs zwei Modelle. Beide müssen in Ihrem Foundry-Projekt bereitgestellt werden.

Modell Hosted-Agent-Konfigurationsschlüssel CLI-Flag für Hosted-Agent Rolle Unterstützte Modelle
Eval-Modell eval_model --eval-model Bewertet Agentenantworten anhand der im Datensatz enthaltenen Kriterien Ein beliebiges Chat-Abschlussmodell (z. B gpt-4.1-mini. )
Optimierungsmodell optimization_model --optimize-model Generiert Kandidatenkonfigurationen (Anweisungen, Fähigkeiten, Tools, Modellauswahl) gpt-5, gpt-5.1, gpt-5.2, gpt-5.4, gpt-5.5, , DeepSeek-V4-Pro, DeepSeek-V-3.2

Das Bewertungsmodell wird für jeden Bewerter, jede Aufgabe und jede Kandidatenauswertung einmal ausgeführt. Er liest die Antwort des Agents und jedes Kriterium und gibt dann eine binäre Bewertung zurück. Das Optimierungsmodell analysiert die Basiswerte und generiert verbesserte Kandidaten für die konfigurierten Ziele, einschließlich Anweisungen, Fähigkeiten, Tools und Modelle. Da es auf Basis des gesamten Datensatzes Schlussfolgerungen zieht, erzeugt ein leistungsfähigeres Optimierungsmodell in der Regel bessere Kandidaten.

Wählen Sie für Prompt-Agents im Optimierungs-Assistenten das Evaluierungsmodell und die Kandidatenmodelle aus. Geben Sie für gehostete Agents die Modelle in eval.yaml oder mit CLI-Flags an. Die optimization_model Einstellung ist für die Ausführung des gehosteten Agents erforderlich. Konfigurationsschritte finden Sie unter Auswählen der Modelle für die Auswertung und Optimierung.

Grundlegendes zu Optimierungsergebnissen

In diesem Abschnitt werden die Ergebnistabelle, die Berechnung der Zusammengesetztbewertung und die Interpretation von Verbesserungen erläutert.

Tip

Sehen Sie sich die Optimierungsergebnisse im Foundry portal an. Navigieren Sie zu Ihrem Projekt, wählen Sie Agents aus, wählen Sie Ihren Agent aus, und wählen Sie dann die Registerkarte "Optimieren " aus, um Bewertungsvergleiche, Eingabeaufforderungs- oder Konfigurationsänderungen sowie Bewertungsdetails anzuzeigen.

Für Prompt-Agenten zeigt ein abgeschlossener Durchlauf die Baseline- und Kandidatenbewertungen, einen Vorher-Nachher-Vergleich der Prompt-, Modell- und Tool-Beschreibungen sowie Bewertungen pro Evaluator an.

Für gehostete Agents zeigt die CLI auch eine Ergebnistabelle an:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Spalten der Ergebnistabelle

Column Description
Kandidat Name der Konfiguration. baseline ist Ihr aktueller Agent vor der Optimierung.
Ergebnis Zusammengesetzte Bewertung für alle Vorgänge und Kriterien, von 0,0 bis 1,0.
Eval Link zum Auswertungsauftrag im Foundry-Portal.
Strategie Mutationsziele, die im Kandidaten enthalten sind, wie skill_policy-reviewer, tools.

Das ★ kennzeichnet den Kandidaten mit der höchsten Gesamtpunktzahl. Dies ist der empfohlene Kandidat für die Bereitstellung.

Berechnung der Bewertungen

Jeder Evaluator in Ihrem Datensatz erzeugt einen Rohwert für die Antwort des Agenten. Der Optimierer verarbeitet diese Bewertungen, um die in den Ergebnissen dargestellte Zusammengesetztbewertung zu erzeugen:

  • Neuskalieren: Die Rohbewertung jedes Evaluators wird auf 0 bis 1 skaliert.
  • Bei Bedarf umkehren: Wenn ein Evaluator so konfiguriert ist, dass niedriger besser ist, wird der Wert umgekehrt, sodass alle Evaluatoren der Semantik „höher ist besser“ folgen.
  • Durchschnitt: Die neu skalierten Bewertungen werden für alle Auswertungen und Vorgänge durchschnittlich berechnet, um die zusammengesetzte Bewertung zu erzeugen.

Gesamtpunktzahl: Der Durchschnitt aller neu skalierten Punktzahlen der Bewertenden über alle Aufgaben hinweg.

Verbesserungen des Scores interpretieren

Verbesserung Auslegung
Kleiner als 0,03 Lärm. Keine sinnvolle Verbesserung.
0.03 bis 0.10 Moderate Verbesserung. Die Bereitstellung lohnt sich.
0.10 bis 0.20 Erhebliche Verbesserung.
Größer als 0,20 Wesentliche Verbesserung. Wahrscheinlich aufgrund einer schlechten Grundlage.

Abwägungen bei Tokens

Optimierte Anweisungen sind häufig länger und detaillierter, wodurch die Nutzung von Antworttoken erhöht werden kann. Beachten Sie folgende Faktoren:

  • Ob die Erhöhung der Tokenanzahl proportional zur Verbesserung der Bewertung ist
  • Ob die Kostenerhöhung ihrem Budget entspricht
  • Gibt an, ob Antworten unnötig ausführlich sind oder einen Mehrwert mit der zusätzlichen Länge hinzufügen

Ausführliche Informationen zur Kostenspanne vor der Ausführung und zum nach der Ausführung gemessenen Verbrauch finden Sie unter Kostenschätzungen und Tokennutzung des Agentenoptimierers.

Einschränkungen und Verfügbarkeit

  • Der Agent-Optimierer unterstützt Prompt-Agenten und gehostete Agenten in der Vorschauphase.
  • Optimierungsläufe für den Prompt-Agent starten im Foundry-Portal. Sie können einen ausgewählten Kandidaten aus der abgeschlossenen Ausführung in eine neue Agent-Version höher stufen.
  • Die Optimierung des gehosteten Agents ist in allen Regionen verfügbar, in denen gehostete Agents verfügbar sind, mit Ausnahme von Norwegen Ost.
  • Für die Optimierung des Gehosteten Agents ist das Antwortprotokoll erforderlich.

Verwandte Inhalte

  • Last updated on