Co to jest optymalizator agenta? (wersja zapoznawcza)

Ważna

Agent Optimizer jest obecnie w wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą nie być obsługiwane lub mogą mieć ograniczone możliwości. Aby uzyskać więcej informacji, zobacz Warunki dodatkowe korzystania z testowych wersji Microsoft Azure.

Optymalizator agenta w usłudze Agent usługi Foundry automatycznie ulepsza hostowanych agentów, oceniając ich zachowanie i generując lepsze konfiguracje. Te konfiguracje mogą obejmować ulepszone instrukcje, umiejętności, opisy narzędzi i wybór modelu.

Tworzenie efektywnych agentów sztucznej inteligencji wymaga rozbudowanej inżynierii monitów. Agent jest wdrażany za pomocą ręcznie wykonanych instrukcji, testowania go w rzeczywistych scenariuszach, identyfikowania słabych stron, poprawiania monitu i powtarzania. Ten proces jest powolny, subiektywny i nie skaluje się. Optymalizator agenta automatyzuje ten cykl, aby skoncentrować się na podstawowej logice agenta.

Proces optymalizacji

Optymalizacja agenta przebiega według powtarzalnego schematu. Każdy krok zawiera linki do artykułu, który szczegółowo go opisuje:

  1. Przygotuj swojego agenta. Dodaj pakiet optymalizacji i konfigurację bazową, aby optymalizator mógł odczytać i zoptymalizować agenta. Zobacz Przygotuj agenta do współpracy z optymalizatorem.
  2. Utwórz zestaw danych oceny. Zdefiniuj zadania i kryteria, według których oceniany jest optymalizator. Zobacz Tworzenie zestawu danych oceny i ewaluatorów.
  3. Uruchom optymalizator. Uruchom przebieg optymalizacji i wybierz cele i modele do zbadania. Zobacz Optymalizowanie instrukcji agenta, umiejętności, narzędzi i modeli.
  4. Przejrzyj wyniki. Porównaj wyniki kandydatów z punktem odniesienia i wybierz najlepsze wyniki. Zobacz Omówienie wyników optymalizacji.
  5. Zastosuj i wdróż. Przenieś zwycięskiego kandydata do konfiguracji agenta i wdroż ponownie. Zobacz Wdrażanie zwycięzcy.

Aby wypróbować pełny przepływ pracy za pomocą przykładowego agenta, zacznij od przewodnika Szybki start: Optymalizowanie hostowanego agenta.

Jak działa optymalizator agenta

Optymalizator agenta uruchamia zamknięty cykl oceny i doskonalenia:

  1. Oceń poziom bazowy. Optymalizator uruchamia Twojego agenta na zbiorze zadań i ocenia każdą odpowiedź według określonych przez Ciebie kryteriów lub wbudowanego zestawu domyślnych kryteriów. Wartość bazowa to wynik Twojego agenta przed wprowadzeniem jakichkolwiek zmian.
  2. Generowanie kandydatów. Optymalizator tworzy alternatywne konfiguracje nazywane kandydatami—przepisane instrukcje lub wykryte umiejętności—mające na celu poprawę wyników.
  3. Oceń kandydatów. Optymalizator testuje każdego kandydata na ten sam zestaw danych.
  4. Klasyfikacja i rekomendacja. Optymalizator klasyfikuje wyniki według wyniku złożonego, czyli wartości z zakresu od 0,0 do 1,0, która reprezentuje zagregowaną wydajność, i oznacza najlepszy kandydat z wartością ★ . Następnie wdrażasz zwycięski wariant.

Cały proces działa w chmurze i trwa od 5 do 20 minut, w zależności od rozmiaru zestawu danych. Po przygotowaniu agenta do współpracy z optymalizatorem nie są potrzebne żadne dalsze zmiany w kodzie między kolejnymi uruchomieniami: load_config() zwraca konfigurację bazową w standardowy sposób i automatycznie dostarcza zoptymalizowaną konfigurację w trakcie i po zakończeniu działania — bez flag funkcjonalności ani logiki warunkowej.

Warning

Podczas optymalizacji optymalizator ocenia agenta, wywołując go względem każdego zadania w zestawie danych. Jeśli agent wywołuje narzędzia zewnętrzne , takie jak interfejsy API, bazy danych lub usługi innych firm, te wywołania są wykonywane podczas każdego przebiegu oceny. Aby uniknąć niezamierzonych skutków ubocznych (opłat, mutacji stanu lub ograniczania szybkości), rozważ użycie punktów końcowych testów lub pozorowanie implementacji narzędzi podczas optymalizacji.

Cele optymalizacji

Element docelowy optymalizacji to konkretny aspekt konfiguracji agenta, który może poprawić optymalizator. Optymalizator uruchamia wszystkie odpowiednie cele w jednym uruchomieniu i automatycznie aktywuje każdy z nich na podstawie konfiguracji bazowej oraz ustawień eval.yaml.

Target Co poprawia optymalizator Aktywuje się, gdy wartość bazowa ma
Dostrajanie na podstawie instrukcji Przeredagowuje i udoskonala prompt systemowy, aby uzyskać wyższy wynik. Najbardziej typowy cel. Plik instructions.md
Ulepszenie umiejętności Doprecyzowuje zawartość każdej umiejętności wielokrotnego użytku (w SKILL.md), pozostawiając opisy umiejętności bez zmian. skills/ katalog
Optymalizacja narzędzi Ulepsza opisy narzędzi i parametrów, dzięki czemu model wywołuje narzędzia dokładniej. Nie zmienia typów, wartości domyślnych ani wymaganych pól. tools.json Plik
Wybór modelu Ocenia Twojego agenta w wielu wdrożeniach modeli, aby znaleźć najlepszy kompromis między jakością a kosztami. model_search_space w eval.yaml

Aby skonfigurować te bazowe dane wejściowe, zobacz Jak przygotować agenta do optymalizacji. Aby uruchomić i skonfigurować każdy element docelowy, zobacz Optymalizowanie instrukcji agenta, umiejętności, narzędzi i modeli.

Modele

Optymalizator agenta używa dwóch modeli podczas uruchamiania optymalizacji. Oba muszą zostać wdrożone w projekcie Foundry.

Model Klucz konfiguracji Flaga CLI Role Obsługiwane modele
Model oceny eval_model --eval-model Ocenia odpowiedzi agenta względem kryteriów w zestawie danych Dowolny model do uzupełniania czatu (na przykład gpt-4.1-mini)
Model optymalizacji optimization_model --optimize-model Generuje konfiguracje kandydatów (instrukcje, umiejętności, narzędzia, wybór modelu) gpt-5, gpt-5.1, , gpt-5.2, gpt-5.4, gpt-5.5, , DeepSeek-V4-ProDeepSeek-V-3.2

Model ewaluacyjny jest uruchamiany raz dla każdego zadania i każdego kandydata. Odczytuje odpowiedź agenta i każde kryterium, a następnie zwraca wynik binarny. Model optymalizacji analizuje wyniki bazowe i generuje ulepszone warianty dla skonfigurowanych obszarów docelowych (instrukcji, umiejętności, narzędzi i modeli). Ponieważ analizuje cały zbiór danych, bardziej zaawansowany model optymalizacyjny zwykle generuje lepsze rozwiązania.

Modele te określasz w eval.yaml lub za pomocą flag CLI, a optimization_model jest wymagane. Aby uzyskać instrukcje konfiguracji, zobacz Wybieranie modeli oceny i optymalizacji.

Omówienie wyników optymalizacji

W tej sekcji opisano tabelę wyników, sposób obliczania wyniku złożonego oraz sposób interpretowania ulepszeń.

Wskazówka

Wyniki optymalizacji można również wyświetlić w portalu Foundry. Przejdź do projektu, wybierz pozycję Agenci, wybierz agenta, a następnie wybierz kartę Optymalizacja , aby wyświetlić porównania wyników, wykresy i opcje wdrażania.

Po zakończeniu przebiegu optymalizacji zostanie wyświetlona tabela wyników:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Kolumny tabeli wyników

Column Description
Kandydat Nazwa konfiguracji. baseline to Twój obecny agent przed optymalizacją.
Ocena Wynik złożony we wszystkich zadaniach i kryteriach, od 0,0 do 1,0.
Eval Link do zadania oceny w portalu Foundry.
Strategia Cele mutacji, takie jak skill_policy-reviewer, tools, zawarte w kandydacie.

Oznacza ★ kandydata z najwyższym wynikiem złożonym. To jest zalecana wersja do wdrożenia.

Jak są obliczane wyniki

Każdy ewaluator w zestawie danych generuje nieprzetworzone wyniki odpowiedzi agenta. Optymalizator przetwarza te wyniki w celu wygenerowania złożonego wyniku pokazanego w wynikach:

  • Przeskalowanie: surowy wynik każdego oceniającego jest przeskalowywany do zakresu 0–1.
  • Przerzuć w razie potrzeby: jeśli ewaluator jest skonfigurowany tak, aby niższy był lepszy, wynik jest przerzucany tak, aby wszyscy ewaluatorzy używali semantyki "wyższe jest lepsze".
  • Średnia: Wyniki przeskalowane ponownie we wszystkich ewaluatorach i zadaniach są uśredniane w celu wygenerowania złożonego wyniku.

Wynik łączny: Średnia wszystkich przeskalowanych wyników ewaluatora we wszystkich zadaniach.

Interpretuj ulepszenia wyniku

Poprawa Interpretacja
Mniej niż 0,03 Hałasu. Nie jest to znacząca poprawa.
Od 0,03 do 0,10 Umiarkowana poprawa. Warto wdrożyć.
Od 0,10 do 0,20 Znacząca poprawa.
Większe niż 0,20 Większa poprawa. Prawdopodobnie z słabego punktu odniesienia.

Kompromisy związane z tokenami

Zoptymalizowane instrukcje są często dłuższe i bardziej szczegółowe, co może zwiększyć użycie tokenu odpowiedzi. Rozważ następujące czynniki:

  • Czy wzrost tokenu jest proporcjonalny do poprawy oceny
  • Czy wzrost kosztów pasuje do budżetu
  • Czy odpowiedzi są niepotrzebnie rozwlekłe, czy też ich większa długość wnosi wartość

Ograniczenia i dostępność

Treści powiązane

  • Last updated on