Jak spustit hodnocení v Azure DevOps (náhled)

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v tématu Supplementální podmínky použití pro Microsoft Azure Verze Preview.

Toto rozšíření Azure DevOps umožňuje offline vyhodnocení agentů Microsoft Foundry Agents v rámci kanálů CI/CD. Zjednodušuje proces offline vyhodnocení, takže můžete identifikovat potenciální problémy a před vydáním aktualizace do produkčního prostředí provést vylepšení.

Pokud chcete toto rozšíření použít, zadejte datovou sadu s testovacími dotazy a seznam vyhodnocovačů. Tato úloha spouští agenty pomocí dotazů, vyhodnotí je a vygeneruje souhrnnou zprávu.

Funkce

  • Agent Evaluation: Automatizace předprodukčního posouzení agentů Microsoft Foundry v pracovním postupu CI/CD
  • Vyhodnocovače: Použijte všechny vyhodnocovače z katalogu vyhodnocovače Foundry.
  • Statistická analýza: Výsledky vyhodnocení zahrnují intervaly spolehlivosti a test statistické významnosti, aby bylo možné určit, jestli jsou změny smysluplné, a ne kvůli náhodné variaci.

Kategorie vyhodnocovače

Požadavky

Tip

Doporučenou metodou ověřování je Microsoft Entra ID přes připojení služby Azure Resource Manager. V projektu Azure DevOps vytvořte připojení služby a potom na něj v sestavě použijte úlohu před .

Vstupy

Parametry

Jméno Požadované? Popis
Azure - koncový bod AI projektu (umělá inteligence) Ano Koncový bod vašeho projektu Microsoft Foundry. Pokud chcete tuto hodnotu najít, otevřete projekt na portálu Foundry a zkopírujte koncový bod ze stránky Přehled .
název nasazení Ano Název nasazení modelu AI Azure, který se má použít k vyhodnocení. Na portálu Foundry vyhledejte existující nasazení v části Modely a koncové body .
cesta k datům Ano Cesta k datovému souboru, který obsahuje vyhodnocovače a vstupní dotazy pro vyhodnocení
ID agentů Ano ID jednoho nebo více agentů, kteří se mají vyhodnotit ve formátu agent-name:version (například my-agent:1 nebo my-agent:1,my-agent:2). Více agentů jsou odděleni čárkami a jsou porovnáni s výsledky statistických testů.
základní-ID-agenta Ne ID základního agenta pro porovnání při vyhodnocování více agentů. Pokud není zadán, použije se první agent.

Poznámka

Pokud chcete najít ID a verzi agenta, otevřete projekt na portálu Foundry, přejděte na Agenti, vyberte svého agenta a zkopírujte ID agenta z podokna podrobností. Verze je číslo verze nasazení (například my-agent:1).

Datový soubor

Vstupním datovým souborem by měl být soubor JSON s následující strukturou:

Pole Typ Požadované? Popis
Jméno řetězec Ano Název vyhodnocovací datové sady
hodnotitelé string[] Ano Seznam názvů vyhodnocovače, které se mají použít Podívejte se na seznam dostupných vyhodnocovačů ve vašem projektu v katalogu vyhodnocovače na portálu Foundry: Sestavení hodnocení katalogu vyhodnocovačů >>.
data object[] Ano Pole vstupních objektů s query a volitelnými poli vyhodnocovačů, například ground_truth, context. Automaticky přiřazeno vyhodnocovačům; použijte data_mapping k překonfigurování.
openai_graders objekt Ne Konfigurace pro vyhodnocovače založené na OpenAI (label_model, score_model, string_check atd.).
parametry_hodnotitele objekt Ne Parametry inicializace specifické pro vyhodnocovače (například prahové hodnoty, vlastní nastavení).
mapování dat objekt Ne Mapování vlastních datových polí (automaticky generované z dat, pokud není k dispozici).

Základní ukázkový datový soubor


{
  "name": "test-data",
  "evaluators": [
    "builtin.fluency",
    "builtin.task_adherence",
    "builtin.violence"
  ],
  "data": [
    {
      "query": "Tell me about Tokyo disneyland"
    },
    {
      "query": "How do I install Python?"
    }
  ]
}

Další ukázkové datové soubory

Název_souboru Popis
dataset-tiny.json Datová sada s malým počtem testovacích dotazů a vyhodnocovačů
dataset.json Datová sada se všemi podporovanými typy vyhodnocovače a dostatečnými dotazy na výpočet intervalu spolehlivosti a statistickým testem
dataset-builtin-evaluators.json Předdefinované vyhodnocovače Foundry (například soudržnost, plynulost, relevance, uzemnění, metriky).
dataset-openai-graders.json Příklad známek založených na OpenAI (modely popisků, modely skóre, podobnost textu, kontroly řetězců).
dataset-custom-evaluators.json Příklad vlastních vyhodnocovačů s parametry vyhodnocovače
dataset-data-mapping.json Příklad mapování dat, které ukazuje, jak přepsat automatická mapování polí pomocí vlastních názvů datových sloupců.

Ukázkový kanál

Pokud chcete toto rozšíření použít, přidejte do kanálu Azure úlohu AIAgentEvaluation@2. Následující příklad ukazuje úplný datový kanál, který se autentizuje pomocí připojení ke službě Azure Resource Manager a vyhodnocuje agenta.

steps:
  - task: AIAgentEvaluation@2
    displayName: "Evaluate AI Agents"
    inputs:
      azure-ai-project-endpoint: "$(AzureAIProjectEndpoint)"
      deployment-name: "$(DeploymentName)"
      data-path: "$(System.DefaultWorkingDirectory)/path/to/your/dataset.json"
      agent-ids: "$(AgentIds)"

Výsledky vyhodnocení a výstupy

Výsledky vyhodnocení se zobrazí v souhrnu pipelinu Azure DevOps. Sestava zobrazuje hodnoty skóre pro každou metriku, intervaly spolehlivosti a, když vyhodnotíte více agentů, párové statistické porovnání, které označuje, zda jsou rozdíly významné, nebo spadají do náhodné variace.

Následující snímek obrazovky ukazuje ukázkovou sestavu, která porovnává dva agenty.

Snímek obrazovky souhrnu kanálu Azure DevOps zobrazující skóre hodnocení agentů s intervaly spolehlivosti a párové statistické srovnání pro dva agenty.

Související obsah

  • Last updated on