Értékelés futtatása GitHub műveletben (előzetes verzió)

Fontos

A cikkben előnézetként megjelölt elemek jelenleg előzetes verzióban érhetők el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és Microsoft nem javasolja éles számítási feladatokhoz. Előfordulhat, hogy bizonyos funkciók nem támogatottak, vagy korlátozott képességekkel rendelkeznek. További információ: Supplemental Terms of Use for Microsoft Azure Previews.

Ez a GitHub akció lehetővé teszi a Microsoft Foundry agentek offline kiértékelését a CI/CD-folyamatok keretében. Gördülékenyebbé teszi az offline kiértékelési folyamatot, így azonosíthatja a lehetséges problémákat, és fejlesztéseket végezhet, mielőtt közzétenné a frissítést a számítási környezetben.

A művelet használatához adjon meg egy adatkészletet teszt lekérdezésekkel és a kiértékelők listájával. Ez a művelet meghívja az ügynököket a lekérdezésekkel, futtatja az értékeléseket, és létrehoz egy összefoglaló jelentést.

Funkciók

Ügynökértékelés: Automatizálja a Microsoft Foundry ügynökök előzetes értékelését a CI/CD munkafolyamatában.
Értékelők: Használjon bármilyen értékelőt a Foundry értékelő katalógusából.
Statisztikai elemzés: A kiértékelési eredmények közé tartoznak a megbízhatósági intervallumok és a statisztikai pontosság vizsgálata annak megállapítására, hogy a változások értelmesek-e, és nem véletlenszerű eltérések miatt.

Értékelők kategóriái

Ügynök-kiértékelők: Folyamat- és rendszerszintű kiértékelők ügynök-munkafolyamatokhoz.
RAG-kiértékelők: A RAG-rendszerekben a végpontok közötti és a lekérési folyamatok kiértékelése.
Kockázat- és biztonságértékelők: A válaszok kockázatainak és biztonsági aggályainak felmérése.
Általános célú értékelők: Minőségértékelés, például koherencia és folyékonyság.
OpenAI-alapú osztályozók: OpenAI-osztályozók használata, beleértve a sztringellenőrzést, a szöveg hasonlóságát, a pontszám-/címkemodellt.
Custom-kiértékelők: Határozza meg saját egyéni kiértékelőit Python kód vagy LLM-alapú értékelési minták használatával.

Előfeltételek

Egy projekt. További információ: Projekt létrehozása.
Egy Öntödei ügynök.

Tipp

A hitelesítés ajánlott módja a Microsoft Entra ID használata, amellyel biztonságosan csatlakozhat a Azure-erőforrásokhoz. A hitelesítési folyamatot a Azure Bejelentkezési GitHub művelettel automatizálhatja. További információ: Azure Bejelentkezési művelet az OpenID Connecttel.

AI-ügynökök értékelésének elindítása

AI-ügynök kiértékelési bemenete

Paraméterek

Név	Szükséges?	Leírás
azure-ai-projekt-végpont	Igen	A Microsoft Foundry Project végpontja. Az érték megkereséséhez nyissa meg a projektet az Foundry portálon , és másolja a végpontot az Áttekintés lapról.
telepítés neve	Igen	A kiértékeléshez használni kívánt Azure AI-modell üzembe helyezésének neve. Keresse meg a meglévő üzembe helyezéseket a Modellek + végpontok területen az Foundry portálon.
adatelérési út	Igen	A kiértékelőket és a kiértékelők bemeneti lekérdezéseit tartalmazó adatfájl elérési útja.
ügynökazonosítók	Igen	Egy vagy több, formátum `agent-name:version` szerint kiértékelendő ügynök azonosítója (például `my-agent:1my-agent:1,my-agent:2`). Több ügynök vesszővel van elválasztva és összehasonlítva a statisztikai vizsgálati eredményekkel.
bázisügynök azonosítója	Nem	A több ügynök kiértékelésekor összehasonlítandó alapügynök azonosítója. Ha nincs megadva, a rendszer az első ügynököt használja.

Megjegyzés

Az ügynökazonosító és -verzió megkereséséhez nyissa meg a projektet az Foundry portálon, nyissa meg az Ügynökök lapot, jelölje ki az ügynököt, és másolja az ügynökazonosítót a részletek panelről. A verzió az üzembehelyezési verzió száma (például my-agent:1).

Adatfájl

A bemeneti adatfájlnak az alábbi struktúrájú JSON-fájlnak kell lennie:

Mező	Típus	Szükséges?	Leírás
név	karakterlánc	Igen	A kiértékelési adatkészlet neve.
értékelők	string[]	Igen	A használni kívánt kiértékelőnevek listája. Tekintse meg az elérhető kiértékelők listáját a projekt kiértékelőkatalógusában az Foundry portálon: Build > Evaluations > Evaluationor catalog.
adat	objektum[]	Igen	Bemeneti objektumok tömbje `query`-val, és választható kiértékelőmezők, mint például `ground_truth` és `context`. Automatikusan hozzárendelve a kiértékelőkhöz; felülbírálásra használható `data_mapping` .
openai_graders	objektum	Nem	OpenAI-alapú kiértékelők konfigurálása (label_model, score_model, string_check stb.).
értékelő_paraméterek	objektum	Nem	Kiértékelőspecifikus inicializálási paraméterek (például küszöbértékek, egyéni beállítások).
adatleképezés	objektum	Nem	Egyéni adatmező-leképezések (ha nincsenek megadva az adatokból automatikusan létrehozva).

Alapszintű mintaadatfájl

{
  "name": "test-data",
  "evaluators": [
    "builtin.fluency",
    "builtin.task_adherence",
    "builtin.violence"
  ],
  "data": [
    {
      "query": "Tell me about Tokyo disneyland"
    },
    {
      "query": "How do I install Python?"
    }
  ]
}

További mintaadatfájlok

Fájlnév	Leírás
dataset-tiny.json	Kis számú teszt lekérdezéssel és kiértékelővel rendelkező adatkészlet.
dataset.json	Adatkészlet az összes támogatott kiértékelőtípussal és elegendő lekérdezéssel a megbízhatósági intervallum kiszámításához és statisztikai teszteléséhez.
dataset-builtin-evaluators.json	Beépített Foundry értékelők példái (például koherencia, folyékonyság, relevancia, megalapozottság, metrikák).
dataset-openai-graders.json	OpenAI-alapú osztályozók példa (címkemodellek, pontszámmodellek, szöveg hasonlósága, sztringellenőrzések).
dataset-custom-evaluators.json	Egyéni kiértékelők példa kiértékelőparaméterekkel.
dataset-data-mapping.json	Adatleképezési példa az automatikus mezőtérképezések egyedi oszlopnevekkel történő felülbírálására.

AI-ügynök kiértékelési munkafolyamata

A GitHub művelet használatához adja hozzá a GitHub műveletet a CI-/CD-munkafolyamatokhoz. Adja meg az eseményindító feltételeit, például a commit-ot, valamint az automatizált munkafolyamatok aktiválásához szükséges fájlútvonalakat.

Tipp

A költségek minimalizálása érdekében ne futtasson értékelést minden véglegesítésen.

Ez a példa bemutatja, hogyan futtatható az AI-ügynök kiértékelése, ha különböző ügynököket hasonlít össze ügynökazonosítók használatával.

name: "AI Agent Evaluation"

on:
  workflow_dispatch:
  push:
    branches:
      - main

permissions:
  id-token: write
  contents: read

jobs:
  run-action:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
        uses: actions/checkout@v4

      - name: Azure login using Federated Credentials
        uses: azure/login@v2
        with:
          client-id: ${{ vars.AZURE_CLIENT_ID }}
          tenant-id: ${{ vars.AZURE_TENANT_ID }}
          subscription-id: ${{ vars.AZURE_SUBSCRIPTION_ID }}

      - name: Run Evaluation
        uses: microsoft/ai-agent-evals@v3-beta
        with:
          # Replace placeholders with values for your Foundry Project
          azure-ai-project-endpoint: "<your-ai-project-endpoint>"
          deployment-name: "<your-deployment-name>"
          agent-ids: "<your-ai-agent-ids>"
          data-path: ${{ github.workspace }}/path/to/your/data-file

AI-ügynök kiértékelési kimenete

A kiértékelési eredmények a GitHub Actions alatt futtatott AI-kiértékelési GitHub műveletek összefoglaló szakaszában jelennek meg. A jelentés az egyes metrikák kiértékelési pontszámait, a megbízhatósági intervallumokat és – több ügynök kiértékelésekor – egy páronkénti statisztikai összehasonlítást jelenít meg, amely azt jelzi, hogy a különbségek jelentőséggel bírnak-e, vagy véletlenszerű variáción belül vannak-e.

Az alábbi képernyőképen egy mintajelentés látható, amely két ügynököt hasonlít össze.

Visszajelzés

Hasznosnak találta ezt az oldalt?

Utolsó frissítés időpontja: 2026-04-30