Freigeben über

Ausführen einer Auswertung in Azure DevOps (Vorschau)

Von Bedeutung

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Diese Azure DevOps-Erweiterung ermöglicht die Offlineauswertung von Microsoft Foundry Agents in Ihren CI/CD-Pipelines. Er optimiert den Offlineauswertungsprozess, sodass Sie potenzielle Probleme erkennen und Verbesserungen vornehmen können, bevor Sie ein Update für die Produktion veröffentlichen.

Um diese Erweiterung zu verwenden, stellen Sie einen Datensatz mit Testabfragen und einer Liste der Auswertungen bereit. Diese Aufgabe ruft Ihre Agents mit den Abfragen auf, wertet sie aus und generiert einen Zusammenfassenden Bericht.

Features

  • Agent Evaluation: Automatisieren Sie die Vorproduktionsbewertung von Microsoft Foundry Agents in Ihrem CI/CD-Workflow.
  • Evaluatoren: Verwenden Sie alle Bewerter aus dem Gießerei-Evaluatorkatalog.
  • Statistische Analyse: Auswertungsergebnisse umfassen Konfidenzintervalle und Tests zur statistischen Signifikanz, um festzustellen, ob Änderungen sinnvoll sind und nicht aufgrund zufälliger Variation.

Bewertungskategorien

Voraussetzungen

Eingänge

Die Parameter

Name Erforderlich? Description
azure-ai-project-endpoint Ja Endpunkt Ihres Microsoft Foundry Projekts.
Bereitstellungsname Ja Der Name der Azure AI-Modellbereitstellung, die für die Auswertung verwendet werden soll.
Datenpfad Ja Pfad zur Datendatei, die die Auswerter und Eingabeabfragen für die Bewertungen enthält.
agent-IDs Ja ID eines oder mehrerer Agents, die im Format agent-name:version ausgewertet werden sollen (z. B my-agent:1 . oder my-agent:1,my-agent:2). Mehrere Agenten sind durch Kommas getrennt und werden mit den statistischen Testergebnissen verglichen.
Baseline-Agenten-ID Nein ID des Basis-Agents, der beim Auswerten mehrerer Agents verglichen werden soll. Wenn nicht angegeben, wird der erste Agent verwendet.

Datendatei

Die Eingabedatendatei sollte eine JSON-Datei mit der folgenden Struktur sein:

Feld Typ Erforderlich? Description
Name Schnur Ja Name des Auswertungsdatensatzes.
Bewerter string[] Ja Liste der zu verwendenden Evaluatornamen. Sehen Sie sich die Liste der verfügbaren Evaluatoren im Evaluator-Verzeichnis Ihres Projekts im Foundry-Portal an: Build > Evaluation > Evaluator-Verzeichnis.
Daten Objekt[] Ja Array von Eingabeobjekten mit query und optionalen Evaluator-Feldern wie ground_truth, context. Automatisch Auswertern zugewiesen; data_mapping kann verwendet werden, um dies zu überschreiben.
openai_graders Objekt Nein Konfiguration für OpenAI-basierte Bewerter (label_model, score_model, string_check usw.).
Evaluator-Parameter Objekt Nein Evaluatorspezifische Initialisierungsparameter (z. B. Schwellenwerte, benutzerdefinierte Einstellungen).
data_mapping Objekt Nein Benutzerdefinierte Datenfeldzuordnungen (automatisch generiert aus Daten, falls nicht angegeben).

Grundlegende Beispieldatendatei


{
  "name": "test-data",
  "evaluators": [
    "builtin.fluency",
    "builtin.task_adherence",
    "builtin.violence",
  ],
  "data": [
    {
      "query": "Tell me about Tokyo disneyland"
    },
    {
      "query": "How do I install Python?"
    }
  ]
}

Zusätzliche Beispieldatendateien

Dateiname Description
dataset-tiny.json Dataset mit einer kleinen Anzahl von Testabfragen und Auswertungen.
dataset.json Dataset mit allen unterstützten Auswertungstypen und ausreichenden Abfragen für die Berechnung von Konfidenzintervallen und statistischen Tests.
dataset-builtin-evaluators.json Integrierte Bewertungsprogramme für Foundry (z. B. Kohärenz, Flüssigkeit, Relevanz, Fundierung, Metriken).
dataset-openai-graders.json OpenAI-basierte Grader (Beispiel für Beschriftungsmodelle, Bewertungsmodelle, Textähnlichkeit, Zeichenfolgenprüfungen).
dataset-custom-evaluators.json Beispiel für benutzerdefinierte Evaluatoren mit Evaluator-Parametern.
dataset-data-mapping.json Beispiel für die Datenzuordnung, das zeigt, wie automatische Feldzuordnungen mit benutzerdefinierten Spaltennamen überschrieben werden können.

Beispielpipeline

Um diese Azure DevOps-Erweiterung zu verwenden, fügen Sie der Azure-Pipeline die Aufgabe hinzu, und konfigurieren Sie die Authentifizierung für den Zugriff auf Ihr Microsoft Foundry-Projekt.

steps:
  - task: AIAgentEvaluation@2
    displayName: "Evaluate AI Agents"
    inputs:
      azure-ai-project-endpoint: "$(AzureAIProjectEndpoint)"
      deployment-name: "$(DeploymentName)"
      data-path: "$(System.DefaultWorkingDirectory)/path/to/your/dataset.json"
      agent-ids: "$(AgentIds)"

Ergebnisse und Ausgaben der Auswertung

Auswertungsergebnisse werden in der Azure DevOps-Pipelinezusammenfassung mit detaillierten Metriken und Vergleichen zwischen Agents angezeigt, wenn mehrere ausgewertet werden.

Ausgabe der Auswertungsergebnisse im Zusammenfassungsabschnitt für jede KI-Auswertungsaufgabe, die in Ihrer Azure DevOps-Pipeline ausgeführt wird.

Der folgende Screenshot ist ein Beispielbericht zum Vergleichen von zwei Agents.

Screenshot des Agentenbewertungsergebnisses.

Verwandte Inhalte

  • Last updated on