Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Die Auswertung hilft Ihnen, die Qualität, Sicherheit und Zuverlässigkeit von Modellen und Agenten während der gesamten Entwicklung und Produktion zu messen. In Microsoft Foundry können Sie vorhandene Ausgaben in einem Test-Dataset auswerten, Antworten aus einem Modell oder Agent mithilfe von Testeingaben generieren oder Produktionsablaufverfolgungen auswerten.
Eine Auswertung verwendet einen oder mehrere Evaluatoren für Ihre Daten oder Anwendung. Evaluatoren erzeugen Metriken und, wenn sie unterstützt werden, Erklärungen, die Ihnen helfen, Versionen zu vergleichen, Qualitätsprobleme zu finden und zu entscheiden, ob eine Anwendung bereit für die Bereitstellung ist.
Evaluierungsworkflow erstellen
Die meisten Auswertungsworkflows folgen diesen Schritten:
- Wählen Sie aus, was ausgewertet werden soll. Wählen Sie einen einzelnen Dialogzug oder eine vollständige Unterhaltung aus, und verwenden Sie ein vorhandenes Dataset, generierte Antworten, simulierte Unterhaltungen oder Produktionsablaufverfolgungen.
- Wählen Sie Bewerter aus. Wählen Sie die Qualitäts- und Sicherheitsmetriken aus, die für Ihre Anwendung wichtig sind, z. B. Aufgabenabschluss, Relevanz, Faktentreue, Ähnlichkeit oder Inhaltssicherheit.
- Führen Sie die Auswertung aus. Führen Sie sie einmal während der Entwicklung aus, fügen Sie sie ci/CD hinzu, oder konfigurieren Sie die wiederkehrende Auswertung für die Produktion.
- Überprüfen und verbessern. Analysieren Sie aggregierte Metriken und einzelne Ergebnisse, vergleichen Sie Versionen und beheben Sie wiederkehrende Fehlermuster.
Wählen Sie, wo Sie anfangen möchten
Note
Bevor Sie beginnen, überprüfen Sie die Berechtigungen für Evaluierungsworkflows, unterstützte Regionen und Ratenbeschränkungen und anforderungen an virtuelle Netzwerke.
Auswählen eines Evaluierungsansatzes
Wählen Sie die Auswertungseinheit aus, bevor Sie Evaluatoren auswählen. Die Bewertung auf Turn-Ebene bewertet einzelne Antworten. Die Auswertung auf Unterhaltungsebene bewertet eine vollständige Multi-Turn-Interaktion und kann Ergebnisse messen, z. B. den Abschluss einer Aufgabe über mehrere Schritte hinweg. Evaluatoren unterstützen bestimmte Bewertungsstufen.
| Ich möchte | Beginne hier |
|---|---|
| Einen gehosteten Agenten zum ersten Mal auswerten | Schnellstart: Ihren gehosteten Agent auswerten |
| Vorhandene Query-Response-Testdaten auswerten | Auswerten von Abfrageantwort-Datasets |
| Generieren und Auswerten von Antworten aus Testeingaben | Auswerten von Modell- und Agentantworten |
| Einzelne Interaktionen aus einem bereitgestellten Modell oder Agenten auswerten | Bereitgestellte Interaktionen bewerten |
| Auswertung eines Datensatzes mit vollständigen Unterhaltungen | Konversationsdatensätze auswerten |
| Vollständige Unterhaltungen bewerten, die in Produktionsablaufverfolgungen erfasst wurden | Bereitgestellte Konversationen bewerten |
| Multi-Turn-Agent-Verhalten vor dem Deployment simulieren | Agentgespräche simulieren |
| Generieren von Szenarien und Dialogen ohne manuelle Erstellung von Testdaten | Synthetische Konversationen generieren und auswerten |
| Ausführen von adversariellen Safety- und Security-Tests | Erfahren Sie mehr über ai red teaming |
Wählen Sie aus, wie Auswertungen ausgeführt werden
| Ich möchte | Beginne hier |
|---|---|
| Ausführen einer Auswertung im Foundry-Portal | Ausführen von Auswertungen über das Microsoft Foundry-Portal |
| Bewertungen programmgesteuert ausführen | Einführung in die Cloudbewertung mit dem Microsoft Foundry SDK |
| Agent-Bewertungen über die Befehlszeile ausführen | Ausführen von Agent-Auswertungen mit der azd CLI |
| Bewerten Sie den Produktionsdatenverkehr regelmäßig | Agenten überwachen und kontinuierliche Auswertung einrichten |
| Hinzufügen von Bewertungen zu einer Bereitstellungspipeline | Ausführen von Evaluierungen in GitHub Actions oder Azure DevOps |
Benötigte Komponenten finden
- Bewerter: Beginnen Sie mit den integrierten Bewertern, oder erstellen Sie einen benutzerdefinierten Evaluator für Ihre eigenen Kriterien.
- Auswertungsdaten: Erfahren Sie, wann Sie ein Auswertungsdatenset verwenden, synthetische Daten generieren oder wie Sie ein Dataset aus Produktionsablaufverfolgungen erstellen.
- Ergebnisse:Überprüfen Sie die Ergebnisse im Foundry-Portal, rufen Sie Cloudauswertungsergebnisse mit dem SDK ab oder verwenden Sie die Clusteranalyse, um häufige Fehlermuster zu finden.