Bewerten und Optimieren von KI-Agents durch strukturierte Experimente
Erfahren Sie, wie Sie KI-Agenten durch strukturierte Bewertung optimieren, die Schätzarbeiten in nachweisbasierte Engineering-Entscheidungen verwandelt. Sie erfahren, wie Sie Auswertungsexperimente mit klaren Metriken für Qualität, Kosten und Leistung entwerfen. Organisieren von Experimenten mithilfe von Git-basierten Workflows; Bewertungsrubrik für eine konsistente Bewertung erstellen; und vergleichen Sie Ergebnisse, um fundierte Optimierungsentscheidungen zu treffen.
Lernziele
In diesem Modul haben Sie Folgendes gelernt:
- Entwerfen von Auswertungsexperimenten mit klaren Metriken für Qualität, Kosten und Leistung
- Anwenden von Git-basierten Workflows zum systematischen Organisieren und Vergleichen von Agentvarianten
- Erstellen von Bewertungsrichtlinien, die eine konsistente Bewertung durch menschliche Bewerter hinweg sicherstellen
- Vergleichen von Experimentergebnissen, um nachweisbasierte Optimierungsentscheidungen zu treffen
Voraussetzungen
Bevor Sie mit diesem Modul beginnen, sollten die folgenden Voraussetzungen erfüllt sein:
- Grundlegendes Verständnis von KI-Agents und großen Sprachmodellen
- Vertrautheit mit Git-Versionssteuerungsworkflows
- Erfahrung mit Microsoft Azure AI Foundry oder ähnlichen KI-Entwicklungsplattformen
Erste Schritte mit Azure
Wählen Sie das für Sie geeignete Azure-Konto aus. Nutzen Sie die Vorausbezahlung, oder testen Sie Azure kostenlos für bis zu 30 Tage. Registrieren Sie sich.