Zusammenfassung
In diesem Modul haben Sie den vollständigen Workflow zum Auswählen, Bereitstellen und Auswerten von Foundry Models untersucht. Sie haben gelernt, wie Sie fundierte Entscheidungen zur Modellauswahl mithilfe von Benchmarks treffen, Modelle auf Endpunkten bereitstellen und wie Sie ihre Leistung mithilfe verschiedener Bewertungsansätze bewerten.
Wichtige Erkenntnisse
Der Model-Katalog des Microsoft Foundry-Portals bietet Zugriff auf über 1.900 Modelle von Anbietern wie Microsoft, OpenAI, Meta, Mistral und Hugging Face. Durch effektive Filterung nach Sammlung, Funktionen, Bereitstellungsoptionen und anderen Attributen können Sie den Katalog auf Modelle einschränken, die Ihren Anforderungen entsprechen.
Modell-Benchmarks bieten objektive Vergleiche zwischen Qualität, Sicherheit, Kosten und Leistungsdimensionen. Qualitätsmetriken wie Genauigkeit, Kohärenz und Fluency bewerten, wie gut Modelle geeignete Antworten generieren. Sicherheitsmetriken identifizieren Risiken in Bezug auf schädliche Inhalte. Kosten-Benchmarks helfen dabei, die Qualität mit Budgeteinschränkungen auszugleichen. Leistungsmetriken wie Latenz und Durchsatz geben die Reaktionsfähigkeit für Echtzeitanwendungen an.
Bereitstellungsoptionen umfassen die serverlose API für die Flexibilität bei Pay-per-Call, bereitgestellte Bereitstellungen für konsistente Workloads mit hohem Volumen, verwaltete Compute für VM-basiertes Hosting und Batchverarbeitung für kostenoptimierte, nicht interaktive Aufträge. Jede Option bietet unterschiedliche Merkmale für Skalierung, Abrechnung und Kontrolle.
Tests im Playground bieten sofortiges Feedback zum Modellverhalten, ohne Code zu schreiben. Sie können mit Eingabeaufforderungen experimentieren, Parameter anpassen und Antworten beobachten, um Modellfunktionen zu verstehen, bevor Sie in Anwendungen integrieren.
Evaluierungsansätze reichen von manuellen Tests bis hin zu automatisierten Metriken. Manuelle Auswertung erfasst subjektive Qualitätsaspekte wie Benutzerzufriedenheit und kontextbezogene Angemessenheit. KI-unterstützte Metriken bewerten automatisch Qualitäts- und Sicherheitsrisiken der Generation. NLP-Metriken wie F1-Score und ROUGE bieten einen mathematischen Vergleich mit Boden-Wahrheitsdaten.
Mit umfassenden Auswertungsflüssen im Microsoft Foundry-Portal können Sie systematische Bewertungen mithilfe von Test-Datasets und mehreren Metriken ausführen. Ergebnisse identifizieren Stärken, Schwächen und Bereiche, die Verbesserung erfordern, und leiten iterative Entwicklung Ihrer generativen KI-Anwendungen.
Nächste Schritte
Berücksichtigen Sie bei bereitgestellten und ausgewerteten Modellen die folgenden nächsten Schritte:
Integrieren Sie Modelle in Anwendungen mithilfe der SDKs, REST-APIs und Codebeispiele, die im Microsoft Foundry-Portal bereitgestellt werden. Ihre Anwendungen können jetzt bereitgestellte Modelle über authentifizierte API-Aufrufe nutzen.
Implementieren Sie Retrieval Augmented Generation (RAG), um Modellantworten in den Daten Ihrer Organisation zu verankern. RAG kombiniert Modelle mit Suchfunktionen, um genaue, kontextbezogene Antworten basierend auf Ihren Dokumenten und Wissensdatenbanken bereitzustellen.
Anwenden Sie die Dienste für Azure AI Content Safety, um eine zusätzliche Schutzebene vor schädlichen Inhalten hinzuzufügen. Inhaltsfilter können ungeeignete Eingaben und Ausgaben blockieren und ergänzen so die Sicherheitsfunktionen auf Modellebene.
Optimieren Sie Modelle (wenn unterstützt) in Ihrer spezifischen Domäne, oder verwenden Sie den Anwendungsfall, um die Leistung für spezielle Szenarien zu verbessern. Die Feinabstimmung passt allgemeine Zweckmodelle an Ihre individuellen Anforderungen an.
Überwachen Sie die Produktionsleistung mithilfe von Azure Monitor und Application Insights, um Nutzung, Latenz, Kosten und Fehler zu verfolgen. Die fortlaufende Überwachung stellt sicher, dass Ihre Anwendungen fehlerfrei und leistungsfähig bleiben.
Iterieren Sie basierend auf dem Benutzerfeedback, indem Sie Nutzungsdaten aus der realen Welt sammeln und regelmäßige Neubewertungen durchführen. Durch eine kontinuierliche Verbesserung werden Ihre generativen KI-Anwendungen an die Benutzeranforderungen angepasst.
Die Fähigkeiten, die Sie in diesem Modul entwickelt haben – auswählen geeigneter Modelle, effektive Bereitstellung und Bewertung ihrer Leistung – bilden die Grundlage für die Erstellung robuster, qualitativ hochwertiger generativer KI-Anwendungen mithilfe von Microsoft Foundry.