Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Von großer Bedeutung
Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.
In diesem Artikel erfahren Sie, wie Sie Ihren Modellauswahlprozess im Azure AI Foundry-Modellkatalog optimieren können, indem Sie Modelle in den Modell-Bestenlisten (Vorschau) vergleichen, die im Azure AI Foundry-Portal verfügbar sind. Dieser Vergleich kann Ihnen dabei helfen, fundierte Entscheidungen darüber zu treffen, welche Modelle die Anforderungen für Ihren jeweiligen Anwendungsfall oder Ihre Anwendung erfüllen. Sie können Modelle vergleichen, indem Sie die folgenden Bestenlisten anzeigen:
- Qualitäts-, Sicherheits-, Kosten- und Leistungs-Bestenlisten , um die Modellführer schnell anhand eines einzigen Kriteriums (Qualität, Kosten oder Durchsatz) zu identifizieren;
- Trade-off-Diagramme zeigen, wie Modelle auf einer Metrik im Vergleich zu einer anderen abschneiden, z. B. Qualität im Vergleich zu Kosten, anhand verschiedener Auswahlkriterien.
- Bestenlisten nach Szenario , um die besten Bestenlisten für Ihr Szenario zu finden.
Voraussetzungen
Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Kostenlose Versionen oder Testversionen von Azure-Abonnements funktionieren nicht. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto.
Zugriff auf Modell-Ranglisten
- Melden Sie sich bei Azure KI Foundry an.
- Wenn Sie sich noch nicht in Ihrem Projekt befinden, wählen Sie es aus.
- Wählen Sie im linken Bereich den Modellkatalog aus.
Wechseln Sie zum Abschnitt " Modell-Bestenlisten" des Modellkatalogs . In diesem Abschnitt werden die drei führenden Modelle angezeigt, die in Bezug auf Qualität, Kosten und Leistung bewertet wurden. Sie können eines dieser Modelle auswählen, um weitere Details anzuzeigen.
Wählen Sie im Abschnitt "Modell-Bestenlisten" des Modellkatalogs die Option "Bestenlisten durchsuchen" aus, um zur Startseite der Modell-Bestenlisten zu wechseln, um die vollständige Suite der verfügbaren Bestenlisten anzuzeigen.
Auf der Homepage werden Highlights der Ranglisten für Modellauswahlkriterien angezeigt. Qualität ist das häufigste Kriterium für die Modellauswahl, gefolgt von Sicherheit, Kosten und Leistung.
Vergleichen von Modellen in den Trade-off-Diagrammen
Mit Kompromissdiagrammen können Sie Modelle anhand der Kriterien vergleichen, die Sie mehr interessieren. Angenommen, Sie interessieren sich für mehr Kosten als Qualität, und Sie entdecken, dass das höchste Qualitätsmodell nicht das billigste Modell ist, Sie müssen möglicherweise Kompromisse zwischen Qualität, Kosten und Leistungskriterien machen. In den Trade-off-Diagrammen können Sie auf einen Blick vergleichen, wie Modelle in Bezug auf zwei Metriken abschneiden.
- Wählen Sie das Dropdown-Menü "Modelle ausgewählt", um Modelle im Abwägungsdiagramm hinzuzufügen oder zu entfernen.
- Wählen Sie die Registerkarte "Qualität vs. Kosten " und die Registerkarte " Qualität im Vergleich zum Durchsatz " aus, um diese Diagramme für Ihre ausgewählten Modelle anzuzeigen.
- Wählen Sie "Zwischen Metriken vergleichen" aus, um auf detailliertere Ergebnisse für jedes Modell zuzugreifen.
Anzeigen von Ranglisten nach Szenario
Angenommen, Sie haben ein Szenario, das bestimmte Modellfunktionen erfordert. Angenommen, Sie entwickeln einen Frage-Antwort-Chatbot, der gute Fähigkeiten im Umgang mit Fragen, Antworten und logischem Denken erfordert. Möglicherweise ist es hilfreich, Modelle in diesen Bestenlisten zu vergleichen, die von funktionsspezifischen Benchmarks unterstützt werden.
Nachdem Sie die Ranglisten geprüft haben, können Sie sich für ein Modell entscheiden.
Benchmarks aus der Modellkarte anzeigen
Wählen Sie ein Modell nach Ihren Wünschen aus, und wählen Sie "Modelldetails" aus. Sie können das Modell aus einer der angezeigten Bestenlisten auswählen, z. B. die Qualitätsrangliste oben auf der Startseite der Modell-Bestenlisten. Wählen Sie in diesem Beispiel "gpt-4o" aus. Diese Aktion öffnet die Übersichtsseite des Modells.
Wechseln Sie zur Registerkarte Benchmarks, um die Benchmarkergebnisse für das Modell zu überprüfen.
Wählen Sie "Mit weiteren Modellen vergleichen" aus.
Wechseln Sie zur Listenansicht , um auf detailliertere Ergebnisse für jedes Modell zuzugreifen.
Analysieren von Benchmarkergebnissen
Wenn Sie sich auf der Registerkarte „Benchmarks“ für ein bestimmtes Modell befinden, können Sie umfangreiche Informationen sammeln, um die Benchmarkergebnisse besser zu verstehen und zu interpretieren. Dazu zählen folgende:
Allgemeine aggregierte Bewertungen: Diese Bewertungen für KI-Qualität, Kosten, Latenz und Durchsatz bieten einen schnellen Überblick über die Leistung des Modells.
Vergleichsdiagramme: Diese Diagramme zeigen die relative Position des Modells im Vergleich zu verwandten Modellen an.
Vergleichstabelle für Metriken: Diese Tabelle enthält detaillierte Ergebnisse für jede Metrik.
Standardmäßig zeigt Azure KI Foundry einen durchschnittlichen Index für verschiedene Metriken und Datasets an, um einen allgemeinen Überblick über die Modellleistung bereitzustellen.
So greifen Sie auf Benchmarkergebnisse für eine bestimmte Metrik und ein bestimmtes Dataset zu
Wählen Sie die Schaltfläche „Erweitern“ im Diagramm aus. Das Popupvergleichsdiagramm zeigt detaillierte Informationen an und bietet mehr Flexibilität für den Vergleich.
Wählen Sie die relevante Metrik und dann verschiedene Datasets basierend auf Ihrem jeweiligen Szenario aus. Wenn Sie detailliertere Definitionen der Metriken und Beschreibungen der öffentlichen Datasets, die zum Berechnen von Ergebnissen verwendet werden, erhalten möchten, wählen Sie Weitere Informationen aus.
Benchmark-Ergebnisse mit Ihren Daten auswerten
In den vorherigen Abschnitten wurden die von Microsoft mithilfe eines öffentlichen Datasets berechneten Benchmarkergebnisse gezeigt. Sie können jedoch versuchen, denselben Satz von Metriken mit Ihren Daten neu zu generieren.
Kehren Sie zur Registerkarte Benchmarks auf der Modellkarte zurück.
Wählen Sie Mit eigenen Daten testen aus, um das Modell mit Ihren Daten auszuwerten. Anhand der Auswertung Ihrer Daten können Sie sehen, wie das Modell in Ihren jeweiligen Szenarien funktioniert.
