Machine Learning – Bewerten

  • Artikel

Wichtig

Der Support für Machine Learning Studio (klassisch) endet am 31. August 2024. Es wird empfohlen, bis zu diesem Datum auf Azure Machine Learning umzustellen.

Ab dem 1. Dezember 2021 können Sie keine neuen Ressourcen in Machine Learning Studio (klassisch) mehr erstellen. Bis zum 31. August 2024 können Sie die vorhandenen Ressourcen in Machine Learning Studio (klassisch) weiterhin verwenden.

Die Dokumentation zu ML Studio (klassisch) wird nicht mehr fortgeführt und kann künftig nicht mehr aktualisiert werden.

In diesem Artikel werden die Module in Machine Learning Studio (klassisch) beschrieben, mit denen Sie ein Machine Learning-Modell auswerten können. Die Modellauswertung erfolgt nach Abschluss der Schulung, um die Genauigkeit der Vorhersagen zu messen und modellpassende Modelle zu bewerten.

Hinweis

Giltnur für: Machine Learning Studio (klassisch)

Ähnliche Drag & Drop-Module sind im Azure Machine Learning-Designer verfügbar.

In diesem Artikel wird auch der gesamte Prozess in Machine Learning Studio (klassisch) für die Modellerstellung, Schulung, Auswertung und Bewertung beschrieben.

Erstellen und Verwenden von Machine Learning-Modellen in Machine Learning Studio (klassisch)

Der typische Workflow für maschinelles Lernen umfasst die folgenden Phasen:

  1. Wählen Sie einen geeigneten Algorithmus aus, und legen Sie die ersten Optionen fest.
  2. Trainieren Sie das Modell mithilfe kompatibler Daten.
  3. Erstellen Sie Vorhersagen mithilfe neuer Daten, die auf den Mustern im Modell basieren.
  4. Bewerten Sie das Modell, um zu bestimmen, ob die Vorhersagen genau sind, die Fehlermenge und ob übereingestellt wird.

Machine Learning Studio (klassisch) unterstützt ein flexibles, anpassbares Framework für maschinelles Lernen. Jede Aufgabe in diesem Prozess wird von einem bestimmten Modultyp ausgeführt. Das Modul kann geändert, hinzugefügt oder entfernt werden, ohne den Rest des Experiments zu unterbrechen.

Verwenden Sie die Module in dieser Kategorie, um ein vorhandenes Modell auszuwerten. Die Modellauswertung erfordert in der Regel eine Art von Ergebnisdatensatz. Wenn Sie kein Auswertungs-Dataset haben, können Sie Ergebnisse durch Bewertung generieren. Sie können auch ein Test-Dataset oder einen anderen Satz von Daten verwenden, die "Boden-Wahrheit" oder bekannte erwartete Ergebnisse enthalten.

Weitere Informationen zur Modellauswertung

Im Allgemeinen hängen Ihre Optionen beim Auswerten eines Modells vom Typ des zu bewertenden Modells und der Metrik ab, die Sie verwenden möchten. In diesen Themen werden einige der am häufigsten verwendeten Metriken aufgeführt:

Machine Learning Studio (klassisch) bietet auch eine Vielzahl von Visualisierungen, je nachdem, welche Art von Modell Sie verwenden, und wie viele Klassen ihr Modell vorhergesagt wird. Hilfe bei der Suche nach diesen Visualisierungen finden Sie unter "Bewertungsmetriken anzeigen".

Die Interpretation dieser Statistiken erfordert häufig ein größeres Verständnis des bestimmten Algorithmus, auf dem das Modell trainiert wurde. Eine gute Erläuterung zum Auswerten eines Modells und zur Interpretation der für jedes Measure zurückgegebenen Werte finden Sie unter "Auswerten der Modellleistung in Machine Learning".

Liste der Module

Die Kategorie "Machine Learning - Auswerten" enthält die folgenden Module:

  • Cross-Validate Model: Überprüft Parameterschätzungen für Klassifizierungs- oder Regressionsmodelle durch Partitionieren der Daten.

    Verwenden Sie das Modul "Modellübergreifende Überprüfung", wenn Sie die Gültigkeit Ihres Schulungssatzes und des Modells testen möchten. Kreuzüberprüfung partitioniert die Daten in Faltungen und testet dann mehrere Modelle auf Kombinationen von Falten.

  • Bewertungsmodell: Wertet eine bewertete Klassifizierung oder ein Regressionsmodell mithilfe von Standardmetriken aus.

    In den meisten Fällen verwenden Sie das generische Bewertungsmodellmodul . Dies gilt insbesondere, wenn Ihr Modell auf einer der unterstützten Klassifizierungs- oder Regressionsalgorithmen basiert.

  • Empfehlung auswerten: Wertet die Genauigkeit der Empfehlungsmodellvorhersagen aus.

    Verwenden Sie für Empfehlungsmodelle das Modul "Evaluate Recommender ".

  • Verwenden Sie für Clustermodelle das Modul "Daten zu Clustern zuweisen ". Verwenden Sie dann die Visualisierungen in diesem Modul, um Auswertungsergebnisse anzuzeigen.
  • Sie können benutzerdefinierte Auswertungsmetriken erstellen. Um benutzerdefinierte Auswertungsmetriken zu erstellen, stellen Sie R-Code im Execute R Script-Modul oder Python-Code im Execute Python Script-Modul bereit. Diese Option ist praktisch, wenn Sie Metriken verwenden möchten, die als Teil von Open-Source-Bibliotheken veröffentlicht wurden, oder wenn Sie Ihre eigene Metrik zum Messen der Modellgenauigkeit entwerfen möchten.

Beispiele

Die Interpretation der Ergebnisse der Maschinellen Lernmodellauswertung ist eine Kunst. Zusätzlich zu den Daten und den Geschäftsproblemen ist es erforderlich, die mathematischen Ergebnisse zu verstehen. Es wird empfohlen, diese Artikel zu überprüfen, um zu erläutern, wie Ergebnisse in verschiedenen Szenarien interpretiert werden:

Technische Hinweise

Dieser Abschnitt enthält Implementierungsdetails, Tipps und Antworten auf häufig gestellte Fragen.

Anzeigen von Auswertungsmetriken

Erfahren Sie, wo Sie in Machine Learning Studio (klassisch) suchen, um die Metrikdiagramme für jeden Modelltyp zu finden.

Zweiklassige Klassifizierungsmodelle

Die Standardansicht für binäre Klassifizierungsmodelle enthält ein interaktives ROC-Diagramm und eine Tabelle mit Werten für die Prinzipalmetriken.

An interactive ROC chart and a table of values for the principal metrics in binary classification models

Sie haben zwei Optionen zum Anzeigen binärer Klassifizierungsmodelle:

  • Klicken Sie mit der rechten Maustaste auf die Modulausgabe, und wählen Sie dann "Visualisieren" aus.
  • Klicken Sie mit der rechten Maustaste auf das Modul, wählen Sie "Auswertungsergebnisse" aus, und wählen Sie dann " Visualisieren" aus.

Sie können den Schieberegler auch verwenden, um den Wahrscheinlichkeitsschwellenwert zu ändern. Der Schwellenwert bestimmt, ob ein Ergebnis als wahr akzeptiert werden soll oder nicht. Anschließend können Sie sehen, wie sich diese Werte ändern.

Klassenklassifizierungsmodelle

Die Standardmetrikenansicht für Klassenklassifizierungsmodelle enthält eine Verwirrungsmatrix für alle Klassen und eine Reihe von Metriken für das Modell als Ganzes.

Sie haben zwei Optionen zum Anzeigen von Klassenklassifizierungsmodellen:

  • Klicken Sie mit der rechten Maustaste auf die Modulausgabe, und wählen Sie dann "Visualisieren" aus.
  • Klicken Sie mit der rechten Maustaste auf das Modul, wählen Sie "Auswertungsergebnisse" aus, und wählen Sie dann " Visualisieren" aus.

Dies sind die beiden Ergebnisse, die nebeneinander angezeigt werden:

Metrics table and Confusion Matrix for multiclass classification models

Regressionsmodelle

Die Metrikansicht für Regressionsmodelle variiert je nach Dem Typ des von Ihnen erstellten Modells. Die Metrikansicht basiert auf den zugrunde liegenden Algorithmusschnittstellen und auf der besten Anpassung an die Modellmetriken.

Sie haben zwei Optionen zum Anzeigen von Regressionsmodellen:

  • Um die Genauigkeitsmetriken in einer Tabelle anzuzeigen, klicken Sie mit der rechten Maustaste auf die Ausgabe des Bewertungsmodellmoduls, und wählen Sie dann "Visualisieren" aus.
  • Wenn Sie ein Fehler-Histogramm mit den Werten anzeigen möchten, klicken Sie mit der rechten Maustaste auf das Modul, wählen Sie "Auswertungsergebnisse" aus, und wählen Sie dann " Visualisieren" aus.

Error Histogram and Metrics table for linear regression models

Die Fehler-Histogrammansicht kann Ihnen helfen, zu verstehen, wie Fehler verteilt werden. Es wird für die folgenden Modelltypen bereitgestellt und enthält eine Tabelle mit Standardmetriken, z. B. stammdurchschnittlicher quadratischer Fehler (RMSE).

Die folgenden Regressionsmodelle generieren eine Tabelle mit Standardmetriken zusammen mit einigen benutzerdefinierten Metriken:

Tipps für die Arbeit mit den Daten

Zum Extrahieren der Zahlen ohne Kopieren und Einfügen aus der benutzeroberfläche von Machine Learning Studio (klassisch) können Sie die neue PowerShell-Bibliothek für Machine Learning verwenden. Sie können Metadaten und andere Informationen für ein gesamtes Experiment oder einzelne Module abrufen.

Um Werte aus einem Bewertungsmodellmodul zu extrahieren, müssen Sie dem Modul einen eindeutigen Kommentar hinzufügen, um die Identifizierung zu erleichtern. Verwenden Sie dann das Cmdlet Download-AmlExperimentNodeOutput , um die Metriken und deren Werte aus der Visualisierung im JSON-Format abzurufen.

Weitere Informationen finden Sie unter Erstellen von Maschinellen Lernmodellen mithilfe von PowerShell.

Siehe auch