Einführung
Beim maschinellen Lernen werden Algorithmen zum Trainieren von Modellen verwendet, die unbekannte Beschriftungen für neue Daten basierend auf Korrelationen zwischen bekannten Beschriftungen und die in den Trainingsdaten gefundenen Features vorhersagen. Abhängig vom verwendeten Algorithmus müssen Sie möglicherweise Hyperparameter angeben, um zu konfigurieren, wie das Modell trainiert wird. Beispielsweise verwendet der Algorithmus für logistische Regression einen Hyperparameter Regularisierungsrate, um der Überanpassung entgegenzuwirken, und Modelle mit neuronalen Deep Learning-Netzen verwenden Hyperparameter wie Lernrate, um zu steuern, wie Gewichtungen während des Trainings angepasst werden.
Hinweis
Machine Learning ist ein akademisches Feld mit eigener Terminologie. Wissenschaftliche Fachkräfte für Daten bezeichnen die Werte, die aus den Trainingsfeatures ermittelt werden, als Parameter. Aus diesem Grund ist ein anderer Begriff für Werte erforderlich, die zum Konfigurieren des Trainingsverhaltens verwendet werden, jedoch nicht aus den Trainingsdaten abgeleitet werden (daher der Begriff Hyperparameter).
Die Hyperparameterwerte, die Sie für einen bestimmten Algorithmus auswählen, können einen erheblichen Einfluss auf das trainierte Modell haben. Die Auswahl der richtigen Hyperparameterwerte kann daher den Unterschied zwischen einem Modell ausmachen, das für neue Daten gute Vorhersagen trifft, und einem Modell, das diese Leistung nicht erbringt.
In Azure Databricks können Sie die Hyperopt-Bibliothek verwenden, um die Hyperparameteroptimierung zu automatisieren. Bei diesem Prozess werden Modelle wiederholt mit verschiedenen Kombinationen aus Hyperparametern trainiert und ausgewertet, bis Sie die Werte finden, die für Ihre Daten am besten funktionieren.