Verwenden von Scikit-learn in Azure Databricks

Diese Seite enthält Beispiele für die Verwendung des scikit-learn-Pakets zum Trainieren von Machine Learning-Modellen in Azure Databricks. Scikit-learn ist eine der beliebtesten Python-Bibliotheken für das maschinelle Lernen mit einem einzelnen Knoten und ist in Databricks Runtime sowie Databricks Runtime for Machine Learning enthalten. Weitere Informationen zur Version der scikit-learn-Bibliothek, die in Ihrer Clusterruntime enthalten ist, finden Sie in den Versionshinweisen zu Databricks Runtime.

Sie können diese Notebooks importieren und in Ihrem Azure Databricks-Arbeitsbereich ausführen.

Weitere Beispielnotebooks für den schnellen Einstieg in Azure Databricks finden Sie unter Tutorials: Erste Schritte mit ML.

Grundlegendes Beispiel mit Scikit-learn

Dieses Notebook bietet eine kurze Übersicht über das Machine Learning-Modell-Training auf Azure Databricks. Es verwendet das scikit-learn-Paket, um ein einfaches Klassifizierungsmodell zu trainieren. Zudem veranschaulicht es die Verwendung von MLflow zum Nachverfolgen des Modellentwicklungsprozesses und Hyperopt zum Automatisieren der Hyperparameteroptimierung.

Wenn Ihr Arbeitsbereich für Unity Catalog aktiviert ist, verwenden Sie diese Version des Notebooks:

scikit-learn Klassifizierungs-Notebook (Unity Catalog)

Notebook abrufen

Wenn Ihr Arbeitsbereich nicht für Unity Catalog aktiviert ist, verwenden Sie diese Version des Notebooks:

Scikit-learn-Klassifizierungsnotebook

Notebook abrufen

End-to-End-Beispiel mit scikit-learn in Azure Databricks

Dieses Notebook veranschaulicht anhand von scikit-learn ein vollständiges End-to-End-Beispiel für das Laden von Daten, das Modelltraining, die verteilte Hyperparameteroptimierung und den Modellrückschluss. Außerdem veranschaulicht es die Modelllebenszyklusverwaltung mithilfe der MLflow-Modellregistrierung, um Ihre Modelle zu protokollieren und zu registrieren.

Wenn Ihr Arbeitsbereich für Unity Catalog aktiviert ist, verwenden Sie diese Version des Notebooks:

Verwenden von scikit-learn mit MLflow-Integration in Databricks (Unity Catalog)

Notebook abrufen

Wenn Ihr Arbeitsbereich nicht für Unity Catalog aktiviert ist, verwenden Sie diese Version des Notebooks:

Verwenden von scikit-learn mit MLflow-Integration in Databricks

Notebook abrufen

• Nachverfolgen des scikit-learn-Modelltrainings mit MLflow