Menggunakan scikit-learn di Azure Databricks

Halaman ini menyediakan contoh bagaimana Anda dapat menggunakan scikit-learn paket untuk melatih model pembelajaran mesin di Azure Databricks. scikit-learn adalah salah satu pustaka Python paling populer untuk pembelajaran mesin simpul tunggal dan disertakan dalam Databricks Runtime dan Databricks Runtime ML. Lihat Catatan rilis Databricks Runtime untuk versi pustaka scikit-learn yang termasuk dalam runtime kluster Anda.

Anda dapat mengimpor buku catatan ini dan menjalankannya di ruang kerja Azure Databricks Anda.

Contoh dasar menggunakan scikit-learn

Notebook ini memberikan gambaran umum tentang pelatihan model pembelajaran mesin di Azure Databricks. Ini menggunakan scikit-learn paket untuk melatih model klasifikasi sederhana. Ini juga menggambarkan penggunaan MLflow untuk melacak proses pengembangan model, dan Optuna untuk mengotomatiskan penyetelan hiperparameter.

Petunjuk / Saran

Beri tahu Genie Code (mode Agen) untuk melakukan ini untuk Anda:

Create tables in Unity Catalog for these datasets and then use those tables to train a classification model to predict wine quality.
/databricks-datasets/wine-quality/winequality-white.csv and /databricks-datasets/wine-quality/winequality-red.csv

Jika ruang kerja Anda diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

buku catatan klasifikasi scikit-learn (Unity Catalog)

Dapatkan buku catatan

Jika ruang kerja Anda tidak diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

scikit-learn notebook klasifikasi

Dapatkan buku catatan

Contoh end-to-end menggunakan scikit-learn di Azure Databricks

Notebook ini menggunakan scikit-learn untuk mengilustrasikan contoh lengkap dari memuat data, pelatihan model, penyetelan hiperparameter terdistribusi, dan inferensi model. Ini juga menggambarkan manajemen siklus hidup model menggunakan MLflow Model Registry untuk mencatat dan mendaftarkan model Anda.

Jika ruang kerja Anda diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

Gunakan scikit-learn dengan integrasi MLflow pada Databricks (Unity Catalog)

Dapatkan buku catatan

Jika ruang kerja Anda tidak diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

Gunakan scikit-learn dengan integrasi MLflow di Databricks

Dapatkan buku catatan