Menggunakan scikit-learn di Azure Databricks

Halaman ini menyediakan contoh bagaimana Anda dapat menggunakan scikit-learn paket untuk melatih model pembelajaran mesin di Azure Databricks. scikit-learn adalah salah satu pustaka Python paling populer untuk pembelajaran mesin simpul tunggal dan disertakan dalam Databricks Runtime dan Databricks Runtime ML. Lihat Catatan rilis Databricks Runtime untuk versi pustaka scikit-learn yang disertakan dengan runtime kluster Anda.

Anda dapat mengimpor buku catatan ini dan menjalankannya di ruang kerja Azure Databricks Anda.

Untuk contoh notebook tambahan untuk memulai dengan cepat di Azure Databricks, lihat Tutorial: Mulai menggunakan ML.

Contoh dasar menggunakan scikit-learn

Notebook ini memberikan gambaran umum tentang pelatihan model pembelajaran mesin di Azure Databricks. Ini menggunakan scikit-learn paket untuk melatih model klasifikasi sederhana. Ini juga menggambarkan penggunaan MLflow untuk melacak proses pengembangan model, dan Optuna untuk mengotomatiskan penyetelan hiperparameter.

Jika ruang kerja Anda diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

buku catatan klasifikasi scikit-learn (Katalog Unity)

Dapatkan buku catatan

Jika ruang kerja Anda tidak diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

notebook klasifikasi scikit-learn

Dapatkan buku catatan

Contoh end-to-end menggunakan scikit-learn di Azure Databricks

Notebook ini menggunakan scikit-learn untuk mengilustrasikan contoh lengkap dari memuat data, pelatihan model, penyetelan hiperparameter terdistribusi, dan inferensi model. Ini juga menggambarkan manajemen siklus hidup model menggunakan MLflow Model Registry untuk mencatat dan mendaftarkan model Anda.

Jika ruang kerja Anda diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

Gunakan scikit-learn dengan integrasi MLflow pada Databricks (Unity Catalog)

Dapatkan buku catatan

Jika ruang kerja Anda tidak diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

Gunakan scikit-learn dengan integrasi MLflow di Databricks

Dapatkan buku catatan

• Melacak pelatihan model scikit-learn dengan MLflow