Melacak pengembangan model menggunakan MLflow

Artikel ini berisi contoh pengembangan model pelacakan di Azure Databricks. Catat dan lacak ML dan model pembelajaran mendalam secara otomatis dengan MLflow atau secara manual dengan API MLflow.

Pelacakan model & MLflow

Proses pengembangan model bersifat berulang, dan mungkin sulit untuk melacak pekerjaan Anda saat Anda mengembangkan dan mengoptimalkan model. Di Azure Databricks, Anda dapat menggunakan pelacakan MLflow untuk membantu Anda melacak proses pengembangan model, termasuk pengaturan parameter atau kombinasi yang telah Anda coba dan bagaimana hal tersebut memengaruhi performa model.

Pelacakan MLflow menggunakan eksperimen dan berjalan untuk mencatat dan melacak pengembangan model pembelajaran mendalam dan ML Anda. Eksekusi adalah eksekusi tunggal dari kode model. Selama menjalankan MLflow, Anda dapat mencatat parameter model dan hasil. Percobaan adalah kumpulan eksekusi terkait. Dalam eksperimen, Anda dapat membandingkan dan memfilter eksekusi untuk memahami performa model Anda dan bagaimana performanya bergantung pada pengaturan parameter, data input, dan sebagainya.

Notebook dalam artikel ini memberikan contoh sederhana yang dapat membantu Anda memulai dengan cepat menggunakan MLflow untuk melacak pengembangan model Anda. Untuk detail selengkapnya tentang menggunakan pelacakan MLflow di Azure Databricks, lihat Melacak ML dan eksekusi pelatihan pembelajaran mendalam.

Catatan

Pelacakan MLflow tidak mendukung pekerjaan yang diajukan dengan ajukan tugas spark di API Pekerjaan. Sebagai gantinya, Anda dapat menggunakan Proyek MLflow untuk menjalankan kode Spark.

Menggunakan pencatatan otomatis untuk melacak pengembangan model

MLflow dapat secara otomatis mencatat kode pelatihan yang ditulis dalam banyak kerangka kerja ML dan pembelajaran mendalam. Ini adalah cara termudah untuk mulai menggunakan pelacakan MLflow.

Contoh notebook ini menunjukkan cara menggunakan pencatatan otomatis dengan scikit-learn. Untuk informasi tentang pencatatan otomatis dengan pustaka Python lainnya, lihat Pelatihan log otomatis berjalan ke MLflow.

Notebook Python autologging MLflow

Dapatkan buku catatan

Gunakan API pencatatan untuk melacak pengembangan model

Notebook ini mengilustrasikan cara menggunakan API pencatatan MLflow. Menggunakan API pencatatan memberi Anda lebih banyak kontrol atas metrik yang dicatat dan memungkinkan Anda mencatat artefak tambahan seperti tabel atau plot.

Contoh notebook ini menunjukkan cara menggunakan API pencatatan Python. MLflow juga memiliki REST, R, dan API Java.

Buku catatan Python API pengelogan MLflow

Dapatkan buku catatan

Contoh ujung-ke-ujung

Notebook tutorial ini menyajikan contoh end-to-end untuk melatih model di Azure Databricks, termasuk memuat data, memvisualisasikan data, menyiapkan pengoptimalan hiperparameter paralel, dan menggunakan MLflow untuk meninjau hasil, mendaftarkan model, dan melakukan inferensi pada data baru menggunakan model terdaftar di Spark UDF.

Persyaratan

ML Runtime Databricks

Contoh notebook

Jika ruang kerja Anda diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

Gunakan scikit-learn dengan integrasi MLflow pada Databricks (Unity Catalog)

Dapatkan buku catatan

Jika ruang kerja Anda tidak diaktifkan untuk Katalog Unity, gunakan versi buku catatan ini:

Gunakan scikit-learn dengan integrasi MLflow di Databricks

Dapatkan buku catatan