Berlatih dengan Proyek MLflow di Azure Pembelajaran Mesin (pratinjau)
Dalam artikel ini, pelajari cara mengirimkan pekerjaan pelatihan dengan Proyek MLflow yang menggunakan ruang kerja Azure Pembelajaran Mesin untuk pelacakan. Anda dapat mengirimkan pekerjaan dan hanya melacaknya dengan Azure Pembelajaran Mesin atau memigrasikan eksekusi Anda ke cloud untuk berjalan sepenuhnya di Azure Pembelajaran Mesin Compute.
Peringatan
Dukungan untuk MLproject
file (Proyek MLflow) di Azure Pembelajaran Mesin akan sepenuhnya dihentikan pada Bulan September 2026. MLflow masih didukung penuh dan masih merupakan cara yang direkomendasikan untuk melacak beban kerja pembelajaran mesin di Azure Pembelajaran Mesin.
Saat Anda terus menggunakan MLflow, kami sarankan Anda beralih dari MLproject
file ke Azure Pembelajaran Mesin Jobs, menggunakan Azure CLI atau Azure Pembelajaran Mesin SDK untuk Python (v2). Untuk informasi selengkapnya tentang pekerjaan Azure Pembelajaran Mesin, lihat Melacak eksperimen dan model ML dengan MLflow.
Proyek MLflow memungkinkan Anda untuk mengatur dan menjelaskan kode Anda untuk memungkinkan ilmuwan data lain (atau alat otomatis) menjalankannya. Proyek MLflow dengan Azure Machine Learning memungkinkan Anda melacak dan mengelola pelatihan yang berjalan di ruang kerja Anda.
Penting
Fitur ini masih dalam pratinjau umum. Versi pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas.
Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.
Pelajari selengkapnya tentang integrasi MLflow dan Azure Pembelajaran Mesin.
Prasyarat
Instal paket
mlflow
MLflow SDK dan plug-in Azure Pembelajaran Mesinazureml-mlflow
untuk MLflow:pip install mlflow azureml-mlflow
Tip
Anda dapat menggunakan
mlflow-skinny
paket, yang merupakan paket MLflow ringan tanpa penyimpanan SQL, server, UI, atau dependensi ilmu data.mlflow-skinny
disarankan untuk pengguna yang terutama membutuhkan kemampuan pelacakan dan pengelogan MLflow tanpa mengimpor rangkaian fitur lengkap, termasuk penyebaran.Ruang kerja Azure Machine Learning. Untuk membuat ruang kerja, lihat tutorial Membuat sumber daya pembelajaran mesin. Tinjau izin akses yang Anda butuhkan untuk melakukan operasi MLflow di ruang kerja Anda.
Jika Anda melakukan pelacakan jarak jauh (yaitu, melacak eksperimen yang berjalan di luar Azure Pembelajaran Mesin), konfigurasikan MLflow untuk mengarahkan ke URI pelacakan ruang kerja Azure Pembelajaran Mesin Anda. Untuk informasi selengkapnya tentang cara menyambungkan MLflow ke ruang kerja Anda, lihat Mengonfigurasi MLflow untuk Azure Pembelajaran Mesin.
Menggunakan Azure Pembelajaran Mesin sebagai backend untuk proyek MLflow memerlukan paket
azureml-core
:pip install azureml-core
Menyambungkan ke ruang kerja Anda
Jika Anda bekerja di luar Azure Pembelajaran Mesin, Anda perlu mengonfigurasi MLflow untuk mengarahkan ke URI pelacakan ruang kerja Azure Pembelajaran Mesin Anda. Anda dapat menemukan instruksi di Mengonfigurasi MLflow untuk Azure Pembelajaran Mesin.
Melacak Proyek MLflow di ruang kerja Azure Pembelajaran Mesin
Contoh ini menunjukkan cara mengirimkan proyek MLflow dan melacaknya Azure Pembelajaran Mesin.
Tambahkan paket
azureml-mlflow
sebagai dependensi pip ke file konfigurasi lingkungan Anda untuk melacak metrik dan artefak utama di ruang kerja Anda.conda.yaml
name: mlflow-example channels: - defaults dependencies: - numpy>=1.14.3 - pandas>=1.0.0 - scikit-learn - pip: - mlflow - azureml-mlflow
Kirim eksekusi lokal dan pastikan Anda mengatur parameter
backend = "azureml"
, yang menambahkan dukungan pelacakan otomatis, pengambilan model, file log, rekam jepret, dan kesalahan cetak di ruang kerja Anda. Dalam contoh ini kami mengasumsikan proyek MLflow yang Anda coba jalankan berada di folder yang sama dengan Anda saat ini,uri="."
.mlflow run . --experiment-name --backend azureml --env-manager=local -P alpha=0.3
Lihat eksekusi dan metrik Anda di studio Azure Machine Learning.
Melatih proyek MLflow di pekerjaan Azure Pembelajaran Mesin
Contoh ini menunjukkan cara mengirimkan proyek MLflow sebagai pekerjaan yang berjalan di komputasi Azure Pembelajaran Mesin.
Buat objek konfigurasi backend, dalam hal ini kita akan menunjukkan
COMPUTE
. Parameter ini mereferensikan nama kluster komputasi jarak jauh yang ingin Anda gunakan untuk menjalankan proyek Anda. JikaCOMPUTE
ada, proyek akan secara otomatis dikirimkan sebagai pekerjaan Azure Pembelajaran Mesin ke komputasi yang ditunjukkan.backend_config.json
{ "COMPUTE": "cpu-cluster" }
Tambahkan paket
azureml-mlflow
sebagai dependensi pip ke file konfigurasi lingkungan Anda untuk melacak metrik dan artefak utama di ruang kerja Anda.conda.yaml
name: mlflow-example channels: - defaults dependencies: - numpy>=1.14.3 - pandas>=1.0.0 - scikit-learn - pip: - mlflow - azureml-mlflow
Kirim eksekusi lokal dan pastikan Anda mengatur parameter
backend = "azureml"
, yang menambahkan dukungan pelacakan otomatis, pengambilan model, file log, rekam jepret, dan kesalahan cetak di ruang kerja Anda. Dalam contoh ini kami mengasumsikan proyek MLflow yang Anda coba jalankan berada di folder yang sama dengan Anda saat ini,uri="."
.mlflow run . --backend azureml --backend-config backend_config.json -P alpha=0.3
Catatan
Karena pekerjaan Azure Pembelajaran Mesin selalu berjalan dalam konteks lingkungan, parameter
env_manager
diabaikan.Lihat eksekusi dan metrik Anda di studio Azure Machine Learning.
Membersihkan sumber daya
Jika Anda tidak berencana untuk menggunakan metrik dan artefak yang dicatat di ruang kerja Anda, saat ini tidak tersedia kemampuan untuk menghapusnya satu per satu. Sebagai gantinya, hapus grup sumber daya yang berisi akun penyimpanan dan ruang kerja, sehingga Anda tidak dikenakan biaya apa pun:
Dari portal Microsoft Azure, pilih Grup sumber daya dari sisi sebelah kiri.
Dari daftar, pilih grup sumber daya yang Anda buat.
Pilih Hapus grup sumber daya.
Masukkan nama grup sumber daya. Kemudian pilih Hapus.
Contoh buku catatan
MLflow dengan notebook Azure Machine Learning menunjukkan dan memperluas konsep yang disajikan dalam artikel ini.
Catatan
Repositori contoh berbasis komunitas menggunakan mlflow dapat ditemukan di https://github.com/Azure/azureml-examples.