Berlatih dengan Proyek MLflow di Azure Pembelajaran Mesin (pratinjau)

Artikel
09/02/2024

Dalam artikel ini, pelajari cara mengirimkan pekerjaan pelatihan dengan Proyek MLflow yang menggunakan ruang kerja Azure Pembelajaran Mesin untuk pelacakan. Anda dapat mengirimkan pekerjaan dan hanya melacaknya dengan Azure Pembelajaran Mesin atau memigrasikan eksekusi Anda ke cloud untuk berjalan sepenuhnya di Azure Pembelajaran Mesin Compute.

Peringatan

Dukungan untuk MLproject file (Proyek MLflow) di Azure Pembelajaran Mesin akan sepenuhnya dihentikan pada Bulan September 2026. MLflow masih didukung penuh dan masih merupakan cara yang direkomendasikan untuk melacak beban kerja pembelajaran mesin di Azure Pembelajaran Mesin.

Saat Anda terus menggunakan MLflow, kami sarankan Anda beralih dari MLproject file ke Azure Pembelajaran Mesin Jobs, menggunakan Azure CLI atau Azure Pembelajaran Mesin SDK untuk Python (v2). Untuk informasi selengkapnya tentang pekerjaan Azure Pembelajaran Mesin, lihat Melacak eksperimen dan model ML dengan MLflow.

Proyek MLflow memungkinkan Anda untuk mengatur dan menjelaskan kode Anda untuk memungkinkan ilmuwan data lain (atau alat otomatis) menjalankannya. Proyek MLflow dengan Azure Machine Learning memungkinkan Anda melacak dan mengelola pelatihan yang berjalan di ruang kerja Anda.

Penting

Fitur ini masih dalam pratinjau umum. Versi pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas.

Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Pelajari selengkapnya tentang integrasi MLflow dan Azure Pembelajaran Mesin.

Prasyarat

Instal paket mlflow MLflow SDK dan plug-in Azure Pembelajaran Mesin azureml-mlflow untuk MLflow:
```
pip install mlflow azureml-mlflow
```
Tip

Anda dapat menggunakan mlflow-skinny paket, yang merupakan paket MLflow ringan tanpa penyimpanan SQL, server, UI, atau dependensi ilmu data. mlflow-skinny disarankan untuk pengguna yang terutama membutuhkan kemampuan pelacakan dan pengelogan MLflow tanpa mengimpor rangkaian fitur lengkap, termasuk penyebaran.
Ruang kerja Azure Machine Learning. Untuk membuat ruang kerja, lihat tutorial Membuat sumber daya pembelajaran mesin. Tinjau izin akses yang Anda butuhkan untuk melakukan operasi MLflow di ruang kerja Anda.
Jika Anda melakukan pelacakan jarak jauh (yaitu, melacak eksperimen yang berjalan di luar Azure Pembelajaran Mesin), konfigurasikan MLflow untuk mengarahkan ke URI pelacakan ruang kerja Azure Pembelajaran Mesin Anda. Untuk informasi selengkapnya tentang cara menyambungkan MLflow ke ruang kerja Anda, lihat Mengonfigurasi MLflow untuk Azure Pembelajaran Mesin.

Menggunakan Azure Pembelajaran Mesin sebagai backend untuk proyek MLflow memerlukan paket azureml-core:
```
pip install azureml-core
```

Menyambungkan ke ruang kerja Anda

Jika Anda bekerja di luar Azure Pembelajaran Mesin, Anda perlu mengonfigurasi MLflow untuk mengarahkan ke URI pelacakan ruang kerja Azure Pembelajaran Mesin Anda. Anda dapat menemukan instruksi di Mengonfigurasi MLflow untuk Azure Pembelajaran Mesin.

Melacak Proyek MLflow di ruang kerja Azure Pembelajaran Mesin

Contoh ini menunjukkan cara mengirimkan proyek MLflow dan melacaknya Azure Pembelajaran Mesin.

Tambahkan paket azureml-mlflow sebagai dependensi pip ke file konfigurasi lingkungan Anda untuk melacak metrik dan artefak utama di ruang kerja Anda.

conda.yaml
```
name: mlflow-example
channels:
  - defaults
dependencies:
  - numpy>=1.14.3
  - pandas>=1.0.0
  - scikit-learn
  - pip:
    - mlflow
    - azureml-mlflow
```
Kirim eksekusi lokal dan pastikan Anda mengatur parameter backend = "azureml", yang menambahkan dukungan pelacakan otomatis, pengambilan model, file log, rekam jepret, dan kesalahan cetak di ruang kerja Anda. Dalam contoh ini kami mengasumsikan proyek MLflow yang Anda coba jalankan berada di folder yang sama dengan Anda saat ini, uri=".".
- MLflow CLI
- Python
```
mlflow run . --experiment-name  --backend azureml --env-manager=local -P alpha=0.3
```
```
local_env_run = mlflow.projects.run(
    uri=".", 
    parameters={"alpha":0.3},
    backend = "azureml",
    env_manager="local",
    backend_config = backend_config, 
)
```
Lihat eksekusi dan metrik Anda di studio Azure Machine Learning.

Melatih proyek MLflow di pekerjaan Azure Pembelajaran Mesin

Contoh ini menunjukkan cara mengirimkan proyek MLflow sebagai pekerjaan yang berjalan di komputasi Azure Pembelajaran Mesin.

Buat objek konfigurasi backend, dalam hal ini kita akan menunjukkan COMPUTE. Parameter ini mereferensikan nama kluster komputasi jarak jauh yang ingin Anda gunakan untuk menjalankan proyek Anda. Jika COMPUTE ada, proyek akan secara otomatis dikirimkan sebagai pekerjaan Azure Pembelajaran Mesin ke komputasi yang ditunjukkan.
- MLflow CLI
- Python
backend_config.json
```
{
    "COMPUTE": "cpu-cluster"
}
```
```
backend_config = {"COMPUTE": "cpu-cluster"}
```
Tambahkan paket azureml-mlflow sebagai dependensi pip ke file konfigurasi lingkungan Anda untuk melacak metrik dan artefak utama di ruang kerja Anda.

conda.yaml
```
name: mlflow-example
channels:
  - defaults
dependencies:
  - numpy>=1.14.3
  - pandas>=1.0.0
  - scikit-learn
  - pip:
    - mlflow
    - azureml-mlflow
```
Kirim eksekusi lokal dan pastikan Anda mengatur parameter backend = "azureml", yang menambahkan dukungan pelacakan otomatis, pengambilan model, file log, rekam jepret, dan kesalahan cetak di ruang kerja Anda. Dalam contoh ini kami mengasumsikan proyek MLflow yang Anda coba jalankan berada di folder yang sama dengan Anda saat ini, uri=".".
- MLflow CLI
- Python
```
mlflow run . --backend azureml --backend-config backend_config.json -P alpha=0.3
```
```
local_env_run = mlflow.projects.run(
    uri=".", 
    parameters={"alpha":0.3},
    backend = "azureml",
    backend_config = backend_config, 
)
```
Catatan

Karena pekerjaan Azure Pembelajaran Mesin selalu berjalan dalam konteks lingkungan, parameter env_manager diabaikan.

Lihat eksekusi dan metrik Anda di studio Azure Machine Learning.

Membersihkan sumber daya

Jika Anda tidak berencana untuk menggunakan metrik dan artefak yang dicatat di ruang kerja Anda, saat ini tidak tersedia kemampuan untuk menghapusnya satu per satu. Sebagai gantinya, hapus grup sumber daya yang berisi akun penyimpanan dan ruang kerja, sehingga Anda tidak dikenakan biaya apa pun:

Dari portal Microsoft Azure, pilih Grup sumber daya dari sisi sebelah kiri.
Dari daftar, pilih grup sumber daya yang Anda buat.
Pilih Hapus grup sumber daya.
Masukkan nama grup sumber daya. Kemudian pilih Hapus.

Contoh buku catatan

MLflow dengan notebook Azure Machine Learning menunjukkan dan memperluas konsep yang disajikan dalam artikel ini.

Catatan

Repositori contoh berbasis komunitas menggunakan mlflow dapat ditemukan di https://github.com/Azure/azureml-examples.

Bagikan melalui