Mengatur eksekusi pelatihan dengan eksperimen MLflow

Eksperimen adalah unit organisasi untuk eksekusi pelatihan model Anda. Ada dua jenis eksperimen: ruang kerja dan notebook.

• Anda dapat membuat eksperimen ruang kerja dari antarmuka pengguna Databricks Mosaic AI atau API MLflow. Eksperimen ruang kerja tidak terkait dengan notebook mana pun, dan setiap notebook dapat mencatat eksekusi untuk eksperimen ini dengan menggunakan ID eksperimen atau nama eksperimen.
• Eksperimen notebook dikaitkan dengan notebook tertentu. Azure Databricks secara otomatis membuat eksperimen notebook jika tidak ada eksperimen aktif saat Anda memulai eksekusi menggunakan mlflow.start_run().

Untuk melihat semua eksperimen di ruang kerja yang dapat Anda akses, pilih > Pembelajaran Mesin di bar samping.

Membuat eksperimen ruang kerja

Bagian ini menjelaskan cara membuat eksperimen ruang kerja menggunakan UI Azure Databricks. Anda dapat membuat eksperimen ruang kerja langsung dari ruang kerja atau dari halaman Eksperimen.

Anda juga dapat menggunakan API MLflow atau penyedia Databricks Terraform dengan databricks_mlflow_experiment.

Untuk petunjuk tentang mencatat proses eksekusi ke eksperimen ruang kerja, lihat Mencatat proses dan model ke dalam eksperimen.

Membuat eksperimen dari ruang kerja

1. Klik Ruang Kerja di bilah samping.

2. Navigasikan ke folder tempat Anda ingin membuat eksperimen.

3. Klik kanan pada folder dan pilih Buat > eksperimen MLflow.

4. Dalam dialog Buat Eksperimen MLflow, masukkan nama untuk eksperimen dan lokasi artefak opsional. Jika Anda tidak menentukan lokasi artefak, artefak disimpan dalam penyimpanan artefak yang dikelola MLflow: dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Untuk ruang kerja yang diaktifkan untuk Unity Catalog, Anda juga dapat menyimpan artefak dalam volume Unity Catalog. Untuk menyimpan artefak di penyimpanan cloud Anda sendiri, buat volume eksternal Unity Catalog.

   Untuk menyimpan artefak dalam volume Katalog Unity, tentukan jalur volume formulir dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path sebagai lokasi artefak eksperimen MLflow Anda, baik di UI atau seperti yang ditunjukkan dalam kode berikut:

   import mlflow # Storing artifacts in a volume requires MLflow 2.15.0 or above
   
   EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
   CATALOG = "my_catalog"
   SCHEMA = "my_schema"
   VOLUME = "my_volume"
   ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}" # can be a managed or external volume
   
   mlflow.set_tracking_uri("databricks")
   mlflow.set_registry_uri("databricks-uc")
   
   if mlflow.get_experiment_by_name(EXP_NAME) is None:
       mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
   mlflow.set_experiment(EXP_NAME)
   

   Jika ruang kerja Anda tidak diaktifkan untuk Katalog Unity, atau Anda tidak memiliki akses ke MLflow 2.15.0 atau lebih tinggi, tentukan jalur dalam format ini: dbfs:/path/to/artifacts.

   Databricks merekomendasikan penggunaan volume Unity Catalog untuk penyimpanan artefak. Jika volume Unity Catalog atau DBFS bukanlah opsi yang cocok, Anda juga dapat menyimpan artefak langsung ke Azure Blob Storage (tidak disarankan). Untuk menyimpan artefak di penyimpanan Azure Blob, tentukan URI formulir wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Artefak yang disimpan dalam penyimpanan Azure Blob tidak muncul di UI MLflow; Anda harus mengunduhnya menggunakan klien penyimpanan blob.

   Catatan

   Saat Anda menyimpan artefak di lokasi selain volume DBFS yang dikelola MLflow (default) atau Unity Catalog, artefak tidak muncul di UI MLflow. Model yang disimpan di lokasi selain ini tidak dapat didaftarkan di Registri Model.

5. Klik Buat. Halaman detail eksperimen untuk eksperimen baru muncul.

6. Untuk eksekusi log ke eksperimen ini, panggil mlflow.set_experiment() dengan jalur eksperimen. Untuk menampilkan jalur eksperimen, klik ikon informasi di sebelah kanan nama eksperimen. Lihat Menjalankan log dan model ke eksperimen untuk detail dan contoh buku catatan.

Membuat eksperimen dari halaman Eksperimen

Untuk membuat penyempurnaan model fondasi, AutoML, atau eksperimen kustom, klik eksperimen atau pilih Eksperimen > Baru di bilah sisi kiri.

Di bagian atas halaman, pilih salah satu opsi berikut untuk mengonfigurasi eksperimen:

• Penyesuaian Akhir Model Dasar. Dialog penyesuaian model Foundation muncul. Untuk detailnya, lihat Membuat sesi pelatihan menggunakan UI Penyelarasan Model Fondasi.
• Prakiraan. Dialog Mengonfigurasi eksperimen Prakiraan muncul. Untuk detailnya, lihat Mengonfigurasi eksperimen AutoML.
• Klasifikasi. Dialog Konfigurasi Eksperimen Klasifikasi muncul. Untuk detailnya, lihat Menyiapkan eksperimen klasifikasi dengan UI.
• Regresi. Dialog Konfigurasi Eksperimen Klasifikasi muncul. Untuk detailnya, lihat Menyiapkan eksperimen regresi dengan UI.
• Kustom . Dialog Buat Eksperimen MLflow muncul. Untuk detailnya, lihat Langkah 4 di Membuat eksperimen dari ruang kerja.

Membuat eksperimen notebook

Saat Anda menggunakan perintah mlflow.start_run() di notebook, eksekusi mencatat metrik dan parameter ke eksperimen aktif. Jika tidak ada eksperimen yang aktif, Azure Databricks membuat eksperimen notebook. Eksperimen notebook memiliki nama dan ID yang sama dengan notebook yang sesuai. ID notebook adalah pengidentifikasi numerik di akhir URL dan ID Notebook.

Catatan

Pengguna yang menjalankan MLflow pada komputasi dengan akses grup khusus harus memverifikasi bahwa grup memiliki izin untuk menulis ke direktori tempat buku catatan berada, atau menggunakan mlflow.set_tracking_uri("<path>") untuk menentukan folder untuk ditulis oleh MLflow.

Atau, Anda dapat meneruskan jalur ruang kerja Azure Databricks ke buku catatan yang sudah ada di mlflow.set_experiment() untuk membuat eksperimen notebook untuk itu.

Untuk instruksi tentang pengelogan eksekusi ke eksperimen notebook, lihat Menjalankan log dan model ke eksperimen.

Catatan

Jika Anda menghapus eksperimen notebook menggunakan API (misalnya, MlflowClient.tracking.delete_experiment() di Python), notebook itu sendiri dipindahkan ke folder Keranjang Sampah.

Melihat eksperimen

Setiap eksperimen yang dapat Anda akses muncul di halaman eksperimen. Dari halaman ini, Anda dapat melihat eksperimen apa pun. Klik nama eksperimen untuk menampilkan halaman detail eksperimen.

Cara tambahan untuk mengakses halaman detail eksperimen:

• Anda dapat mengakses halaman detail eksperimen untuk eksperimen ruang kerja dari menu ruang kerja.
• Anda dapat mengakses halaman detail eksperimen untuk eksperimen notebook dari buku catatan.

Untuk mencari eksperimen, ketik teks di bidang Eksperimen filter dan tekan Enter atau klik ikon kaca pembesar. Daftar eksperimen berubah hanya untuk menampilkan eksperimen yang berisi teks pencarian di kolom Nama atau Lokasi .

Untuk penggunaan tingkat lanjut, Anda bisa memasukkan kueri pencarian untuk tags.`mlflow.note.content` mencari berdasarkan kolom Deskripsi . Untuk detail selengkapnya tentang sintaksis, lihat Eksperimen Pencarian. Harap dicatat bahwa tidak seperti mencari Nama atau Lokasi, mencari melalui tag mengharuskan Anda membuat kueri pencarian secara manual dengan pengidentifikasi dan komparator. Ini tidak akan langsung mengembalikan semua hasil yang berisi teks pencarian.

Klik nama eksperimen apa pun dalam tabel untuk menampilkan halaman detail eksperimennya:

Halaman detail eksperimen mencantumkan semua pelaksanaan yang terkait dengan eksperimen. Dari tabel, Anda dapat membuka halaman eksekusi untuk setiap eksekusi yang terkait dengan eksperimen dengan mengklik Nama Eksekusinya. Kolom Sumber memberi Anda akses ke versi notebook yang membuat eksekusi. Anda juga dapat mencari dan memfilter eksekusi berdasarkan metrik atau pengaturan parameter.

Melihat eksperimen ruang kerja

1. Klik Ruang Kerja di bilah samping.
2. Buka folder yang berisi eksperimen.
3. Klik nama eksperimen.

Melihat eksperimen notebook

Di bilah samping kanan buku catatan, klik ikon Eksperimen.

Bilah sisi Eksekusi Eksperimen muncul dan menampilkan ringkasan setiap eksekusi yang terkait dengan eksperimen notebook, termasuk parameter dan metrik eksekusi. Di bagian atas bilah sisi adalah nama eksperimen yang baru-baru ini eksekusinya dicatat di notebook tersebut (baik eksperimen notebook atau eksperimen ruang kerja).

Dari bar samping, Anda bisa menuju ke halaman detail eksperimen atau langsung ke pelaksanaan.

• Untuk melihat eksperimen, klik di ujung kanan, di samping Eksekusi Eksperimen.
• Untuk menampilkan eksekusi, klik nama eksekusi.

Mengelola eksperimen

Anda dapat mengganti nama, menghapus, atau mengelola izin untuk eksperimen yang Anda miliki dari halaman eksperimen, halaman detail eksperimen , atau menu ruang kerja.

Catatan

Anda tidak dapat langsung mengganti nama, menghapus, atau mengelola izin pada eksperimen MLflow yang dibuat oleh buku catatan di folder Databricks Git. Anda harus melakukan tindakan ini di tingkat folder Git.

Ganti nama eksperimen

Anda dapat mengganti nama eksperimen yang Anda miliki dari halaman Eksperimen atau dari halaman detail eksperimen untuk eksperimen tersebut.

• Pada halaman Eksperimen, klik ikon di kolom paling kanan lalu klik Ganti Nama.

• Pada halaman detail eksperimen, klik di samping Izin lalu klik Ganti Nama.

Anda dapat mengganti nama eksperimen ruang kerja dari ruang kerja. Klik kanan nama eksperimen lalu klik Ganti Nama.

Dapatkan ID eksperimen dan jalur ke eksperimen

Pada halaman detail eksperimen, Anda bisa mendapatkan jalur ke eksperimen buku catatan dengan mengklik ikon informasi di sebelah kanan nama eksperimen. Catatan pop-up muncul yang menunjukkan jalur ke eksperimen, ID eksperimen, dan lokasi artefak. Anda dapat menggunakan ID eksperimen dalam perintah MLflow set_experiment untuk mengatur eksperimen MLflow aktif.

Dari buku catatan, Anda bisa menyalin jalur lengkap eksperimen dengan mengklik di bilah samping eksperimen buku catatan.

Menghapus eksperimen notebook

Eksperimen notebook adalah bagian dari notebook dan tidak dapat dihapus secara terpisah. Saat Anda menghapus notebook, eksperimen notebook terkait akan dihapus. Saat Anda menghapus eksperimen notebook menggunakan UI, buku catatan juga dihapus.

Untuk menghapus eksperimen notebook menggunakan API, gunakan API Ruang Kerja untuk memastikan buku catatan dan eksperimen dihapus dari ruang kerja.

Menghapus eksperimen ruang kerja atau buku catatan

Anda dapat menghapus eksperimen yang Anda miliki dari halaman eksperimen atau dari halaman detail eksperimen.

Penting

Saat Anda menghapus eksperimen notebook, notebook tersebut juga akan dihapus.

• Pada halaman Eksperimen, klik di kolom paling kanan lalu klik Hapus.

• Pada halaman detail eksperimen, klik di samping Izin lalu klik Hapus.

Anda dapat menghapus eksperimen ruang kerja dari ruang kerja. Klik kanan nama eksperimen lalu klik Pindahkan ke Sampah.

Mengubah izin untuk eksperimen

Untuk mengubah izin eksperimen dari halaman detail eksperimen , klik Izin .

Anda dapat mengubah izin untuk eksperimen yang Anda miliki dari halaman Eksperimen. Klik di kolom paling kanan lalu klik Izin.

Untuk informasi tentang tingkat izin eksperimen, lihat ACL eksperimen MLflow.

Menyalin eksperimen di antara ruang kerja

Untuk memigrasikan eksperimen MLflow antar ruang kerja, Anda bisa menggunakan proyek berbasis komunitas sumber terbuka MLflow Export-Import.

Dengan alat-alat ini, Anda dapat:

• Berbagi dan berkolaborasi dengan ilmuwan data lain di server pelacakan yang sama atau lainnya. Misalnya, Anda bisa mengkloning eksperimen dari pengguna lain ke ruang kerja Anda.
• Salin eksperimen MLflow dan jalankan dari server pelacakan lokal Anda ke ruang kerja Databricks Anda.
• Cadangkan eksperimen dan model misi penting ke ruang kerja Databricks lain.