Menambahkan sumber daya eksperimen MLflow ke aplikasi Databricks

Tambahkan eksperimen MLflow sebagai sumber daya Aplikasi Databricks untuk mengaktifkan pelacakan eksperimen untuk aplikasi AI, agen, LLM, dan model ML Anda. Eksperimen MLflow menyediakan cara terstruktur untuk mengatur dan mencatat eksekusi, melacak parameter, metrik, dan artefak di seluruh siklus hidup pengembangan aplikasi AI.

Saat Anda menambahkan eksperimen MLflow sebagai sumber daya, aplikasi Anda dapat:

• Agen debug dan aplikasi LLM dengan jejak eksekusi
• Mengevaluasi kualitas aplikasi agen dan LLM dengan penilai
• Mengelola dan membuat versi templat permintaan untuk aplikasi LLM
• Mencatat hasil pelatihan model ML beserta parameter, metrik, dan artefak.
• Mengambil data eksperimen, metadata, dan riwayat pemrosesan

Menambahkan sumber daya eksperimen MLflow

Sebelum Anda menambahkan eksperimen MLflow sebagai sumber daya, tinjau prasyarat sumber daya aplikasi.

1. Di bagian Sumber daya aplikasi saat Anda membuat atau mengedit aplikasi, klik + Tambahkaneksperimen MLflow>.
2. Pilih eksperimen MLflow dari daftar eksperimen yang tersedia di ruang kerja Anda.
3. Pilih tingkat izin yang sesuai untuk aplikasi Anda:
   • Dapat membaca: Memberikan izin aplikasi untuk melihat metadata eksperimen, eksekusi, parameter, dan metrik. Gunakan untuk aplikasi yang menampilkan hasil eksperimen.
   • Dapat mengedit: Memberikan izin aplikasi untuk mengubah pengaturan eksperimen dan metadata.
   • Dapat mengelola: Memberikan akses administratif penuh aplikasi ke eksperimen.
4. (Opsional) Tentukan kunci sumber daya kustom, yang merupakan cara Anda mereferensikan eksperimen dalam konfigurasi aplikasi Anda. Kunci defaultnya adalah experiment.

Saat Anda menambahkan sumber daya eksperimen MLflow:

• Azure Databricks memberikan service utama aplikasi Anda izin yang ditentukan pada eksperimen yang dipilih.
• Aplikasi ini dapat mencatat eksekusi pelatihan dan mengakses data eksperimen melalui MLflow Tracking API.
• Akses dibatasi hanya untuk eksperimen yang dipilih. Aplikasi Anda tidak dapat mengakses eksperimen lain kecuali Anda menambahkannya sebagai sumber daya terpisah.

Variabel lingkungan

Saat Anda menyebarkan aplikasi dengan sumber daya eksperimen MLflow, Azure Databricks mengekspos ID eksperimen melalui variabel lingkungan yang dapat Anda referensikan menggunakan bidang di konfigurasi />

Konfigurasi contoh:

env:
  - name: MLFLOW_EXPERIMENT_ID
    valueFrom: experiment # Use your custom resource key if different

Menggunakan ID eksperimen di aplikasi Anda:

import os
import mlflow

# Access the experiment using the injected environment variable
experiment_id = os.getenv("MLFLOW_EXPERIMENT_ID")

# Set the experiment for tracking
mlflow.set_experiment(experiment_id=experiment_id)

# Log parameters and metrics
with mlflow.start_run():
    mlflow.log_param("learning_rate", 0.01)
    mlflow.log_metric("accuracy", 0.95)
    mlflow.log_artifact("model.pkl")

Untuk informasi selengkapnya, lihat Mengakses variabel lingkungan dari sumber daya.

Menghapus sumber daya Eksperimen MLflow

Saat Anda menghapus sumber daya Eksperimen MLflow dari aplikasi, perwakilan layanan aplikasi kehilangan akses ke eksperimen. Eksperimen itu sendiri tetap tidak berubah dan terus tersedia untuk pengguna dan aplikasi lain yang memiliki izin yang sesuai.

Praktik terbaik

Ikuti praktik terbaik ini saat Anda bekerja dengan sumber daya eksperimen MLflow:

• Atur eksperimen secara logis menurut jenis proyek atau model untuk meningkatkan penemuan.
• Gunakan konvensi penamaan yang konsisten untuk eksekusi dan parameter di seluruh organisasi Anda.
• Pertimbangkan kebijakan retensi eksperimen dan manajemen penyimpanan untuk proyek yang berjalan lama.