Bagikan melalui

Eksperimen MLflow

  • Artikel

Sumber data eksperimen MLflow menyediakan API standar untuk memuat data yang dijalankan eksperimen MLflow. Anda dapat memuat data dari eksperimen buku catatan, atau Anda dapat menggunakan ID eksperimen atau nama eksperimen MLflow.

Persyaratan

Databricks Runtime 6.0 ML atau di atasnya.

Memuat data dari eksperimen buku catatan

Untuk memuat data dari eksperimen buku catatan, gunakan load().

Python

df = spark.read.format("mlflow-experiment").load()
display(df)

Scala

val df = spark.read.format("mlflow-experiment").load()
display(df)

Memuat data menggunakan ID eksperimen

Untuk memuat data dari satu atau beberapa eksperimen ruang kerja, tentukan ID eksperimen seperti yang ditunjukkan.

Python

df = spark.read.format("mlflow-experiment").load("3270527066281272")
display(df)

Scala

val df = spark.read.format("mlflow-experiment").load("3270527066281272,953590262154175")
display(df)

Memuat data menggunakan nama eksperimen

Anda juga dapat meneruskan nama eksperimen ke metode load().

Python

expId = mlflow.get_experiment_by_name("/Shared/diabetes_experiment/").experiment_id
df = spark.read.format("mlflow-experiment").load(expId)
display(df)

Scala

val expId = mlflow.getExperimentByName("/Shared/diabetes_experiment/").get.getExperimentId
val df = spark.read.format("mlflow-experiment").load(expId)
display(df)

Memfilter data berdasarkan metrik dan parameter

Contoh di bagian ini menunjukkan bagaimana Anda dapat memfilter data setelah memuatnya dari eksperimen.

Python

df = spark.read.format("mlflow-experiment").load("3270527066281272")
filtered_df = df.filter("metrics.loss < 0.01 AND params.learning_rate > '0.001'")
display(filtered_df)

Scala

val df = spark.read.format("mlflow-experiment").load("3270527066281272")
val filtered_df = df.filter("metrics.loss < 1.85 AND params.num_epochs > '30'")
display(filtered_df)

Skema

Skema DataFrame yang dihasilkan oleh sumber data adalah:

root
|-- run_id: string
|-- experiment_id: string
|-- metrics: map
|    |-- key: string
|    |-- value: double
|-- params: map
|    |-- key: string
|    |-- value: string
|-- tags: map
|    |-- key: string
|    |-- value: string
|-- start_time: timestamp
|-- end_time: timestamp
|-- status: string
|-- artifact_uri: string