MLflow-kísérlet
Az MLflow-kísérlet adatforrása egy szabványos API-t biztosít az MLflow-kísérlet futtatási adatainak betöltéséhez. Adatokat tölthet be a jegyzetfüzet-kísérletből, vagy használhatja az MLflow-kísérlet nevét vagy kísérletazonosítóját.
Requirements
Databricks Runtime 6.0 ML vagy újabb.
Adatok betöltése a jegyzetfüzet-kísérletből
A jegyzetfüzet-kísérletből származó adatok betöltéséhez használja a következőt load()
: .
Python
df = spark.read.format("mlflow-experiment").load()
display(df)
Scala
val df = spark.read.format("mlflow-experiment").load()
display(df)
Adatok betöltése kísérletazonosítókkal
Egy vagy több munkaterületi kísérlet adatainak betöltéséhez adja meg a kísérlet azonosítóit az ábrán látható módon.
Python
df = spark.read.format("mlflow-experiment").load("3270527066281272")
display(df)
Scala
val df = spark.read.format("mlflow-experiment").load("3270527066281272,953590262154175")
display(df)
Adatok betöltése kísérletnévvel
A kísérlet nevét a metódusnak load()
is átadhatja.
Python
expId = mlflow.get_experiment_by_name("/Shared/diabetes_experiment/").experiment_id
df = spark.read.format("mlflow-experiment").load(expId)
display(df)
Scala
val expId = mlflow.getExperimentByName("/Shared/diabetes_experiment/").get.getExperimentId
val df = spark.read.format("mlflow-experiment").load(expId)
display(df)
Adatok szűrése metrikák és paraméterek alapján
Az ebben a szakaszban szereplő példák azt mutatják be, hogyan szűrheti az adatokat egy kísérletből való betöltése után.
Python
df = spark.read.format("mlflow-experiment").load("3270527066281272")
filtered_df = df.filter("metrics.loss < 0.01 AND params.learning_rate > '0.001'")
display(filtered_df)
Scala
val df = spark.read.format("mlflow-experiment").load("3270527066281272")
val filtered_df = df.filter("metrics.loss < 1.85 AND params.num_epochs > '30'")
display(filtered_df)
Schema
Az adatforrás által visszaadott DataFrame sémája a következő:
root
|-- run_id: string
|-- experiment_id: string
|-- metrics: map
| |-- key: string
| |-- value: double
|-- params: map
| |-- key: string
| |-- value: string
|-- tags: map
| |-- key: string
| |-- value: string
|-- start_time: timestamp
|-- end_time: timestamp
|-- status: string
|-- artifact_uri: string