MLflow-experiment

  • Artikel

De gegevensbron van het MLflow-experiment biedt een standaard-API voor het laden van MLflow-experimentuitvoeringsgegevens. U kunt gegevens laden uit het notebookexperiment of u kunt de naam van het MLflow-experiment of de experiment-id gebruiken.

Vereisten

Databricks Runtime 6.0 ML of hoger.

Gegevens laden uit het notebook-experiment

Als u gegevens uit het notebookexperiment wilt laden, gebruikt u load().

Python

df = spark.read.format("mlflow-experiment").load()
display(df)

Scala

val df = spark.read.format("mlflow-experiment").load()
display(df)

Gegevens laden met behulp van experiment-id's

Als u gegevens wilt laden uit een of meer werkruimteexperimenten, geeft u de experiment-id's op zoals wordt weergegeven.

Python

df = spark.read.format("mlflow-experiment").load("3270527066281272")
display(df)

Scala

val df = spark.read.format("mlflow-experiment").load("3270527066281272,953590262154175")
display(df)

Gegevens laden met de naam van het experiment

U kunt de naam van het experiment ook doorgeven aan de load() methode.

Python

expId = mlflow.get_experiment_by_name("/Shared/diabetes_experiment/").experiment_id
df = spark.read.format("mlflow-experiment").load(expId)
display(df)

Scala

val expId = mlflow.getExperimentByName("/Shared/diabetes_experiment/").get.getExperimentId
val df = spark.read.format("mlflow-experiment").load(expId)
display(df)

Gegevens filteren op basis van metrische gegevens en parameters

In de voorbeelden in deze sectie ziet u hoe u gegevens kunt filteren na het laden van een experiment.

Python

df = spark.read.format("mlflow-experiment").load("3270527066281272")
filtered_df = df.filter("metrics.loss < 0.01 AND params.learning_rate > '0.001'")
display(filtered_df)

Scala

val df = spark.read.format("mlflow-experiment").load("3270527066281272")
val filtered_df = df.filter("metrics.loss < 1.85 AND params.num_epochs > '30'")
display(filtered_df)

Schema

Het schema van het DataFrame dat door de gegevensbron wordt geretourneerd, is:

root
|-- run_id: string
|-- experiment_id: string
|-- metrics: map
|    |-- key: string
|    |-- value: double
|-- params: map
|    |-- key: string
|    |-- value: string
|-- tags: map
|    |-- key: string
|    |-- value: string
|-- start_time: timestamp
|-- end_time: timestamp
|-- status: string
|-- artifact_uri: string