تجربة MLflow
يوفر مصدر بيانات تجربة MLflow واجهة برمجة تطبيقات قياسية لتحميل بيانات تشغيل تجربة MLflow. يمكنك تحميل البيانات من تجربة دفتر الملاحظات، أو يمكنك استخدام اسم تجربة MLflow أو معرف التجربة.
المتطلبات
Databricks Runtime 6.0 ML أو أعلى.
تحميل البيانات من تجربة دفتر الملاحظات
لتحميل البيانات من تجربة دفتر الملاحظات، استخدم load()
.
Python
df = spark.read.format("mlflow-experiment").load()
display(df)
التطوير
val df = spark.read.format("mlflow-experiment").load()
display(df)
تحميل البيانات باستخدام معرفات التجربة
لتحميل البيانات من تجربة مساحة عمل واحدة أو أكثر، حدد معرفات التجربة كما هو موضح.
Python
df = spark.read.format("mlflow-experiment").load("3270527066281272")
display(df)
التطوير
val df = spark.read.format("mlflow-experiment").load("3270527066281272,953590262154175")
display(df)
تحميل البيانات باستخدام اسم التجربة
يمكنك أيضا تمرير اسم التجربة إلى load()
الأسلوب .
Python
expId = mlflow.get_experiment_by_name("/Shared/diabetes_experiment/").experiment_id
df = spark.read.format("mlflow-experiment").load(expId)
display(df)
التطوير
val expId = mlflow.getExperimentByName("/Shared/diabetes_experiment/").get.getExperimentId
val df = spark.read.format("mlflow-experiment").load(expId)
display(df)
تصفية البيانات استنادا إلى المقاييس والمعلمات
توضح الأمثلة في هذا القسم كيف يمكنك تصفية البيانات بعد تحميلها من تجربة.
Python
df = spark.read.format("mlflow-experiment").load("3270527066281272")
filtered_df = df.filter("metrics.loss < 0.01 AND params.learning_rate > '0.001'")
display(filtered_df)
التطوير
val df = spark.read.format("mlflow-experiment").load("3270527066281272")
val filtered_df = df.filter("metrics.loss < 1.85 AND params.num_epochs > '30'")
display(filtered_df)
مخطط
مخطط DataFrame الذي تم إرجاعه بواسطة مصدر البيانات هو:
root
|-- run_id: string
|-- experiment_id: string
|-- metrics: map
| |-- key: string
| |-- value: double
|-- params: map
| |-- key: string
| |-- value: string
|-- tags: map
| |-- key: string
| |-- value: string
|-- start_time: timestamp
|-- end_time: timestamp
|-- status: string
|-- artifact_uri: string