分享方式:


使用 MLflow 追蹤模型開發

本文包含在 Azure Databricks 中追蹤模型開發的範例。 使用 MLflow 自動記錄和追蹤 ML 和深度學習模型,或使用 MLflow API 手動進行。

模型追蹤與 MLflow

模型開發過程是迭代的,當您開發和最佳化模型時,追蹤您的工作可能會很困難。 在 Azure Databricks 中,可以使用 MLflow 追蹤來協助您追蹤模型開發過程,包括您嘗試的參數設定或組合,以及它們如何影響模型的效能。

MLflow 追蹤會使用實驗執行來記錄和追蹤您的 ML 和深度學習模型開發。 執行是模型程式碼的單一執行。 在 MLflow 執行期間,可以記錄模型參數和結果。 實驗是相關執行的集合。 在實驗中,您可以比較和篩選執行,以了解模型的執行方式,以及其效能如何取決於參數設定、輸入資料等等。

本文中的筆記本提供簡單範例,可協助您快速開始使用 MLflow 來追蹤模型開發。 如需在 Azure Databricks 中使用 MLflow 追蹤的詳細資訊,請參閱追蹤 ML 和深度學習訓練執行

注意

MLflow 追蹤不支援在工作 API 中使用 spark_submit_task 提交的工作。 相反,可以使用 MLflow 專案來執行 Spark 程式碼。

使用自動記錄來追蹤模型開發

MLflow 可以自動記錄在許多 ML 和深度學習架構中撰寫的訓練程式碼。 這是開始使用 MLflow 追蹤的最簡單方式。

此範例筆記本示範如何搭配使用自動記錄與 scikit-learn。 如需有關使用其他 Python 庫進行自動記錄的資訊,請參閱將訓練執行自動記錄到 MLflow

MLflow 自動記錄 Python 筆記本

取得筆記本

使用記錄 API 來追蹤模型開發

此筆記本說明如何使用 MLflow 記錄 API。 使用記錄 API 可讓您更充分掌控記錄的計量,並可讓您記錄其他成品,例如資料表或繪圖。

此範例筆記本示範如何使用 Python 記錄 API。 MLflow 也有 REST、R 和 Java API

MLflow 記錄 API Python 筆記本

取得筆記本

端對端範例

本教學課程筆記本提供在 Azure Databricks 中訓練模型的端對端範例,包括載入資料、可視化資料、設定平行超參數最佳化,以及使用 MLflow 來檢閱結果、註冊模型,以及在 Spark UDF 中使用已註冊的模型對新資料執行推斷。

需求

Databricks Runtime ML

範例筆記本

如果已針對 Unity Catalog 啟用您的工作區,請使用此版本的筆記本:

在 Databricks 上使用 scikit-learn 與 MLflow 整合 (Unity Catalog)

取得筆記本

如果未針對 Unity Catalog 啟用您的工作區,請使用此版本的筆記本:

在 Databricks 上使用 scikit-learn 與 MLflow 整合

取得筆記本