訓練
認證
Microsoft Certified: Azure Data Scientist Associate - Certifications
使用 Python、Azure Machine Learning 和 MLflow 來管理資料擷取和準備、訓練及部署模型,以及監視機器學習解決方案。
實驗是模型訓練執行的組織單位。 實驗有兩種類型:[工作區] 和 [筆記本]。
若要查看您有權存取的工作區中的所有實驗,請在提要字段中選取 [Machine Learning > 實驗]。
本節說明如何使用 Azure Databricks UI 建立工作區實驗。 您可以直接從工作區或從 [實驗] 頁面建立工作區實驗。
您也可以搭配 databricks_mlflow_experiment 使用 MLflow API 或 Databricks Terraform 提供者。
如需工作區實驗記錄執行的說明,請參閱 將執行記錄至實驗。
按下側邊欄中的 [工作區]。
瀏覽至您要在其中建立實驗的資料夾。
以滑鼠右鍵按兩下資料夾,然後選取 [建立 > MLflow 實驗]。
在 [建立 MLflow 實驗] 對話方塊中,輸入實驗的名稱和選用的成品位置。 如果您未指定成品位置,成品會儲存在 MLflow 管理的成品記憶體中: dbfs:/databricks/mlflow-tracking/<experiment-id>
。
Azure Databricks 支援 Unity 目錄磁碟區、Azure Blob 記憶體和 Azure Data Lake 記憶體成品位置。
在 MLflow 2.15.0 和更新版本中,您可以將成品儲存在 Unity 目錄磁碟區中。 當您建立 MLflow 實驗時,請將磁碟區路徑格式指定為 dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path
,作為 MLflow 實驗的物件儲存位置,如下列程式碼所示:
EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
CATALOG = "my_catalog"
SCHEMA = "my_schema"
VOLUME = "my_volume"
ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}"
mlflow.set_tracking_uri("databricks")
mlflow.set_registry_uri("databricks-uc")
if mlflow.get_experiment_by_name(EXP_NAME) is None:
mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
mlflow.set_experiment(EXP_NAME)
若要將成品儲存在 Azure Blob 儲存體中,請指定 wasbs://<container>@<storage-account>.blob.core.windows.net/<path>
形式的 URI。 儲存在 Azure Blob 儲存體中的成品不會出現在 MLflow UI 中;您必須使用 Blob 儲存體用戶端進行下載。
注意
當您將成品儲存在 DBFS 以外的位置時,成品不會出現在 MLflow UI 中。 儲存在 DBFS 以外位置的模型無法在模型登錄中註冊。
按一下 [建立]。 新實驗的實驗詳細數據頁面隨即出現。
若要記錄此實驗的執行,請使用實驗路徑呼叫 mlflow.set_experiment()
。 若要顯示實驗路徑,請按兩下實驗名稱右側的資訊圖示 。 如需詳細數據和範例筆記本,請參閱 記錄執行至實驗。
若要建立基礎模型微調、AutoML 或自定義實驗,請按兩下
在頁面頂端,選取下列其中一個選項來設定實驗:
當您在筆記本中使用 mlflow.start_run() 命令 時,執行會將計量和參數記錄至使用中實驗。 如果沒有實驗處於作用中,Azure Databricks 即會建立筆記本實驗。 筆記本實驗會與其對應的筆記本共用相同的名稱和標識符。 筆記本識別碼是 Notebook URL 結尾的數值標識碼,標識碼。
或者,您可以將 Azure Databricks 工作區路徑傳遞至 mlflow.set_experiment() 中的現有筆記本,以為其建立筆記本實驗。
如需將執行記錄至筆記本實驗的指示,請參閱 記錄執行至實驗。
注意
如果您使用 API 刪除筆記本實驗 (例如,Python 中的 MlflowClient.tracking.delete_experiment()
),筆記本本身會移至 [垃圾桶] 資料夾。
您有權存取的每個實驗都會出現在實驗頁面上。 您可以從此頁面檢視任何實驗。 按兩下實驗名稱以顯示實驗詳細數據頁面。
其他存取實驗詳細數據頁面的方式:
若要搜尋實驗,請在 [篩選實驗] 欄位中鍵入文字,然後按 "Enter" 或按下放大鏡圖示。 實驗清單會變更,只顯示那些在 名稱、建立者、位置或 描述 欄位中包含搜尋文字的實驗。
點選數據表中任何實驗的名稱,以顯示其實驗詳細數據頁面:
實驗詳細資訊頁面會列出與實驗相關聯的所有運行。 從數據表中,您可以點擊實驗的 執行名稱,開啟與實驗相關聯的任何執行頁面。 Source 欄可讓您存取用來建立此執行紀錄的筆記本版本。 您也可以依計量或參數設定來搜尋和篩選執行。
在筆記本右側的側邊欄中,按一下 [實驗] 圖示。
[實驗執行] 側邊欄隨即出現,並顯示與筆記本實驗相關聯的每個執行摘要,包括執行參數和度量標準。 側邊欄的頂端是最近記錄的執行到的實驗名稱 (筆記本實驗或工作區實驗)。
您可以從側邊欄瀏覽至實驗詳細數據頁面,或直接瀏覽至測試運行。
您可以從實驗頁面、實驗詳細數據頁面或工作區功能表,重新命名、刪除或管理您擁有之實驗的許可權。
注意
您無法直接重新命名、刪除或管理由 Databricks Git 資料夾中筆記本建立的 MLflow 實驗的權限。 您必須在 Git 資料夾層級執行這些動作。
您可以從 實驗 頁 或該實驗的詳細資訊頁面重新命名您擁有的實驗。
您可以從工作區重新命名工作區實驗。 以滑鼠右鍵點擊實驗名稱,然後按下 重新命名。
在實驗詳細數據頁面上,您可以按下實驗名稱右側的資訊圖示 ,以取得筆記本實驗的路徑。 隨即會出現快顯附注,顯示實驗的路徑、實驗標識碼和成品位置。 您可以使用 MLflow 命令中的實驗識別碼
set_experiment
來設定作用中的 MLflow 實驗。
從筆記本中,您可以點擊 [路徑] 圖示
筆記本實驗是筆記本的一部分,且無法個別刪除。 當您刪除筆記本時,即會刪除關聯的筆記本實驗。 當您使用 UI 刪除筆記本實驗時,亦會刪除筆記本。
若要使用 API 刪除筆記本實驗,請使用工作區 API 來確保筆記本和實驗都會從工作區中刪除。
您可以從 實驗頁面 或實驗詳細數據頁面刪除您擁有的實驗。
重要
當您刪除筆記本實驗時,亦會刪除筆記本。
您可以從工作區中刪除工作區實驗。 用滑鼠右鍵點擊實驗名稱,然後點擊 移至垃圾桶。
若要從 實驗詳細資料頁面變更實驗的權限,請點擊 [許可權]。
您可以從 實驗 頁面變更您擁有之實驗的許可權。 請在最右邊的資料行點擊
如需有關實驗權限等級的資訊,請參閱 MLflow 模型 ACL。
若要在工作區之間移轉 MLflow 實驗,您可以使用社群驅動開放原始碼專案 MLflow Export-Import。
使用這些工具,您可以:
訓練
認證
Microsoft Certified: Azure Data Scientist Associate - Certifications
使用 Python、Azure Machine Learning 和 MLflow 來管理資料擷取和準備、訓練及部署模型,以及監視機器學習解決方案。
文件
使用 MLflow 追蹤模型開發 - Azure Databricks
學習如何利用 MLflow 自動追蹤機器學習訓練運行並瞭解相關實驗。
從 Azure Databricks 外部存取 MLflow 追蹤伺服器 - Azure Databricks
了解如何從 Azure Databricks 外部存取 MLflow 追蹤伺服器,記錄 MLflow 應用程式的資料。
使用 MLflow 執行記錄來檢視訓練結果 - Azure Databricks
瞭解如何使用 MLflow 執行來檢視和分析模型定型實驗的結果,以及如何管理和組織執行。