使用 MLflow 追蹤實驗和模型

追蹤是儲存實驗相關資訊的流程。 在本文中，您將了解如何在 Azure Machine Learning 工作區中使用 MLflow 來追蹤實驗與執行。

當您使用 Azure Machine Learning 時，MLflow API 中可用的某些方法可能無法使用。 如需支援和不支援作業的詳細資訊，請參閱查詢執行和實驗的支援矩陣。 您也可以從 MLflow 和 Azure Machine Learning 一文中瞭解 Azure Machine Learning 中支援的 MLflow 功能。

附註

• 若要追蹤在 Azure Databricks 上執行的實驗，請參閱 使用 MLflow 和 Azure Machine Learning 追蹤 Azure Databricks 機器學習實驗。
• 若要追蹤在 Azure Synapse Analytics 上執行的實驗，請參閱使用 MLflow 和 Azure Machine Learning 追蹤 Azure Synapse Analytics ML 實驗 (部分機器翻譯)。

先決條件

• 擁有 Azure 訂用帳戶和 免費或付費版本的 Azure Machine Learning。

• 若要執行 Azure CLI 和 Python 命令，請安裝 Azure CLI v2 和適用於 Python 的 Azure Machine Learning SDK v2。 Azure CLI 的 ml 延伸模組會在您第一次執行 Azure Machine Learning CLI 命令時自動安裝。

• 安裝 MLflow SDK mlflow 套件和適用於 MLflow 的 Azure Machine Learning azureml-mlflow 外掛程式：

  pip install mlflow azureml-mlflow
  

  秘訣

  您可使用 mlflow-skinny 套件，這是輕量型 MLflow 套件，沒有 SQL 儲存體、伺服器、UI 或資料科學相依性。 我們建議主要需要 MLflow 追蹤和記錄功能，但不需要完整功能套件的使用者使用此套件，包括部署。

• 建立 Azure Machine Learning 工作區。 若要建立工作區，請參閱建立開始使用所需的資源。 檢閱您在工作區中執行 MLflow 作業所需的 存取權限 。

• 若要執行遠端追蹤，或追蹤在 Azure Machine Learning 外部執行的實驗，請將 MLflow 設定為指向 Azure Machine Learning 工作區的追蹤 URI。 如需如何將 MLflow 連線至工作區的詳細資訊，請參閱設定適用於 Azure Machine Learning 的 MLflow。

設定實驗

MLflow 會在實驗和執行中組織資訊。 執行 (run) 在 Azure Machine Learning 中稱為作業 (job)。 根據預設，執行會記錄到一個名為 Default 的自動建立實驗，但您可以設定要追蹤的實驗。

筆記本

如需互動式定型，例如在 Jupyter 筆記本中，請使用 MLflow 命令 mlflow.set_experiment()。 例如，下列程式碼片段會設定實驗：

experiment_name = 'hello-world-example'
mlflow.set_experiment(experiment_name)

作業

若要使用 Azure Machine Learning CLI 或 SDK 來提交作業，請使用作業的 experiment_name 屬性來設定實驗名稱。 您不需要在訓練腳本中設定實驗名稱。

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

設定執行

Azure Machine Learning 會在 MLflow 所稱的執行中追蹤訓練作業。 使用執行來擷取作業執行的所有處理。

筆記本

當您以互動方式工作時，一旦您記錄了需要作用中執行的資訊，MLflow 就會立即開始追蹤您的訓練常式。 例如，如果已啟用 MLflow 的自動記錄功能，則當您記錄計量或參數或啟動定型週期時，MLflow 追蹤就會開始。

不過，通常明確地啟動執行會很有幫助，特別是當您想在 [持續時間] 欄位中記錄您的實驗的總時間時。 若要明確啟動執行，請使用 mlflow.start_run()。

無論您是否手動啟動執行，您最終都需要停止執行，讓 MLflow 知道您的實驗執行已完成，而且可以將執行的狀態標示為 [已完成]。 若要停止執行，請使用 mlflow.end_run()。

以下程式碼能以手動的方式來啟動執行，並在筆記本結尾結束它：

mlflow.start_run()

# Your code

mlflow.end_run()

最好以手動的方式來啟動執行，以免忘記結束它們。 您可以使用內容管理員範式來協助您記得結束執行。

with mlflow.start_run() as run:
    # Your code

當您使用 mlflow.start_run()啟動新的執行時，指定 run_name 參數會很有用，稍後會轉譯為 Azure Machine Learning 使用者介面中的執行名稱。 這種做法有助於您更快地識別執行。

with mlflow.start_run(run_name="hello-world-example") as run:
    # Your code

作業

Azure Machine Learning 作業可讓您將長時間執行的定型或推斷常式提交為隔離且可重現的執行。

建立一個具有追蹤功能的訓練常式

當您使用任務時，通常會將所有定型邏輯以檔案形式包含在資料夾中，例如 src。 其中一個檔案是一個包含您的訓練程式碼進入點的 Python 檔案。

在您的訓練流程中，您可以使用 MLflow SDK 來追蹤任何指標、參數、成果或模型。 如需範例，請參閱使用 MLflow 記錄計量、參數和檔案 (部分機器翻譯)。

以下範例顯示了一個新增了記錄功能的 hello_world.py 訓練常式：

# imports
import os
import mlflow

from random import random

# define functions
def main():
    mlflow.log_param("hello_param", "world")
    mlflow.log_metric("hello_metric", random())
    os.system(f"echo 'hello world' > helloworld.txt")
    mlflow.log_artifact("helloworld.txt")


# run functions
if __name__ == "__main__":
    # run main function
    main()

上一個程式碼範例不會使用 mlflow.start_run(). 如果使用此行，MLflow 會重複使用目前的作用中執行。 因此，如果您將程式碼移轉至 Azure Machine Learning，則不需要移除 mlflow.start_run() 。

確定您的作業環境已安裝 MLflow

所有 Azure Machine Learning 策劃的環境都已安裝了 MLflow。 不過，如果您使用自訂環境，請建立具有所需相依性的 conda.yml 檔案，並在工作中參考環境。

channels:
- conda-forge
dependencies:
- python=3.8.5
- pip
- pip:
  - mlflow
  - azureml-mlflow
  - fastparquet
  - cloudpickle==1.6.0
  - colorama==0.4.4
  - dask==2023.2.0

設定作業名稱

使用 Azure Machine Learning 作業參數 display_name 來設定執行的名稱。

1. 使用 display_name 屬性來設定作業。

   Azure CLI

   若要設定作業，請在 src 目錄外的 job.yml 檔案中建立一個包含您的作業定義的 YAML 檔案。

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   command: echo "hello world"
   environment:
     image: library/python:latest
   tags:
     hello: world
   display_name: hello-world-example
   experiment_name: hello-world-example
   description: |
   

   Python SDK

   from azure.ai.ml import command, Environment
   
   command_job = command(
       code="src",
       command="echo "hello world",
       environment=Environment(image="library/python:latest"),
       compute="cpu-cluster",
       display_name="hello-world-example"
   )
   

2. 請務必不要在您的訓練常式中使用 mlflow.start_run(run_name="")。

提交工作

1. 工作區 (workspace) 是 Azure Machine Learning 的最上層資源，它提供了一個集中式位置，用於處理您所建立的所有 Azure Machine Learning 成品。 連線到 Azure Machine Learning 工作區。

   Azure CLI

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
   

   Python SDK

   1. 匯入必要的程式庫：

      from azure.ai.ml import MLClient
      from azure.identity import DefaultAzureCredential
      

   2. 設定工作區詳細資料，並取得工作區的控制代碼：

      subscription_id = "<subscription>"
      resource_group = "<resource-group>"
      workspace = "<workspace>"
      
      ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
      

2. 開啟終端機，並使用下列程式碼提交作業。 使用 MLflow 並在 Azure Machine Learning 上執行的作業，會自動將任何追蹤資訊記錄到工作區。

   Azure CLI

   使用 Azure Machine Learning CLI 提交作業。

   az ml job create -f job.yml --web
   

   Python SDK

   使用 Python SDK 提交作業。

   returned_job = ml_client.jobs.create_or_update(command_job)
   returned_job.studio_url
   

3. 監視 Azure Machine Learning 工作室中的作業進度。

啟用 MLflow 自動記錄

您可以手動使用 MLflow 記錄計量、參數和檔案，也可以依賴 MLflow 的自動記錄功能。 MLflow 支援的每個機器學習架構都會決定要自動追蹤的內容。

若要啟用自動記錄功能，請在您的定型程式碼前面插入下列程式碼：

mlflow.autolog()

在您的工作區中檢視計量和成品

您的工作區中會追蹤 MLflow 記錄中的計量和成品。 您可以在 Azure Machine Learning 工作室中檢視和存取它們，或使用 MLflow SDK 以程式設計方式存取它們。

若要在工作室中檢視計量和成品：

1. 在您的工作區的 [作業] 頁面上，選取實驗名稱。

2. 在實驗詳細資料頁面上，選取 [計量] 索引標籤。

3. 選取記錄的度量以在頁面右側顯示圖表。 您可以藉由套用平滑、變更色彩或繪製單一圖表上的多個計量來自訂圖表。 您也可以調整大小並重新排列配置。

4. 建立您想要的檢視之後，請儲存它以供將來使用，並使用直接連結與您的團隊成員共用。

   

若要使用 MLflow SDK 以程式設計方式存取或查詢計量、參數和成品，請使用 mlflow.get_run（）。

import mlflow

run = mlflow.get_run("<RUN_ID>")

metrics = run.data.metrics
params = run.data.params
tags = run.data.tags

print(metrics, params, tags)

秘訣

前面的範例只會傳回指定計量的最後一個值。 若要擷取指定計量的所有值，請使用 mlflow.get_metric_history 方法。 如需擷取計量值的詳細資訊，請參閱從執行中取得參數和計量。

若要下載您所記錄的成品 (例如檔案和模型)，請使用 mlflow.artifacts.download_artifacts()。

mlflow.artifacts.download_artifacts(run_id="<RUN_ID>", artifact_path="helloworld.txt")

如需如何使用 MLflow 從 Azure Machine Learning 中的實驗和執行擷取或比較資訊的詳細資訊，請參閱 使用 MLflow 查詢和比較實驗和執行。

相關內容

• 部署 MLflow 模型
• 使用 MLflow 管理模型
• 使用 MLflow (Jupyter Notebooks)