Отслеживание экспериментов и моделей с помощью MLflow

Отслеживание — это процесс сохранения соответствующих сведений о экспериментах. Из этой статьи вы узнаете, как использовать MLflow для отслеживания экспериментов и запусков в рабочей области Azure Machine Learning.

Некоторые методы, доступные в API MLflow, могут быть недоступны при использовании Машинного обучения Azure. Дополнительные сведения о поддерживаемых и неподдерживаемых операциях см. в матрице поддержки для запросов к запускам и экспериментам. Вы также можете узнать о поддерживаемых функциях MLflow в Машинном обучении Azure из статьи MLflow и Машинного обучения Azure.

Примечание.

Чтобы отслеживать эксперименты, выполняемые в Azure Databricks, см. статью "Отслеживание экспериментов машинного обучения Azure Databricks" с помощью MLflow и Машинного обучения Azure.
Чтобы отслеживать эксперименты, выполняемые в Azure Synapse Analytics, см. "Отслеживание экспериментов Azure Synapse Analytics с помощью MLflow и Azure Machine Learning".

Предварительные условия

У вас есть подписка Azure и бесплатная или платная версия Машинного обучения Azure.
Чтобы запустить команды Azure CLI и Python, установите Azure CLI версии 2 и пакет SDK Машинное обучение Azure версии 2 для Python. Расширение ml для Azure CLI устанавливается автоматически при первом запуске команды Azure Machine Learning CLI.

Установите пакет MLflow SDK mlflow и плагин Azure Machine Learning azureml-mlflow для MLflow:
```
pip install mlflow azureml-mlflow
```
Совет

Вы можете использовать mlflow-skinny пакет, который является упрощенным пакетом MLflow без хранилища SQL, сервера, пользовательского интерфейса или зависимостей для обработки и анализа данных. Мы рекомендуем этот пакет для пользователей, которым в первую очередь нужны возможности отслеживания и ведения журнала MLflow, но не полный набор функций, включая развертывания.
Создайте рабочую область Машинного обучения Azure. Чтобы создать рабочую область, см. статью "Создание ресурсов, которые нужны для начала". Просмотрите разрешения доступа, необходимые для выполнения операций MLflow в рабочей области.
Чтобы выполнить удаленное отслеживание или отслеживать эксперименты, выполняемые вне Машинное обучение Azure, настройте MLflow для указания URI отслеживания рабочей области Машинное обучение Azure. Дополнительные сведения о подключении MLflow к рабочей области см. в разделе "Настройка MLflow" для Машинное обучение Azure.

Настройка эксперимента

MLflow упорядочивает сведения в экспериментах и прогонах. Запуски называются заданиями в службе Azure Machine Learning. По умолчанию логи создаваемых запусков записываются в эксперимент с именем Default, но можно настроить, в какой эксперимент их следует отслеживать.

Записные книжки
Работы

Для интерактивного обучения, например в записной книжке Jupyter, используйте команду MLflow mlflow.set_experiment(). Например, следующий фрагмент кода настраивает эксперимент:

experiment_name = 'hello-world-example'
mlflow.set_experiment(experiment_name)

Чтобы отправить задания с помощью интерфейса командной строки или пакета SDK Машинное обучение Azure, задайте имя эксперимента с помощью experiment_name свойства задания. Вам не нужно настраивать имя эксперимента в скрипте обучения.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

Настройка запуска

Машинное обучение Azure отслеживает задания обучения при выполнении вызовов MLflow. Используйте запуски, чтобы записать всю обработку, выполняемую заданием.

Записные книжки
Работы

Когда вы работаете в интерактивном режиме, MLflow начинает отслеживать процесс обучения сразу после того, как вы регистрируете сведения, требующие активного запуска. Например, если функция автологирования MLflow включена, отслеживание MLflow начинается при регистрации метрики или параметра или запуска цикла обучения.

Тем не менее, обычно полезно начать процесс явным образом, особенно если вы хотите записать общее время для эксперимента в поле Длительность. Чтобы запустить запуск явным образом, используйте mlflow.start_run().

Независимо от того, запускаете ли вы выполнение вручную или нет, вам в конечном итоге необходимо остановить выполнение, чтобы MLflow знал, что выполнение эксперимента выполнено и может пометить состояние выполнения как завершено. Чтобы остановить выполнение, используйте mlflow.end_run().

Следующий код запускается вручную и заканчивает его в конце записной книжки:

mlflow.start_run()

# Your code

mlflow.end_run()

Лучше всего начинать пробежки вручную, чтобы не забыть их закончить. Вы можете использовать контекстный менеджер, чтобы помнить о завершении процесса.

with mlflow.start_run() as run:
    # Your code

При запуске нового сеанса с использованием mlflow.start_run(), можно указать параметр run_name, который позже преобразуется в имя сеанса в пользовательском интерфейсе Azure Machine Learning. Эта практика помогает быстрее определить запуск.

with mlflow.start_run(run_name="hello-world-example") as run:
    # Your code

Azure Machine Learning позволяет отправлять задания, которые выполняют длительные процедуры обучения или инференции в виде изолированных и воспроизводимых запусков.

Создайте тренировочную программу с отслеживанием

При работе с заданиями обычно вы включаете всю логику обучения в качестве файлов в папку, например src. Один из файлов — это файл на Python, который является начальной точкой вашего кода обучения.

В подпрограмме обучения можно использовать пакет SDK MLflow для отслеживания любой метрики, параметра, артефакта или модели. Примеры см. в разделе "Метрики журнала", "Параметры" и "Файлы" с помощью MLflow.

В следующем примере показана процедура обучения hello_world.py , которая добавляет ведение журнала:

# imports
import os
import mlflow

from random import random

# define functions
def main():
    mlflow.log_param("hello_param", "world")
    mlflow.log_metric("hello_metric", random())
    os.system(f"echo 'hello world' > helloworld.txt")
    mlflow.log_artifact("helloworld.txt")


# run functions
if __name__ == "__main__":
    # run main function
    main()

В предыдущем примере кода не используется mlflow.start_run(). Если используется эта строка, MLflow повторно использует текущий активный запуск. Поэтому при переносе кода в Машинное обучение Azure не требуется удалять mlflow.start_run() .

Убедитесь, что в среде вашего задания установлен MLflow

Все подготовленные окружения Azure Machine Learning уже имеют установленный MLflow. Однако если вы используете настраиваемую среду, создайте файл conda.yml с необходимыми зависимостями и укажите среду в задании.

channels:
- conda-forge
dependencies:
- python=3.8.5
- pip
- pip:
  - mlflow
  - azureml-mlflow
  - fastparquet
  - cloudpickle==1.6.0
  - colorama==0.4.4
  - dask==2023.2.0

Настройка имени задания

Используйте параметр заданий Azure Machine Learning display_name для настройки имени запуска.

Используйте свойство display_name, чтобы настроить задание.

Azure CLI
Пакет SDK для Python

Чтобы настроить задание, создайте файл YAML с определением задания в файле job.yml за пределами каталога src .

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

from azure.ai.ml import command, Environment

command_job = command(
    code="src",
    command="echo "hello world",
    environment=Environment(image="library/python:latest"),
    compute="cpu-cluster",
    display_name="hello-world-example"
)

Убедитесь, что вы не используете mlflow.start_run(run_name="") в процедуре обучения.

отправить работу

Рабочая область — это ресурс верхнего уровня для Azure Machine Learning, предоставляющий централизованное место для работы со всеми создаваемыми артефактами Azure Machine Learning. Подключитесь к рабочей области Машинное обучение Azure.
- Azure CLI
- Пакет SDK для Python
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
```
1. Импортируйте необходимые библиотеки:
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential
```
2. Настройте сведения о рабочей области и получите идентификатор рабочей области.
```
subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
```
Откройте терминал и используйте следующий код для отправки задания. Задания, использующие MLflow и выполняющиеся в Azure Machine Learning, автоматически регистрируют всю информацию об отслеживании в рабочей области.
- Azure CLI
- Пакет SDK для Python
Используйте интерфейс командной строки Машинное обучение Azure для отправки задания.
```
az ml job create -f job.yml --web
```
Используйте пакет SDK для Python для отправки задания.
```
returned_job = ml_client.jobs.create_or_update(command_job)
returned_job.studio_url
```
Отслеживайте ход выполнения заданий в студии машинного обучения Azure.

Включите автологирование MLflow

Вы можете записывать метрики, параметры и файлы с помощью MLflow вручную, а также использовать функцию автоматического ведения журнала MLflow. Каждая платформа машинного обучения, поддерживаемая MLflow, определяет, что следует отслеживать автоматически.

Чтобы включить автоматическое ведение журнала, вставьте следующий код перед учебным кодом:

mlflow.autolog()

Просмотр метрик и артефактов в рабочей области

Метрики и артефакты, зафиксированные через журналирование MLflow, отслеживаются в вашем рабочем пространстве. Вы можете просматривать и получать доступ к ним в студии машинного обучения Azure или программным способом с помощью пакета SDK MLflow.

Чтобы просмотреть метрики и артефакты в студии, выполните следующие действия.

На странице "Задания" в рабочей области выберите имя эксперимента.
На странице сведений о эксперименте выберите вкладку "Метрики ".
Выберите записанные метрики для отрисовки диаграмм в правой части страницы. Вы можете настроить диаграммы, применяя сглаживание, изменение цвета или отображение нескольких метрик на одном графе. Вы также можете изменить размер и изменить расположение макета.
Создав нужное представление, сохраните его для дальнейшего использования и поделитесь им с коллегами по прямой ссылке.

Чтобы получить доступ к метрикам, параметрам и артефактам программно с помощью пакета SDK MLflow, используйте mlflow.get_run().

import mlflow

run = mlflow.get_run("<RUN_ID>")

metrics = run.data.metrics
params = run.data.params
tags = run.data.tags

print(metrics, params, tags)

Совет

В предыдущем примере возвращается только последнее значение заданной метрики. Чтобы получить все значения заданной метрики, используйте mlflow.get_metric_history метод. Дополнительные сведения о получении значений метрик см. в разделе Get params and metrics from a run.

Чтобы скачать артефакты, зарегистрированные в журнале, например файлы и модели, используйте mlflow.artifacts.download_artifacts().

mlflow.artifacts.download_artifacts(run_id="<RUN_ID>", artifact_path="helloworld.txt")

Дополнительные сведения о том, как получить или сравнить сведения из экспериментов и запусков в Машинном обучении Azure с помощью MLflow, см. в статье "Запрос и сравнение экспериментов и запусков с помощью MLflow".

Обратная связь

Были ли сведения на этой странице полезными?

Last updated on 2025-10-31