Настройка MLflow для Машинного обучения Azure

Статья
01/19/2024

В этой статье объясняется, как настроить MLflow для подключения к рабочей области Машинное обучение Azure для отслеживания, реестров и развертывания.

Машинное обучение Azure рабочие области совместимы с MLflow, что означает, что они могут выступать в качестве сервера MLflow без дополнительной настройки. Каждая рабочая область имеет URI отслеживания MLflow, который MLflow может использовать для подключения к рабочей области. Машинное обучение Azure рабочие области уже настроены для работы с MLflow, поэтому дополнительная конфигурация не требуется.

Однако если вы работаете вне Машинное обучение Azure (например, локального компьютера, Azure Synapse Analytics или Azure Databricks), необходимо настроить MLflow для указания рабочей области.

Важно!

При запуске в вычислительных средах Azure (Машинное обучение Azure записных книжек, записных книжек Jupyter, размещенных в Машинное обучение Azure вычислительных экземплярах или заданиях, работающих в вычислительных кластерах Машинное обучение Azure), вам не нужно настраивать URI отслеживания. Он автоматически настроен для вас.

Необходимые компоненты

Для выполнения этого руководства необходимы следующие предварительные требования:

Установите пакет mlflow SDK MLflow и подключаемый модуль Машинное обучение Azure для MLflowazureml-mlflow.
```
pip install mlflow azureml-mlflow
```
Совет

Вы можете использовать mlflow-skinny пакет, который является упрощенным пакетом MLflow без хранилища SQL, сервера, пользовательского интерфейса или зависимостей для обработки и анализа данных. mlflow-skinny рекомендуется для пользователей, которым в первую очередь нужны возможности отслеживания и ведения журнала MLflow, не импортируя полный набор функций, включая развертывания.
Рабочая область Машинного обучения Azure. Вы можете создать его, следуя руководству по созданию ресурсов машинного обучения.
- Сведения о разрешениях доступа, необходимых для выполнения операций MLflow в рабочей области.
Если вы выполняете удаленное отслеживание (то есть выполняется отслеживание экспериментов, выполняемых вне Машинное обучение Azure), настройте MLflow для указания URI отслеживания рабочей области Машинное обучение Azure. Дополнительные сведения о подключении MLflow к рабочей области см. в разделе "Настройка MLflow" для Машинное обучение Azure.

Настройка URI отслеживания MLflow

Чтобы подключить MLflow к рабочей области Машинное обучение Azure, требуется URI отслеживания для рабочей области. Каждая рабочая область имеет собственный URI отслеживания и имеет протокол azureml://.

Получите URI отслеживания для рабочей области:
ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)
1. Войдите и настройте рабочую область:
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location> 
```
2. URI отслеживания можно получить с помощью az ml workspace команды:
```
az ml workspace show --query mlflow_tracking_uri
```
ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

Вы можете получить URI отслеживания MLflow для Azure ML с помощью пакета SDK для Машинного обучения Azure версии 2 для Python. Убедитесь, что у вас установлена библиотека azure-ai-ml в используемом вычислении. В следующем примере возвращается уникальный URI отслеживания MLFLow, связанный с рабочей областью.
1. Войдите в рабочую область с помощью .MLClient Проще сделать это с помощью файла конфигурации рабочей области:
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())
```
  Совет
  
  Вы можете скачать файл конфигурации рабочей области следующим способом:
  
  Перейдите в Студию машинного обучения Azure
  
  Щелкните правый верхний угол страницы —> скачайте файл конфигурации.
  
  Сохраните файл config.json в том же каталоге, с которым вы работаете.
2. Кроме того, можно использовать идентификатор подписки, имя группы ресурсов и имя рабочей области, чтобы получить его:
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your AzureML workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<WORKSPACE_NAME>'

ml_client = MLClient(credential=DefaultAzureCredential(),
                        subscription_id=subscription_id, 
                        resource_group_name=resource_group,
                        workspace_name=workspace_name)
```
  Важно!
  
  DefaultAzureCredential попытается извлечь учетные данные из доступного контекста. Если вы хотите указать учетные данные другим способом, например, используя веб-браузер в интерактивном режиме, вы можете использовать InteractiveBrowserCredential или любой другой метод, доступный в пакете azure.identity.
3. Получите URI отслеживания Машинное обучение Azure:
```
mlflow_tracking_uri = ml_client.workspaces.get(ml_client.workspace_name).mlflow_tracking_uri
```
Используйте портал Машинное обучение Azure для получения URI отслеживания:
1. Откройте портал Студия машинного обучения Azure и войдите с помощью учетных данных.
2. В правом верхнем углу щелкните имя рабочей области, чтобы отобразить колонку "Каталог + подписка + рабочая область ".
3. Щелкните "Просмотреть все свойства" на портале Azure.
4. В разделе Essentials вы найдете универсальный код ресурса (URI) отслеживания MLflow.
URI отслеживания для Машинного обучения Azure можно создать с помощью идентификатора подписки, региона, в котором развернут ресурс, имени группы ресурсов и имени рабочей области. В следующем примере кода показано, как:

Предупреждение

Если вы работаете в рабочей области с поддержкой приватного канала, конечная точка MLflow также будет использовать приватный канал для связи с Машинное обучение Azure. В результате URI отслеживания будет выглядеть иначе, как показано здесь. Для этих случаев необходимо получить URI отслеживания с помощью пакета SDK машинного обучения Azure или CLI версии 2.
```
region = "<LOCATION>"
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<AML_WORKSPACE_NAME>'

mlflow_tracking_uri = f"azureml://{region}.api.azureml.ms/mlflow/v1.0/subscriptions/{subscription_id}/resourceGroups/{resource_group}/providers/Microsoft.MachineLearningServices/workspaces/{workspace_name}"
```
Настройка URI отслеживания:
- с помощью MLflow;
- Использование переменных среды
Затем метод set_tracking_uri() указывает этот URI в качестве URI отслеживания MLFLow.
```
import mlflow

mlflow.set_tracking_uri(mlflow_tracking_uri)
```
Переменные среды MLflow можно задать MLFLOW_TRACKING_URI в вычислительных ресурсах, чтобы сделать любое взаимодействие с MLflow в этом вычислении, чтобы они указывали по умолчанию на Машинное обучение Azure.
```
MLFLOW_TRACKING_URI=$(az ml workspace show --query mlflow_tracking_uri | sed 's/"//g') 
```
Совет

При работе с общими средами, например в кластере Azure Databricks, кластере Azure Synapse Analytics или аналогичном, рекомендуется настроить переменную MLFLOW_TRACKING_URI среды на уровне кластера, чтобы автоматически настроить URI отслеживания MLflow, чтобы указывать на Машинное обучение Azure для всех сеансов, выполняемых в кластере, а не для каждого сеанса.

Настройка проверки подлинности

После установки отслеживания также необходимо настроить метод проверки подлинности для связанной рабочей области. По умолчанию подключаемый модуль Машинное обучение Azure для MLflow выполняет интерактивную проверку подлинности, открыв браузер по умолчанию для запроса учетных данных.

Подключаемый модуль Машинное обучение Azure для MLflow поддерживает несколько механизмов проверки подлинности через пакетazure-identity, который устанавливается в качестве зависимости для подключаемого модуляazureml-mlflow. Следующие методы проверки подлинности выполняются по одному до тех пор, пока один из них не будет выполнен.

Среда: считывает сведения об учетной записи, указанные с помощью переменных среды, и использует ее для проверки подлинности.
Управляемое удостоверение. Если приложение развернуто на узле Azure с включенным управляемым удостоверением, оно проходит проверку подлинности с его помощью.
Azure CLI: если пользователь входит с помощью команды Azure CLI az login , он проходит проверку подлинности от имени этого пользователя.
Azure PowerShell: если пользователь входит с помощью команды Azure PowerShellConnect-AzAccount, он проходит проверку подлинности от имени этого пользователя.
Интерактивный браузер: интерактивный браузер проверяет подлинность пользователя через браузер по умолчанию.

Для интерактивных заданий, в которых есть пользователь, подключенный к сеансу, можно полагаться на интерактивную проверку подлинности, поэтому дальнейшие действия не требуются.

Предупреждение

Интерактивная проверка подлинности браузера блокирует выполнение кода при запросе учетных данных. Это не подходящий вариант для проверки подлинности в автоматических средах, таких как задания обучения. Рекомендуется настроить другой режим проверки подлинности.

Для таких сценариев, когда требуется автоматическое выполнение, необходимо настроить субъект-службу для взаимодействия с Машинное обучение Azure.

Пакет SDK для MLflow
Использование переменных среды

import os

os.environ["AZURE_TENANT_ID"] = "<AZURE_TENANT_ID>"
os.environ["AZURE_CLIENT_ID"] = "<AZURE_CLIENT_ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<AZURE_CLIENT_SECRET>"

export AZURE_TENANT_ID="<AZURE_TENANT_ID>"
export AZURE_CLIENT_ID="<AZURE_CLIENT_ID>"
export AZURE_CLIENT_SECRET="<AZURE_CLIENT_SECRET>"

Совет

При работе с общими средами рекомендуется настроить эти переменные среды на вычислительных ресурсах. Рекомендуется управлять ими в качестве секретов в экземпляре Azure Key Vault по возможности. Например, в Azure Databricks можно использовать секреты в переменных среды, как показано в конфигурации кластера. AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}} См . ссылку на секрет в переменной среды, чтобы узнать, как это сделать в Azure Databricks или обратиться к аналогичной документации на платформе.

Если вы предпочитаете использовать сертификат вместо секрета, можно настроить переменные AZURE_CLIENT_CERTIFICATE_PATH среды в путь к PEM файлу или PKCS12 файлу сертификата (включая закрытый ключ) и AZURE_CLIENT_CERTIFICATE_PASSWORD с паролем файла сертификата, если таковые есть.

Настройка уровней авторизации и разрешений

Некоторые роли по умолчанию, такие как AzureML Специалист по обработке и анализу данных или участник, уже настроены для выполнения операций MLflow в рабочей области Машинное обучение Azure. При использовании настраиваемой роли вам потребуется следующее разрешение:

Чтобы использовать отслеживание MLflow:
- Microsoft.MachineLearningServices/workspaces/experiments/*
- Microsoft.MachineLearningServices/workspaces/jobs/*
Чтобы использовать реестр моделей MLflow:
- Microsoft.MachineLearningServices/workspaces/models/*/*

Чтобы узнать, как предоставить доступ к созданному субъекту-службе или учетной записи пользователя в рабочей области, см. раздел "Предоставление доступа".

Устранение неполадок с проверкой подлинности

MLflow пытается выполнить проверку подлинности, чтобы Машинное обучение Azure при первой операции, которая взаимодействует со службой, например mlflow.set_experiment() или mlflow.start_run(). При обнаружении проблем или непредвиденных запросов проверки подлинности во время процесса можно увеличить уровень ведения журнала, чтобы получить дополнительные сведения об ошибке:

import logging

logging.getLogger("azure").setLevel(logging.DEBUG)

Задание имени эксперимента (необязательно)

Все запуски (циклы) MLflow регистрируются в активном эксперименте. По умолчанию запуски записываются в эксперимент с именем Default, который создается автоматически. Вы можете настроить эксперимент, в котором происходит отслеживание.

Совет

При отправке заданий с помощью Машинное обучение Azure CLI версии 2 можно задать имя эксперимента с помощью свойства experiment_name в определении YAML задания. Необязательно настраивать его в скрипте обучения. Дополнительные сведения см. в разделе YAML: отображаемое имя, имя эксперимента, описание и теги.

Пакет SDK для MLflow
Использование переменных среды

Настройте эксперимент с помощью команды mlflow.set_experiment()MLflow.

experiment_name = 'experiment_with_mlflow'
mlflow.set_experiment(experiment_name)

Для одной из переменных среды MLflow, MLFLOW_EXPERIMENT_NAME или MLFLOW_EXPERIMENT_ID, можно также указать имя эксперимента.

export MLFLOW_EXPERIMENT_NAME="experiment_with_mlflow"

Поддержка неопубликованных облачных служб Azure

Подключаемый модуль Машинное обучение Azure для MLflow по умолчанию настраивается для работы с глобальным облаком Azure. Однако вы можете настроить облако Azure, используемое с помощью переменной AZUREML_CURRENT_CLOUDсреды.

Пакет SDK для MLflow
Использование переменных среды

import os

os.environ["AZUREML_CURRENT_CLOUD"] = "AzureChinaCloud"

export AZUREML_CURRENT_CLOUD="AzureChinaCloud"

Вы можете определить облако, используемое с помощью следующей команды Azure CLI:

az cloud list

В текущем облаке задано Trueзначение IsActive .

Следующие шаги

Теперь, когда среда подключена к рабочей области в Машинное обучение Azure, вы можете начать работу с ней.