Konfigurowanie platformy MLflow dla usługi Azure Machine Learning

Artykuł
01/29/2024

W tym artykule wyjaśniono, jak skonfigurować rozwiązanie MLflow w celu nawiązania połączenia z obszarem roboczym usługi Azure Machine Edukacja na potrzeby śledzenia, rejestrów i wdrażania.

Obszary robocze usługi Azure Machine Edukacja są zgodne z platformą MLflow, co oznacza, że mogą działać jako serwer MLflow bez dodatkowej konfiguracji. Każdy obszar roboczy ma identyfikator URI śledzenia MLflow, którego można użyć do nawiązania połączenia z obszarem roboczym. Obszary robocze usługi Azure Machine Edukacja są już skonfigurowane do pracy z rozwiązaniem MLflow, więc nie jest wymagana żadna dodatkowa konfiguracja.

Jeśli jednak pracujesz poza usługą Azure Machine Edukacja (na przykład maszyną lokalną, usługą Azure Synapse Analytics lub usługą Azure Databricks), musisz skonfigurować rozwiązanie MLflow, aby wskazywało obszar roboczy.

Ważne

W przypadku uruchamiania w usłudze Azure Compute (notesy usługi Azure Machine Edukacja Notebooks, notesy Jupyter hostowane w usłudze Azure Machine Edukacja wystąpieniach obliczeniowych lub zadaniach uruchomionych w klastrach obliczeniowych usługi Azure Machine Edukacja) nie trzeba konfigurować identyfikatora URI śledzenia. Jest ona automatycznie konfigurowana.

Wymagania wstępne

Do wykonania tego samouczka potrzebne są następujące wymagania wstępne:

Zainstaluj pakiet mlflow zestawu MLflow SDK i wtyczkę usługi Azure Machine Edukacja dla platformy MLflowazureml-mlflow.
```
pip install mlflow azureml-mlflow
```
Napiwek

Możesz użyć mlflow-skinny pakietu, który jest lekkim pakietem MLflow bez magazynu SQL, serwera, interfejsu użytkownika lub zależności nauki o danych. mlflow-skinny jest zalecany dla użytkowników, którzy potrzebują głównie możliwości śledzenia i rejestrowania MLflow bez importowania pełnego zestawu funkcji, w tym wdrożeń.
Obszar roboczy usługi Azure Machine Learning. Możesz go utworzyć, wykonując czynności opisane w samouczku Tworzenie zasobów uczenia maszynowego.
- Sprawdź, które uprawnienia dostępu są potrzebne do wykonywania operacji MLflow w obszarze roboczym.
Jeśli wykonujesz zdalne śledzenie (czyli śledzenie eksperymentów uruchomionych poza usługą Azure Machine Edukacja), skonfiguruj rozwiązanie MLflow, aby wskazywało identyfikator URI śledzenia obszaru roboczego usługi Azure Machine Edukacja. Aby uzyskać więcej informacji na temat łączenia platformy MLflow z obszarem roboczym, zobacz Configure MLflow for Azure Machine Edukacja (Konfigurowanie platformy MLflow dla usługi Azure Machine Edukacja).

Konfigurowanie identyfikatora URI śledzenia MLflow

Aby połączyć rozwiązanie MLflow z obszarem roboczym usługi Azure Machine Edukacja, potrzebujesz identyfikatora URI śledzenia dla obszaru roboczego. Każdy obszar roboczy ma własny identyfikator URI śledzenia i ma protokół azureml://.

Pobierz identyfikator URI śledzenia dla obszaru roboczego:
DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure w wersji 2 (bieżąca)
1. Zaloguj się i skonfiguruj obszar roboczy:
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location> 
```
2. Identyfikator URI śledzenia można uzyskać za pomocą az ml workspace polecenia :
```
az ml workspace show --query mlflow_tracking_uri
```
DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

Identyfikator URI śledzenia usługi Azure ML MLflow można uzyskać przy użyciu zestawu SDK usługi Azure Machine Edukacja w wersji 2 dla języka Python. Upewnij się, że biblioteka azure-ai-ml jest zainstalowana w używanym środowisku obliczeniowym. Poniższy przykład pobiera unikatowy identyfikator URI śledzenia MLFLow skojarzony z obszarem roboczym.
1. Zaloguj się do obszaru roboczego przy użyciu polecenia MLClient. Łatwiejszym sposobem na to jest użycie pliku konfiguracji obszaru roboczego:
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())
```
  Napiwek
  
  Plik konfiguracji obszaru roboczego można pobrać, wykonując następujące czynności:
  
  Przejdź do usługi Azure ML Studio
  
  Kliknij prawy górny róg strony —> pobierz plik konfiguracji.
  
  Zapisz plik config.json w tym samym katalogu, nad którym pracujesz.
2. Alternatywnie możesz użyć identyfikatora subskrypcji, nazwy grupy zasobów i nazwy obszaru roboczego, aby go pobrać:
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your AzureML workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<WORKSPACE_NAME>'

ml_client = MLClient(credential=DefaultAzureCredential(),
                        subscription_id=subscription_id, 
                        resource_group_name=resource_group,
                        workspace_name=workspace_name)
```
  Ważne
  
  DefaultAzureCredential Program podejmie próbę ściągnięcia poświadczeń z dostępnego kontekstu. Jeśli chcesz określić poświadczenia w inny sposób, na przykład przy użyciu przeglądarki internetowej w interaktywny sposób, możesz użyć InteractiveBrowserCredential lub innej metody dostępnej w azure.identity pakiecie.
3. Pobierz identyfikator URI śledzenia usługi Azure Machine Edukacja:
```
mlflow_tracking_uri = ml_client.workspaces.get(ml_client.workspace_name).mlflow_tracking_uri
```
Użyj portalu usługi Azure Machine Edukacja, aby uzyskać identyfikator URI śledzenia:
1. Otwórz portal usługi Azure Machine Edukacja Studio i zaloguj się przy użyciu swoich poświadczeń.
2. W prawym górnym rogu kliknij nazwę obszaru roboczego, aby wyświetlić blok Katalog + subskrypcja i obszar roboczy .
3. Kliknij pozycję Wyświetl wszystkie właściwości w witrynie Azure Portal.
4. W sekcji Podstawy znajdziesz identyfikator URI śledzenia MLflow właściwości.
Identyfikator URI śledzenia usługi Azure Machine Edukacja można utworzyć przy użyciu identyfikatora subskrypcji, regionu, w którym jest wdrażany zasób, nazwa grupy zasobów i nazwa obszaru roboczego. Poniższy przykładowy kod pokazuje, jak:

Ostrzeżenie

Jeśli pracujesz w obszarze roboczym z obsługą łącza prywatnego, punkt końcowy platformy MLflow będzie również używać łącza prywatnego do komunikowania się z usługą Azure Machine Edukacja. W związku z tym identyfikator URI śledzenia będzie wyglądać inaczej, jak zaproponowano tutaj. W tych przypadkach musisz uzyskać identyfikator URI śledzenia przy użyciu zestawu AZURE ML SDK lub interfejsu wiersza polecenia w wersji 2.
```
region = "<LOCATION>"
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<AML_WORKSPACE_NAME>'

mlflow_tracking_uri = f"azureml://{region}.api.azureml.ms/mlflow/v1.0/subscriptions/{subscription_id}/resourceGroups/{resource_group}/providers/Microsoft.MachineLearningServices/workspaces/{workspace_name}"
```
Konfigurowanie identyfikatora URI śledzenia:
- Korzystanie z zestawu MLflow SDK
- Używanie zmiennych środowiskowych
Następnie metoda set_tracking_uri() wskazuje identyfikator URI śledzenia MLflow na ten identyfikator URI.
```
import mlflow

mlflow.set_tracking_uri(mlflow_tracking_uri)
```
Zmienne środowiskowe MLflow można ustawić MLFLOW_TRACKING_URI w obliczeniach, aby dowolna interakcja z usługą MLflow w tym środowisku obliczeniowym wskazywała domyślnie usługę Azure Machine Edukacja.
```
MLFLOW_TRACKING_URI=$(az ml workspace show --query mlflow_tracking_uri | sed 's/"//g') 
```
Napiwek

Podczas pracy w środowiskach udostępnionych, takich jak klaster usługi Azure Databricks, klaster usługi Azure Synapse Analytics lub podobny, warto ustawić zmienną środowiskową MLFLOW_TRACKING_URI na poziomie klastra, aby automatycznie skonfigurować identyfikator URI śledzenia MLflow w taki sposób, aby wskazywał usługę Azure Machine Edukacja dla wszystkich sesji uruchomionych w klastrze, a nie na potrzeby poszczególnych sesji.

Konfiguruj uwierzytelnianie

Po ustawieniu śledzenia należy również skonfigurować metodę uwierzytelniania dla skojarzonego obszaru roboczego. Domyślnie wtyczka azure Machine Edukacja dla platformy MLflow wykonuje uwierzytelnianie interakcyjne, otwierając domyślną przeglądarkę w celu wyświetlenia monitu o poświadczenia.

Wtyczka azure Machine Edukacja dla platformy MLflow obsługuje kilka mechanizmów uwierzytelniania za pośrednictwem pakietu azure-identity, który jest instalowany jako zależność dla wtyczki azureml-mlflow. Następujące metody uwierzytelniania są wypróbowane pojedynczo, dopóki jeden z nich nie powiedzie się:

Środowisko: odczytuje informacje o koncie określone za pośrednictwem zmiennych środowiskowych i używa ich do uwierzytelniania.
Tożsamość zarządzana: jeśli aplikacja jest wdrożona na hoście platformy Azure z włączoną tożsamością zarządzaną, uwierzytelnia się przy użyciu niej.
Interfejs wiersza polecenia platformy Azure: jeśli użytkownik loguje się za pośrednictwem polecenia interfejsu wiersza polecenia az login platformy Azure, uwierzytelnia się jako ten użytkownik.
Azure PowerShell: jeśli użytkownik loguje się za pomocą polecenia programu Azure PowerShell Connect-AzAccount , uwierzytelnia się jako ten użytkownik.
Przeglądarka interaktywna: interakcyjnie uwierzytelnia użytkownika za pośrednictwem domyślnej przeglądarki.

W przypadku zadań interaktywnych, w których istnieje użytkownik połączony z sesją, można polegać na uwierzytelnianiu interakcyjnym i dlatego nie jest wymagana żadna dalsza akcja.

Ostrzeżenie

Uwierzytelnianie interakcyjne przeglądarki zablokuje wykonywanie kodu podczas monitowania o poświadczenia. Nie jest to odpowiednia opcja uwierzytelniania w środowiskach nienadzorowanych, takich jak zadania szkoleniowe. Zalecamy skonfigurowanie innego trybu uwierzytelniania.

W przypadku tych scenariuszy, w których wymagane jest nienadzorowane wykonanie, należy skonfigurować jednostkę usługi do komunikowania się z usługą Azure Machine Edukacja.

MLflow SDK
Używanie zmiennych środowiskowych

import os

os.environ["AZURE_TENANT_ID"] = "<AZURE_TENANT_ID>"
os.environ["AZURE_CLIENT_ID"] = "<AZURE_CLIENT_ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<AZURE_CLIENT_SECRET>"

export AZURE_TENANT_ID="<AZURE_TENANT_ID>"
export AZURE_CLIENT_ID="<AZURE_CLIENT_ID>"
export AZURE_CLIENT_SECRET="<AZURE_CLIENT_SECRET>"

Napiwek

Podczas pracy w środowiskach udostępnionych zaleca się skonfigurowanie tych zmiennych środowiskowych w środowisku obliczeniowym. Najlepszym rozwiązaniem jest zarządzanie nimi jako wpisami tajnymi w wystąpieniu usługi Azure Key Vault zawsze, gdy jest to możliwe. Na przykład w usłudze Azure Databricks można używać wpisów tajnych w zmiennych środowiskowych w następujący sposób w konfiguracji klastra: AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}}. Zobacz Odwołanie do wpisu tajnego w zmiennej środowiskowej , aby dowiedzieć się, jak to zrobić w usłudze Azure Databricks lub zapoznaj się z podobną dokumentacją na platformie.

Jeśli wolisz użyć certyfikatu zamiast wpisu tajnego, możesz skonfigurować zmienne AZURE_CLIENT_CERTIFICATE_PATH środowiskowe do ścieżki do PEM pliku certyfikatu lub PKCS12 (w tym klucza prywatnego) i AZURE_CLIENT_CERTIFICATE_PASSWORD przy użyciu hasła pliku certyfikatu, jeśli istnieje.

Konfigurowanie poziomów autoryzacji i uprawnień

Niektóre role domyślne, takie jak AzureML badacze dancyh lub Współautor, są już skonfigurowane do wykonywania operacji MLflow w obszarze roboczym usługi Azure Machine Edukacja. W przypadku korzystania z roli niestandardowej potrzebne są następujące uprawnienia:

Aby użyć śledzenia MLflow:
- Microsoft.MachineLearningServices/workspaces/experiments/*
- Microsoft.MachineLearningServices/workspaces/jobs/*
Aby użyć rejestru modeli MLflow:
- Microsoft.MachineLearningServices/workspaces/models/*/*

Aby dowiedzieć się, jak udzielić dostępu dla utworzonej jednostki usługi lub konta użytkownika w obszarze roboczym, zobacz Udzielanie dostępu.

Rozwiązywanie problemów z uwierzytelnianiem

Narzędzie MLflow próbuje uwierzytelnić się w usłudze Azure Machine Edukacja przy pierwszej operacji, która wchodzi w interakcję z usługą, na przykład mlflow.set_experiment() lub mlflow.start_run(). Jeśli podczas procesu znajdziesz problemy lub nieoczekiwane monity dotyczące uwierzytelniania, możesz zwiększyć poziom rejestrowania, aby uzyskać więcej szczegółów na temat błędu:

import logging

logging.getLogger("azure").setLevel(logging.DEBUG)

Ustawianie nazwy eksperymentu (opcjonalnie)

Wszystkie przebiegi platformy MLflow są rejestrowane w aktywnym eksperymencie. Domyślnie przebiegi są rejestrowane w eksperymencie o nazwie Default , który jest automatycznie tworzony. Możesz skonfigurować eksperyment, w którym odbywa się śledzenie.

Napiwek

Podczas przesyłania zadań przy użyciu interfejsu wiersza polecenia usługi Azure Machine Edukacja w wersji 2 można ustawić nazwę eksperymentu przy użyciu właściwości experiment_name w definicji YAML zadania. Nie trzeba go konfigurować na skry skrycie szkoleniowym. Aby uzyskać szczegółowe informacje, zobacz YAML: nazwa wyświetlana, nazwa eksperymentu, opis i tagi .

MLflow SDK
Używanie zmiennych środowiskowych

Skonfiguruj eksperyment przy użyciu polecenia mlflow.set_experiment()MLflow .

experiment_name = 'experiment_with_mlflow'
mlflow.set_experiment(experiment_name)

Można również ustawić jedną ze zmiennych środowiskowych MLflow MLFLOW_EXPERIMENT_NAME lub MLFLOW_EXPERIMENT_ID z nazwą eksperymentu.

export MLFLOW_EXPERIMENT_NAME="experiment_with_mlflow"

Obsługa chmur platformy Azure spoza publikowania

Wtyczka azure Machine Edukacja dla platformy MLflow jest domyślnie skonfigurowana do pracy z globalną chmurą platformy Azure. Można jednak skonfigurować chmurę platformy Azure, której używasz, ustawiając zmienną środowiskową AZUREML_CURRENT_CLOUD.

MLflow SDK
Używanie zmiennych środowiskowych

import os

os.environ["AZUREML_CURRENT_CLOUD"] = "AzureChinaCloud"

export AZUREML_CURRENT_CLOUD="AzureChinaCloud"

Możesz zidentyfikować chmurę, której używasz, za pomocą następującego polecenia interfejsu wiersza polecenia platformy Azure:

az cloud list

Bieżąca chmura ma wartość IsActive ustawioną na True.

Następne kroki

Teraz, gdy środowisko jest połączone z obszarem roboczym w usłudze Azure Machine Edukacja, możesz zacząć z nim pracować.