Suivre des expériences de Machine Learning Azure Synapse Analytics avec MLflow et Azure Machine Learning

Article
07/12/2023

Cet article explique comment activer MLflow pour se connecter à Azure Machine Learning tout en travaillant dans un espace de travail Azure Synapse Analytics. Vous pouvez tirer parti de cette configuration pour le suivi, la gestion des modèles et le déploiement de modèles.

MLflow est une bibliothèque open source permettant de gérer le cycle de vie de vos expériences de Machine Learning. MLFlow Tracking est un composant de MLflow qui consigne et assure le suivi de vos métriques d'exécution d'apprentissage et de vos artefacts de modèle. Apprenez-en davantage sur MLflow.

Si vous avez un projet MLflow à entraîner avec Azure Machine Learning, consultez Entraîner des modèles ML avec des projets MLflow et Azure Machine Learning (préversion).

Prérequis

Installation des bibliothèques

Pour installer des bibliothèques sur votre cluster dédié dans Azure Synapse Analytics :

Créez un fichier requirements.txt avec les packages que vos expériences requièrent, mais assurez-vous qu’il inclut également les packages suivants :

requirements.txt
```
mlflow
azureml-mlflow
azure-ai-ml
```
Accédez au portail de l’espace de travail Azure Analytics.
Accédez à l’onglet Gérer et sélectionnez Pools Apache Spark.
Cliquez sur les trois points en regard du nom du cluster, puis sélectionnez Packages.
Dans la section Fichiers d’exigences, cliquez sur Charger.
Chargez le fichier requirements.txt.
Attendez que votre cluster redémarre.

Suivre des expériences avec MLflow

Azure Synapse Analytics peut être configuré pour suivre les expériences avec MLflow vers un espace de travail Azure Machine Learning. Azure Machine Learning fournit un référentiel centralisé pour gérer tout le cycle de vie des expériences, modèles et déploiements. Il présente l’avantage de faciliter le déploiement à l’aide d’options de déploiement d’Azure Machine Learning.

Configuration de vos notebooks pour utiliser MLflow connecté à Azure Machine Learning

Pour utiliser Azure Machine Learning comme référentiel centralisé pour les expériences, vous pouvez tirer parti de MLflow. Sur chaque notebook sur lequel vous travaillez, vous devez configurer l’URI de suivi pour qu’il pointe vers l’espace de travail que vous allez utiliser. L’exemple suivant montre comment procéder :

Configurer l’URI de suivi

Récupérez l’URI de suivi pour votre espace de travail :
- Azure CLI
- Python
- Studio
- Manuellement
S’APPLIQUE À :Extension Azure ML CLI v2 (actuelle)
1. Connectez-vous et configurez votre espace de travail :
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location> 
```
2. Vous pouvez obtenir l’URI de suivi à l’aide de la commande az ml workspace :
```
az ml workspace show --query mlflow_tracking_uri
```
S’APPLIQUE À : Kit de développement logiciel (SDK) Python azure-ai-mlv2 (préversion)

Vous pouvez obtenir l’URI de suivi MLflow Azure ML à l’aide du kit de développement logiciel (SDK) Azure Machine Learning v2 pour Python. Vérifiez que la bibliothèque azure-ai-ml est installée dans le calcul que vous utilisez. L’exemple suivant obtient l’URI de suivi MLFLow unique associé à votre espace de travail.
1. Connectez-vous à votre espace de travail à l’aide de MLClient. La façon la plus simple d’y parvenir consiste à utiliser le fichier de configuration de l’espace de travail :
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())
```
  Conseil
  
  Vous pouvez télécharger le fichier de configuration de l’espace de travail en procédant comme suit :
  
  Accédez à Azure ML studio.
  
  Cliquez sur l’angle supérieur droit de la page -> Téléchargez le fichier de configuration.
  
  Enregistrez le fichier config.json dans votre répertoire de travail.
2. Vous pouvez également utiliser l’ID d’abonnement, le nom du groupe de ressources et le nom de l’espace de travail pour les obtenir :
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your AzureML workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<WORKSPACE_NAME>'

ml_client = MLClient(credential=DefaultAzureCredential(),
                        subscription_id=subscription_id, 
                        resource_group_name=resource_group,
                        workspace_name=workspace_name)
```
  Important
  
  DefaultAzureCredential essaiera d’extraire les informations d’identification du contexte disponible. Si vous souhaitez spécifier des informations d’identification autrement, par exemple en utilisant le navigateur web de manière interactive, vous pouvez utiliser InteractiveBrowserCredential ou toute autre méthode disponible dans le package azure.identity.
3. Obtenez l’URI de suivi Azure Machine Learning :
```
mlflow_tracking_uri = ml_client.workspaces.get(ml_client.workspace_name).mlflow_tracking_uri
```
Utilisez le portail Azure Machine Learning pour obtenir l’URI de suivi :
1. Ouvrez le portail Azure Machine Learning studio et connectez-vous à l’aide de vos informations d’identification.
2. Dans le coin supérieur droit, cliquez sur le nom de votre espace de travail pour afficher le panneau Répertoire + Abonnement + Espace de travail .
3. Cliquez sur Afficher toutes les propriétés dans le portail Azure.
4. Dans la section Essentials , vous trouverez la propriété URI de suivi MLflow.
L’URI de suivi Azure Machine Learning peut être généré à l’aide de l’ID d’abonnement, de la région où la ressource est déployée, du nom du groupe de ressources et du nom de l’espace de travail. L’exemple de code suivant illustre cette opération :

Avertissement

Si vous travaillez dans un espace de travail avec liaison privée, le point de terminaison MLflow utilise également une liaison privée pour communiquer avec Azure Machine Learning. Par conséquent, l’URI de suivi sera différent de celui proposé ici. Dans ce cas, vous devez obtenir l’URI de suivi à l’aide du SDK Azure ML ou de l’interface CLI v2.
```
region = "<LOCATION>"
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<AML_WORKSPACE_NAME>'

mlflow_tracking_uri = f"azureml://{region}.api.azureml.ms/mlflow/v1.0/subscriptions/{subscription_id}/resourceGroups/{resource_group}/providers/Microsoft.MachineLearningServices/workspaces/{workspace_name}"
```
Configuration de l’URI de suivi :
- Utilisation du Kit de développement logiciel (SDK) MLflow
- Utilisation de variables d’environnement
Ensuite, la méthode set_tracking_uri() pointe l’URI de MLflow Tracking vers cet URI.
```
import mlflow

mlflow.set_tracking_uri(mlflow_tracking_uri)
```
Vous pouvez définir les variables d’environnement MLflow MLFLOW_TRACKING_URI dans votre calcul pour que toute interaction avec MLflow dans ce calcul pointe par défaut vers Azure Machine Learning.
```
MLFLOW_TRACKING_URI=$(az ml workspace show --query mlflow_tracking_uri | sed 's/"//g') 
```
Conseil

Quand vous travaillez sur des environnements partagés (par exemple, un cluster Azure Databricks, un cluster Azure Synapse Analytics ou un environnement similaire), il est utile de définir la variable d’environnement MLFLOW_TRACKING_URI au niveau du cluster afin de configurer automatiquement l’URI de suivi MLflow pour qu’il pointe vers Azure Machine Learning pour toutes les sessions exécutées dans le cluster plutôt que de le faire pour chaque session.

Configurer l’authentification

Quand le suivi est configuré, vous devez également configurer le mode d’authentification auprès de l’espace de travail associé. Par défaut, le plug-in Azure Machine Learning pour MLflow effectue une authentification interactive en ouvrant le navigateur par défaut pour demander les informations d’identification. Consultez Configurer MLflow pour Azure Machine Learning : Configurer l’authentification pour connaître d’autres moyens de configurer l’authentification pour MLflow auprès des espaces de travail Azure Machine Learning.

Pour les travaux interactifs, quand un utilisateur est connecté à la session, vous pouvez vous appuyer sur l’authentification interactive. Dans ce cas, aucune action supplémentaire n’est requise.

Avertissement

L’authentification interactive par navigateur bloque l’exécution du code quand les informations d’identification sont demandées. Cette option d’authentification n’est pas appropriée dans les environnements non surveillés, par exemple pour les travaux d’entraînement. Nous vous recommandons de configurer un autre mode d’authentification.

Pour les scénarios impliquant une exécution non surveillée, vous devez configurer un principal de service pour la communication avec Azure Machine Learning.

Kit de développement logiciel (SDK) MLflow
Utilisation de variables d’environnement

import os

os.environ["AZURE_TENANT_ID"] = "<AZURE_TENANT_ID>"
os.environ["AZURE_CLIENT_ID"] = "<AZURE_CLIENT_ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<AZURE_CLIENT_SECRET>"

export AZURE_TENANT_ID="<AZURE_TENANT_ID>"
export AZURE_CLIENT_ID="<AZURE_CLIENT_ID>"
export AZURE_CLIENT_SECRET="<AZURE_CLIENT_SECRET>"

Conseil

Quand vous travaillez sur des environnements partagés, il est recommandé de configurer ces variables d’environnement au niveau du calcul. Gérez-les comme secrets dans une instance d’Azure Key Vault ; il s’agit d’une bonne pratique à adopter dans la mesure du possible. Par exemple, dans Azure Databricks, vous pouvez utiliser des secrets dans des variables d’environnement dans la configuration du cluster comme suit : AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}}. Consultez Référencer un secret dans une variable d’environnement pour savoir comment procéder dans Azure Databricks ou reportez-vous à une documentation similaire dans votre plateforme.

Noms des expériences dans Azure Machine Learning

Par défaut, Azure Machine Learning suit les exécutions dans une expérience par défaut appelée Default. Il est généralement judicieux de définir l’expérience sur laquelle vous allez travailler. Utilisez la syntaxe suivante pour définir le nom de l’expérience :

mlflow.set_experiment(experiment_name="experiment-name")

Suivi des paramètres, métriques et artefacts

Vous pouvez ensuite utiliser MLflow dans Azure Databricks comme vous avez l’habitude de le faire. Pour plus d’informations, consultez Journaliser et visualiser les métriques et les fichiers journaux.

Inscrire des modèles dans le registre à l’aide de MLflow

Des modèles peuvent être inscrits dans un espace de travail Azure Machine Learning qui offre un référentiel centralisé pour gérer leur cycle de vie. L’exemple suivant journalise un modèle formé avec Spark MLLib, et l’inscrit dans le registre.

mlflow.spark.log_model(model, 
                       artifact_path = "model", 
                       registered_model_name = "model_name")

S'il n'existe pas de modèle inscrit sous ce nom, la méthode en inscrit un nouveau, crée une version 1, puis renvoie un objet MLflow ModelVersion.
S'il existe déjà un modèle inscrit sous ce nom, la méthode crée une nouvelle version du modèle et renvoie l'objet version.

Vous pouvez gérer les modèles inscrits dans Azure Machine Learning à l’aide de MLflow. Pour plus d’informations, consultez Gérer les registres de modèles dans Azure Machine Learning avec MLflow.

Déployer et utiliser des modèles inscrits dans Azure Machine Learning

Les modèles inscrits dans Azure Machine Learning Service à l’aide de MLflow peuvent être utilisés comme suit :

Point de terminaison Azure Machine Learning (en temps réel et par lots) : ce déploiement vous permet de tirer parti des fonctionnalités de déploiement d’Azure Machine Learning pour l’inférence en temps réel et par lots dans Azure Container Instances (ACI), Azure Kubernetes (AKS) ou nos points de terminaison managés.
Objets modèles MLFlow ou fonctions Pandas définies par l’utilisateur, qui peuvent être utilisés dans des notebooks Azure Synapse Analytics dans des pipelines de diffusion en continu ou de traitement par lots.

Déployer des modèles sur des points de terminaison Azure Machine Learning

Vous pouvez utiliser le plug-in azureml-mlflow pour déployer un modèle dans votre espace de travail Azure Machine Learning. Consultez la page Déployer des modèles MLflow pour obtenir des détails complets sur le déploiement des modèles sur les différentes cibles.

Important

Pour pouvoir déployer des modèles, ceux-ci doivent être inscrits dans le registre Azure Machine Learning. Le déploiement de modèles non inscrits n’est pas pris en charge dans Azure Machine Learning.

Déployer des modèles pour le scoring par lots à l’aide de fonctions définies par l’utilisateur

Vous pouvez choisir des clusters Azure Synapse Analytics pour le scoring par lot. Le modèle MLFlow est chargé et utilisé en tant que fonction Spark Pandas définie par l'utilisateur pour calculer le score des nouvelles données.

from pyspark.sql.types import ArrayType, FloatType 

model_uri = "runs:/"+last_run_id+ {model_path} 

#Create a Spark UDF for the MLFlow model 
pyfunc_udf = mlflow.pyfunc.spark_udf(spark, model_uri) 

#Load Scoring Data into Spark Dataframe 
scoreDf = spark.table({table_name}).where({required_conditions}) 

#Make Prediction 
preds = (scoreDf 
           .withColumn('target_column_name', pyfunc_udf('Input_column1', 'Input_column2', ' Input_column3', …)) 
        ) 

display(preds)

Nettoyer les ressources

Si vous souhaitez conserver votre espace de travail Azure Synapse Analytics, mais que vous n’avez plus besoin de l’espace de travail Azure Machine Learning, vous pouvez supprimer l’espace de travail Azure Machine Learning. Si vous ne prévoyez pas d’utiliser les métriques et artefacts journalisés dans votre espace de travail, sachez qu’il n’est pas possible de les supprimer un par un. Au lieu de cela, supprimez le groupe de ressources contenant le compte de stockage et l’espace de travail afin d’éviter des frais supplémentaires :

Dans le portail Azure, sélectionnez Groupes de ressources tout à gauche.
À partir de la liste, sélectionnez le groupe de ressources créé.
Sélectionnez Supprimer le groupe de ressources.
Entrez le nom du groupe de ressources. Puis sélectionnez Supprimer.