Configuración de MLflow para Azure Machine Learning

En este artículo se explica cómo configurar MLflow para conectarse a un área de trabajo de Azure Machine Learning para el seguimiento, los registros y la implementación.

Las áreas de trabajo de Azure Machine Learning son compatibles con MLflow, lo que significa que pueden actuar como un servidor de MLflow sin ninguna configuración adicional. Cada área de trabajo tiene un URI de seguimiento de MLflow que MLflow puede usar para conectarse al área de trabajo. Las áreas de trabajo de Azure Machine Learning ya están configuradas para funcionar con MLflow, por lo que no se requiere ninguna configuración adicional.

Sin embargo, si trabaja fuera de Azure Machine Learning (como la máquina local, Azure Synapse Analytics o Azure Databricks), debe configurar MLflow para que apunte al área de trabajo.

Importante

Cuando se ejecuta en Azure Compute (cuadernos de Azure Machine Learning, cuadernos de Jupyter alojados en instancias de proceso de Azure Machine Learning o trabajos que se ejecutan en clústeres de proceso de Azure Machine Learning), no es necesario configurar el URI de seguimiento. Se configura automáticamente.

Requisitos previos

Necesita los siguientes requisitos previos para seguir este tutorial:

• Instale el paquete mlflow del SDK de MLflow y el complemento de Azure Machine Learning para MLflow azureml-mlflow.

  pip install mlflow azureml-mlflow
  

  Sugerencia

  Puede usar el paquete de mlflow-skinny, que es un paquete MLflow ligero sin dependencias de ciencia de datos, servidor, servidor o almacenamiento de SQL. mlflow-skinny se recomienda para los usuarios que necesitan principalmente las funcionalidades de seguimiento y registro de MLflow sin importar el conjunto completo de características, incluidas las implementaciones.

• Un área de trabajo de Azure Machine Learning. Puede crear uno siguiendo el tutorial Creación de recursos de Aprendizaje automático .

  • Consulte qué permisos de acceso necesita para realizar las operaciones de MLflow con el área de trabajo.

• Si va a realizar el seguimiento remoto (es decir, los experimentos de seguimiento que se ejecutan fuera de Azure Machine Learning), configure MLflow para que apunte al URI de seguimiento del área de trabajo de Azure Machine Learning. Para más información sobre cómo conectar MLflow al área de trabajo, consulte Configuración de MLflow para Azure Machine Learning.

Configuración del URI de seguimiento de MLflow

Para conectar MLflow a un área de trabajo de Azure Machine Learning, necesita el URI de seguimiento del área de trabajo. Cada área de trabajo tiene su propio URI de seguimiento y tiene el protocolo azureml://.

1. Obtenga el URI de seguimiento del área de trabajo:

   CLI de Azure

   SE APLICA A:Extensión de ML de la CLI de Azure v2 (actual)

   1. Inicie sesión y configure el área de trabajo:

      az account set --subscription <subscription>
      az configure --defaults workspace=<workspace> group=<resource-group> location=<location> 
      

   2. Puede obtener el URI de seguimiento mediante el comando az ml workspace:

      az ml workspace show --query mlflow_tracking_uri
      

   Python

   SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

   Puede obtener el URI de seguimiento MLflow en Azure ML con el SDK de Azure Machine Learning v2 para Python. Asegúrese de que tiene instalada la biblioteca azure-ai-ml en el proceso que usa. En el ejemplo siguiente, se obtiene el URI de seguimiento de MLFLow único asociado al área de trabajo.

   1. Inicie sesión en el área de trabajo mediante MLClient. La manera más fácil de hacerlo es mediante el archivo de configuración del área de trabajo:

      from azure.ai.ml import MLClient
      from azure.identity import DefaultAzureCredential
      
      ml_client = MLClient.from_config(credential=DefaultAzureCredential())
      

      Sugerencia

      Puede descargar el archivo de configuración del área de trabajo mediante los pasos siguientes:

      1. Vaya a Estudio de Azure Machine Learning.
      2. Haga clic en la esquina superior derecha de la página -> Descargar archivo de configuración.
      3. Guarde el archivo config.json en el mismo directorio en el que está trabajando.

   2. Como alternativa, puede usar el identificador de suscripción, el nombre del grupo de recursos y el nombre del área de trabajo para obtenerlo:

      from azure.ai.ml import MLClient
      from azure.identity import DefaultAzureCredential
      
      #Enter details of your AzureML workspace
      subscription_id = '<SUBSCRIPTION_ID>'
      resource_group = '<RESOURCE_GROUP>'
      workspace_name = '<WORKSPACE_NAME>'
      
      ml_client = MLClient(credential=DefaultAzureCredential(),
                              subscription_id=subscription_id, 
                              resource_group_name=resource_group,
                              workspace_name=workspace_name)
      

      Importante

      DefaultAzureCredential intentará extraer las credenciales del contexto disponible. Si quiere especificar las credenciales de otra forma (por ejemplo, con el explorador web de forma interactiva), puede usar InteractiveBrowserCredential o cualquier otro método disponible en el paquete azure.identity.

   3. Obtención del URI de seguimiento de Azure Machine Learning:

      mlflow_tracking_uri = ml_client.workspaces.get(ml_client.workspace_name).mlflow_tracking_uri
      

   Estudio

   Use el portal de Azure Machine Learning para obtener el URI de seguimiento:

   1. Abra el portal de Azure Machine Learning Studio e inicie sesión con sus credenciales.

   2. En la esquina superior derecha, haga clic en el nombre del área de trabajo para mostrar la hoja Directorio + Suscripción + Área de trabajo.

   3. Haga clic en Ver todas las propiedades en Azure Portal.

   4. En la sección Información esencial encontrará la propiedad MLflow tracking URI.

   Manualmente

   El URI de seguimiento de Azure Machine Learning se puede construir con el id. de suscripción, la región donde está implementado el recurso, el nombre del grupo de recursos y el nombre del área de trabajo. El siguiente ejemplo de código muestra cómo hacerlo:

   Advertencia

   Si trabaja en un área de trabajo habilitada para vínculo privado, el punto de conexión de MLflow también usará un vínculo privado para comunicarse con Azure Machine Learning. Como consecuencia, el URI de seguimiento tendrá el aspecto diferente que se sugiere aquí. En esos casos, debe obtener el URI de seguimiento mediante el SDK de Azure ML o la CLI v2.

   region = "<LOCATION>"
   subscription_id = '<SUBSCRIPTION_ID>'
   resource_group = '<RESOURCE_GROUP>'
   workspace_name = '<AML_WORKSPACE_NAME>'
   
   mlflow_tracking_uri = f"azureml://{region}.api.azureml.ms/mlflow/v1.0/subscriptions/{subscription_id}/resourceGroups/{resource_group}/providers/Microsoft.MachineLearningServices/workspaces/{workspace_name}"
   

2. Configuración del URI de seguimiento:

   MLflow SDK

   A continuación, el método set_tracking_uri() apunta el URI de seguimiento de MLflow a ese URI.

   import mlflow
   
   mlflow.set_tracking_uri(mlflow_tracking_uri)
   

   Uso de variables de entorno

   Puede establecer las variables de entorno de MLflow MLFLOW_TRACKING_URI en el proceso para que cualquier interacción con MLflow en ese proceso apunte de forma predeterminada a Azure Machine Learning.

   MLFLOW_TRACKING_URI=$(az ml workspace show --query mlflow_tracking_uri | sed 's/"//g') 
   

   Sugerencia

   Al trabajar en entornos compartidos, como un clúster de Azure Databricks, un clúster de Azure Synapse Analytics o similar, resulta útil establecer la variable MLFLOW_TRACKING_URI de entorno en el nivel de clúster para configurar automáticamente el URI de seguimiento de MLflow para que apunte a Azure Machine Learning para todas las sesiones que se ejecutan en el clúster en lugar de hacerlo por sesión.

Configurar la autenticación

Una vez configurado el seguimiento, también debe configurar el método de autenticación para el área de trabajo asociada. De forma predeterminada, el complemento de Azure Machine Learning para MLflow realiza la autenticación interactiva abriendo el explorador predeterminado para solicitar las credenciales.

El complemento de Azure Machine Learning para MLflow admite varios mecanismos de autenticación a través del paquete azure-identity, que se instala como una dependencia para el complemento azureml-mlflow. Los siguientes métodos de autenticación se prueban uno por uno hasta que uno de ellos se realiza correctamente:

1. Entorno: lee la información de cuenta especificada mediante variables de entorno y la usa para autenticarse.
2. Identidad administrada: si la aplicación se implementa en un host de Azure con la identidad administrada activada, se autentica con él.
3. CLI de Azure: si un usuario inicia sesión mediante el comando az login de la CLI de Azure, se autentica como ese usuario.
4. Azure PowerShell: si un usuario inicia sesión mediante el comando Connect-AzAccount de Azure PowerShell, se autentica como ese usuario.
5. Explorador interactivo: autentica interactivamente a un usuario a través del explorador predeterminado.

En el caso de los trabajos interactivos en los que hay un usuario conectado a la sesión, puede confiar en la autenticación interactiva y, por tanto, no es necesario realizar ninguna otra acción.

Advertencia

La autenticación interactiva del explorador bloqueará la ejecución del código al solicitar las credenciales. No es una opción adecuada para la autenticación en entornos desatendidos, como trabajos de entrenamiento. Se recomienda configurar otro modo de autenticación.

En aquellos escenarios en los que se requiere la ejecución desatendida, tendrá que configurar una entidad de servicio para comunicarse con Azure Machine Learning.

MLflow SDK

import os

os.environ["AZURE_TENANT_ID"] = "<AZURE_TENANT_ID>"
os.environ["AZURE_CLIENT_ID"] = "<AZURE_CLIENT_ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<AZURE_CLIENT_SECRET>"

Uso de variables de entorno

export AZURE_TENANT_ID="<AZURE_TENANT_ID>"
export AZURE_CLIENT_ID="<AZURE_CLIENT_ID>"
export AZURE_CLIENT_SECRET="<AZURE_CLIENT_SECRET>"

Sugerencia

Al trabajar en entornos compartidos, es aconsejable configurar estas variables de entorno en el proceso. Como procedimiento recomendado, puede administrarlos como secretos en una instancia de Azure Key Vault siempre que sea posible. Por ejemplo, en Azure Databricks puede usar secretos en variables de entorno como se indica a continuación en la configuración del clúster: AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}}. Consulte Referencia a un secreto en una variable de entorno para obtener información sobre cómo hacerlo en Azure Databricks o consulte documentación similar en la plataforma.

Si prefiere usar un certificado en lugar de un secreto, puede configurar las variables AZURE_CLIENT_CERTIFICATE_PATH de entorno en la ruta de acceso a un PEM archivo de certificado o PKCS12 (incluida la clave privada) y AZURE_CLIENT_CERTIFICATE_PASSWORD con la contraseña del archivo de certificado, si existe.

Configurar los niveles de autorización y los permisos

Algunos roles predeterminados, como Científico de datos de AzureML o Colaborador, ya están configurados para realizar operaciones de MLflow en un área de trabajo de Azure Machine Learning. Si usa un rol personalizado, necesita los permisos siguientes:

• Para usar el seguimiento de MLflow:

  • Microsoft.MachineLearningServices/workspaces/experiments/*
  • Microsoft.MachineLearningServices/workspaces/jobs/*

• Para usar el registro de modelos de MLflow:

  • Microsoft.MachineLearningServices/workspaces/models/*/*

Para obtener información sobre cómo conceder acceso a la entidad de servicio que creó o a la cuenta de usuario en el área de trabajo, vea Conceder acceso.

Solución de errores de autenticación

MLflow intenta autenticarse en Azure Machine Learning en la primera operación que interactúa con el servicio, como mlflow.set_experiment() o mlflow.start_run(). Si encuentra problemas o mensajes de autenticación inesperados durante el proceso, puede aumentar el nivel de registro para obtener más detalles sobre el error:

import logging

logging.getLogger("azure").setLevel(logging.DEBUG)

Establecimiento del nombre del experimento (opcional)

Todas las ejecuciones de MLflow se registran en el experimento activo. Las ejecuciones se registran de manera predeterminada en un experimento denominado Default que se crea automáticamente. Puede configurar el experimento en el que se está realizando el seguimiento.

Sugerencia

Al enviar trabajos mediante la CLI de Azure Machine Learning v2, puede establecer el nombre del experimento mediante la propiedad experiment_name en la definición de YAML del trabajo. No es necesario configurarlo en el script de entrenamiento. Consulte YAML: nombre para mostrar, nombre del experimento, descripción y etiquetas para obtener más detalles.

MLflow SDK

Configure el experimento mediante el comando MLflow mlflow.set_experiment().

experiment_name = 'experiment_with_mlflow'
mlflow.set_experiment(experiment_name)

Uso de variables de entorno

También puede establecer una de las variables de entorno de MLflow MLFLOW_EXPERIMENT_NAME o MLFLOW_EXPERIMENT_ID con el nombre del experimento.

export MLFLOW_EXPERIMENT_NAME="experiment_with_mlflow"

Compatibilidad con nubes de Azure no públicas

El complemento de Azure Machine Learning para MLflow está configurado de manera predeterminada para trabajar con la nube global de Azure. Sin embargo, puede configurar la nube de Azure que usa estableciendo la variable de entorno AZUREML_CURRENT_CLOUD.

MLflow SDK

import os

os.environ["AZUREML_CURRENT_CLOUD"] = "AzureChinaCloud"

Uso de variables de entorno

export AZUREML_CURRENT_CLOUD="AzureChinaCloud"

Puede identificar la nube que usa con el siguiente comando de la CLI de Azure:

az cloud list

La nube actual tiene el valor IsActive establecido en True.

Pasos siguientes

Ahora que el entorno está conectado al área de trabajo en Azure Machine Learning, puede empezar a trabajar con él.

• Seguimiento de experimentos y modelos de ML con MLflow
• Administración de registros de modelos en Azure Machine Learning con MLflow
• Entrenamiento con proyectos de MLflow (versión preliminar)
• Directrices para implementar modelos de MLflow