Configurar o MLflow para o Azure Machine Learning

Este artigo explica como você pode configurar o MLflow para se conectar a um espaço de trabalho do Azure Machine Learning para rastreamento, registros e implantação.

Os espaços de trabalho do Azure Machine Learning são compatíveis com MLflow, o que significa que podem atuar como um servidor MLflow sem qualquer configuração extra. Cada espaço de trabalho tem um URI de controle MLflow que o MLflow pode usar para se conectar ao espaço de trabalho. Os espaços de trabalho do Azure Machine Learning já estão configurados para funcionar com MLflow , portanto, nenhuma configuração extra é necessária.

No entanto, se você trabalhar fora do Azure Machine Learning (como sua máquina local, Azure Synapse Analytics ou Azure Databricks), precisará configurar o MLflow para apontar para o espaço de trabalho.

Importante

Ao executar no Azure Compute (Blocos de Anotações do Azure Machine Learning, blocos de anotações Jupyter hospedados em instâncias de computação do Azure Machine Learning ou trabalhos executados em clusters de computação do Azure Machine Learning), não é necessário configurar o URI de rastreamento. É configurado automaticamente para si.

Pré-requisitos

Você precisa dos seguintes pré-requisitos para seguir este tutorial:

• Instale o pacote mlflow MLflow SDK e o plug-in do Azure Machine Learning para MLflow azureml-mlflow.

  pip install mlflow azureml-mlflow
  

  Gorjeta

  Você pode usar o mlflow-skinny pacote, que é um pacote MLflow leve sem dependências de armazenamento SQL, servidor, interface do usuário ou ciência de dados. mlflow-skinny é recomendado para usuários que precisam principalmente dos recursos de rastreamento e registro em log do MLflow sem importar o conjunto completo de recursos, incluindo implantações.

• Uma área de trabalho do Azure Machine Learning. Você pode criar um seguindo o tutorial Criar recursos de aprendizado de máquina.

  • Veja quais permissões de acesso você precisa para executar suas operações MLflow em seu espaço de trabalho.

• Se você estiver executando o rastreamento remoto (ou seja, rastreando experimentos que estão sendo executados fora do Aprendizado de Máquina do Azure), configure o MLflow para apontar para o URI de rastreamento do seu espaço de trabalho do Azure Machine Learning. Para obter mais informações sobre como conectar o MLflow ao seu espaço de trabalho, consulte Configurar o MLflow para o Azure Machine Learning.

Configurar URI de rastreamento de MLflow

Para conectar o MLflow a um espaço de trabalho do Azure Machine Learning, você precisa do URI de rastreamento para o espaço de trabalho. Cada espaço de trabalho tem seu próprio URI de rastreamento e tem o protocolo azureml://.

1. Obtenha o URI de acompanhamento para seu espaço de trabalho:

   CLI do Azure

   APLICA-SE A:Extensão ml da CLI do Azure v2 (atual)

   1. Faça login e configure seu espaço de trabalho:

      az account set --subscription <subscription>
      az configure --defaults workspace=<workspace> group=<resource-group> location=<location> 
      

   2. Você pode obter o URI de rastreamento usando o az ml workspace comando:

      az ml workspace show --query mlflow_tracking_uri
      

   Python

   APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

   Você pode obter o URI de rastreamento do Azure ML MLflow usando o SDK do Azure Machine Learning v2 para Python. Certifique-se de ter a biblioteca azure-ai-ml instalada na computação que está usando. O exemplo a seguir obtém o URI de rastreamento MLFLow exclusivo associado ao seu espaço de trabalho.

   1. Faça login no seu espaço de trabalho usando o MLClient. A maneira mais fácil de fazer isso é usando o arquivo de configuração do espaço de trabalho:

      from azure.ai.ml import MLClient
      from azure.identity import DefaultAzureCredential
      
      ml_client = MLClient.from_config(credential=DefaultAzureCredential())
      

      Gorjeta

      Você pode baixar o arquivo de configuração do espaço de trabalho da seguinte forma:

      1. Navegue até o estúdio do Azure ML
      2. Clique no canto superior direito da página -> Download config file.
      3. Salve o arquivo config.json no mesmo diretório em que você está trabalhando.

   2. Como alternativa, você pode usar a ID da assinatura, o nome do grupo de recursos e o nome do espaço de trabalho para obtê-lo:

      from azure.ai.ml import MLClient
      from azure.identity import DefaultAzureCredential
      
      #Enter details of your AzureML workspace
      subscription_id = '<SUBSCRIPTION_ID>'
      resource_group = '<RESOURCE_GROUP>'
      workspace_name = '<WORKSPACE_NAME>'
      
      ml_client = MLClient(credential=DefaultAzureCredential(),
                              subscription_id=subscription_id, 
                              resource_group_name=resource_group,
                              workspace_name=workspace_name)
      

      Importante

      DefaultAzureCredential tentará extrair as credenciais do contexto disponível. Se você quiser especificar credenciais de uma maneira diferente, por exemplo, usando o navegador da Web de forma interativa, você pode usar InteractiveBrowserCredential ou qualquer outro método disponível no azure.identity pacote.

   3. Obtenha o URI de Acompanhamento do Azure Machine Learning:

      mlflow_tracking_uri = ml_client.workspaces.get(ml_client.workspace_name).mlflow_tracking_uri
      

   Estúdio

   Use o portal do Azure Machine Learning para obter o URI de rastreamento:

   1. Abra o portal do estúdio do Azure Machine Learning e faça logon usando suas credenciais.

   2. No canto superior direito, clique no nome do seu espaço de trabalho para mostrar a folha Diretório + Assinatura + Espaço de trabalho .

   3. Clique em Exibir todas as propriedades no Portal do Azure.

   4. Na seção Essentials, você encontrará a propriedade MLflow tracking URI.

   Manualmente

   O URI de Acompanhamento do Azure Machine Learning pode ser criado usando a ID da assinatura, a região onde o recurso é implantado, o nome do grupo de recursos e o nome do espaço de trabalho. O exemplo de código a seguir mostra como:

   Aviso

   Se você estiver trabalhando em um espaço de trabalho habilitado para link privado, o ponto de extremidade MLflow também usará um link privado para se comunicar com o Aprendizado de Máquina do Azure. Como consequência, o URI de rastreamento terá uma aparência diferente, conforme proposto aqui. Você precisa obter o URI de rastreamento usando o SDK do Azure ML ou a CLI v2 nesses casos.

   region = "<LOCATION>"
   subscription_id = '<SUBSCRIPTION_ID>'
   resource_group = '<RESOURCE_GROUP>'
   workspace_name = '<AML_WORKSPACE_NAME>'
   
   mlflow_tracking_uri = f"azureml://{region}.api.azureml.ms/mlflow/v1.0/subscriptions/{subscription_id}/resourceGroups/{resource_group}/providers/Microsoft.MachineLearningServices/workspaces/{workspace_name}"
   

2. Configurando o URI de rastreamento:

   MLflow SDK

   Em seguida, o método set_tracking_uri() aponta o URI de rastreamento MLflow para esse URI.

   import mlflow
   
   mlflow.set_tracking_uri(mlflow_tracking_uri)
   

   Usando variáveis de ambiente

   Você pode definir as variáveis de ambiente MLflow MLFLOW_TRACKING_URI em sua computação para fazer qualquer interação com MLflow nessa computação para apontar por padrão para o Aprendizado de Máquina do Azure.

   MLFLOW_TRACKING_URI=$(az ml workspace show --query mlflow_tracking_uri | sed 's/"//g') 
   

   Gorjeta

   Ao trabalhar em ambientes compartilhados, como um cluster do Azure Databricks, cluster do Azure Synapse Analytics ou similar, é útil definir a variável MLFLOW_TRACKING_URI de ambiente no nível do cluster para configurar automaticamente o URI de acompanhamento do MLflow para apontar para o Azure Machine Learning para todas as sessões em execução no cluster, em vez de fazê-lo por sessão.

Configurar a autenticação

Depois que o rastreamento estiver definido, você também precisará configurar o método de autenticação para o espaço de trabalho associado. Por padrão, o plug-in do Azure Machine Learning para MLflow executa a autenticação interativa abrindo o navegador padrão para solicitar credenciais.

O plug-in do Azure Machine Learning para MLflow dá suporte a vários mecanismos de autenticação por meio do pacote azure-identity, que é instalado como uma dependência para o plug-in azureml-mlflow. Os seguintes métodos de autenticação são tentados um a um até que um deles seja bem-sucedido:

1. Ambiente: lê as informações da conta especificadas por meio de variáveis de ambiente e as usa para autenticar.
2. Identidade Gerenciada: Se o aplicativo for implantado em um host do Azure com a Identidade Gerenciada habilitada, ele será autenticado com ele.
3. CLI do Azure: Se um usuário entrar por meio do comando da CLIaz login do Azure, ele será autenticado como esse usuário.
4. Azure PowerShell: Se um usuário entrar por meio do comando do Azure PowerShell, ele será autenticado Connect-AzAccount como esse usuário.
5. Navegador interativo: autentica interativamente um usuário através do navegador padrão.

Para trabalhos interativos em que há um usuário conectado à sessão, você pode confiar na Autenticação Interativa e, portanto, nenhuma ação adicional é necessária.

Aviso

A autenticação interativa do navegador bloqueará a execução de código ao solicitar credenciais. Não é uma opção adequada para autenticação em ambientes autônomos, como trabalhos de treinamento. Recomendamos configurar outro modo de autenticação.

Para os cenários em que a execução autônoma é necessária, você terá que configurar uma entidade de serviço para se comunicar com o Azure Machine Learning.

MLflow SDK

import os

os.environ["AZURE_TENANT_ID"] = "<AZURE_TENANT_ID>"
os.environ["AZURE_CLIENT_ID"] = "<AZURE_CLIENT_ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<AZURE_CLIENT_SECRET>"

Usando variáveis de ambiente

export AZURE_TENANT_ID="<AZURE_TENANT_ID>"
export AZURE_CLIENT_ID="<AZURE_CLIENT_ID>"
export AZURE_CLIENT_SECRET="<AZURE_CLIENT_SECRET>"

Gorjeta

Ao trabalhar em ambientes compartilhados, é aconselhável configurar essas variáveis de ambiente na computação. Como prática recomendada, gerencie-os como segredos em uma instância do Azure Key Vault sempre que possível. Por exemplo, no Azure Databricks, você pode usar segredos em variáveis de ambiente da seguinte forma na configuração do cluster: AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}}. Consulte Referenciar um segredo em uma variável de ambiente para saber como fazer isso no Azure Databricks ou consulte documentação semelhante em sua plataforma.

Se preferir usar um certificado em vez de um segredo, você pode configurar as variáveis AZURE_CLIENT_CERTIFICATE_PATH de ambiente para o caminho para um PEM arquivo de certificado ou (incluindo chave privada) e AZURE_CLIENT_CERTIFICATE_PASSWORD com a senha do arquivo de PKCS12 certificado, se houver.

Configurar níveis de autorização e permissão

Algumas funções padrão, como AzureML, Cientista de Dados ou Colaborador,já estão configuradas para executar operações MLflow em um espaço de trabalho do Azure Machine Learning. Se estiver usando uma função personalizada, você precisará das seguintes permissões:

• Para usar o rastreamento MLflow:

  • Microsoft.MachineLearningServices/workspaces/experiments/*
  • Microsoft.MachineLearningServices/workspaces/jobs/*

• Para usar o registro do modelo MLflow:

  • Microsoft.MachineLearningServices/workspaces/models/*/*

Para saber como conceder acesso à entidade de serviço que criou ou à conta de utilizador à sua área de trabalho, consulte Conceder acesso.

Solução de problemas de autenticação

O MLflow tenta autenticar no Azure Machine Learning na primeira operação que interage com o serviço, como mlflow.set_experiment() ou mlflow.start_run(). Se você encontrar problemas ou prompts de autenticação inesperados durante o processo, poderá aumentar o nível de log para obter mais detalhes sobre o erro:

import logging

logging.getLogger("azure").setLevel(logging.DEBUG)

Definir nome do experimento (opcional)

Todas as execuções do MLflow são registradas no experimento ativo. Por padrão, as execuções são registradas em um experimento chamado Default que é criado automaticamente para você. Você pode configurar o experimento onde o rastreamento está acontecendo.

Gorjeta

Ao enviar trabalhos usando a CLI v2 do Azure Machine Learning, você pode definir o nome do experimento usando a propriedade experiment_name na definição YAML do trabalho. Você não precisa configurá-lo em seu script de treinamento. Consulte YAML: nome para exibição, nome do experimento, descrição e tags para obter detalhes.

MLflow SDK

Configure seu experimento usando o comando mlflow.set_experiment()MLflow .

experiment_name = 'experiment_with_mlflow'
mlflow.set_experiment(experiment_name)

Usando variáveis de ambiente

Você também pode definir uma das variáveis de ambiente MLflow MLFLOW_EXPERIMENT_NAME ou MLFLOW_EXPERIMENT_ID com o nome do experimento.

export MLFLOW_EXPERIMENT_NAME="experiment_with_mlflow"

Suporte não público a Nuvens do Azure

O plug-in do Azure Machine Learning para MLflow é configurado por padrão para funcionar com a nuvem global do Azure. No entanto, você pode configurar a nuvem do Azure que está usando definindo a variável AZUREML_CURRENT_CLOUDde ambiente .

MLflow SDK

import os

os.environ["AZUREML_CURRENT_CLOUD"] = "AzureChinaCloud"

Usando variáveis de ambiente

export AZUREML_CURRENT_CLOUD="AzureChinaCloud"

Você pode identificar a nuvem que está usando com o seguinte comando da CLI do Azure:

az cloud list

A nuvem atual tem o valor IsActive definido como True.

Próximos passos

Agora que seu ambiente está conectado ao seu espaço de trabalho no Azure Machine Learning, você pode começar a trabalhar com ele.

• Rastreie experimentos e modelos de ML com MLflow
• Gerenciar registros de modelos no Azure Machine Learning com MLflow
• Treinar com projetos MLflow (Preview)
• Diretrizes para implantar modelos MLflow