Partilhar via

Configurar um ambiente de desenvolvimento Python para o Azure Machine Learning

  • Artigo

Saiba como configurar um ambiente de desenvolvimento Python para o Azure Machine Learning.

A tabela a seguir mostra cada ambiente de desenvolvimento abordado neste artigo, juntamente com prós e contras.

Environment Prós Contras
Ambiente local Controle total do seu ambiente de desenvolvimento e dependências. Execute com qualquer ferramenta de compilação, ambiente ou IDE de sua escolha. Demora mais tempo a começar. Os pacotes SDK necessários devem ser instalados e um ambiente também deve ser instalado se você ainda não tiver um.
A máquina virtual de ciência de dados (DSVM) Semelhante à instância de computação baseada em nuvem (Python é pré-instalado), mas com ferramentas populares adicionais de ciência de dados e aprendizado de máquina pré-instaladas. Fácil de dimensionar e combinar com outras ferramentas e fluxos de trabalho personalizados. Uma experiência de introdução mais lenta em comparação com a instância de computação baseada em nuvem.
Instância de computação do Azure Machine Learning A maneira mais fácil de começar. O SDK já está instalado na VM do espaço de trabalho e os tutoriais do bloco de anotações estão pré-clonados e prontos para serem executados. Falta de controle sobre seu ambiente de desenvolvimento e dependências. Custo adicional incorrido para Linux VM (VM pode ser interrompida quando não está em uso para evitar cobranças). Veja os detalhes dos preços.

Este artigo também fornece dicas de uso adicionais para as seguintes ferramentas:

  • Jupyter Notebooks: Se você já estiver usando Jupyter Notebooks, o SDK tem alguns extras que você deve instalar.

  • Visual Studio Code: Se você usar o Visual Studio Code, a extensão do Azure Machine Learning inclui suporte de linguagem para Python e recursos para tornar o trabalho com o Azure Machine Learning muito mais conveniente e produtivo.

Pré-requisitos

  • Espaço de trabalho do Azure Machine Learning. Se não tiver um, pode criar uma área de trabalho do Azure Machine Learning através do portal do Azure, da CLI do Azure e dos modelos do Azure Resource Manager.

Somente local e DSVM: criar um arquivo de configuração de espaço de trabalho

O arquivo de configuração do espaço de trabalho é um arquivo JSON que informa ao SDK como se comunicar com seu espaço de trabalho do Azure Machine Learning. O ficheiro tem o nome config.json e tem o seguinte formato:

{
    "subscription_id": "<subscription-id>",
    "resource_group": "<resource-group>",
    "workspace_name": "<workspace-name>"
}

Esse arquivo JSON deve estar na estrutura de diretórios que contém seus scripts Python ou Jupyter Notebooks. Ele pode estar no mesmo diretório, em um subdiretório chamado .azureml* ou em um diretório pai.

Para usar esse arquivo do seu código, use o MLClient.from_config método. Esse código carrega as informações do arquivo e se conecta ao seu espaço de trabalho.

Crie um arquivo de configuração de espaço de trabalho em um dos seguintes métodos:

  • Azure Machine Learning Studio

    Descarregue o ficheiro:

    1. Entrar no estúdio do Azure Machine Learning
    2. Na barra de ferramentas do estúdio do Azure Machine Learning no canto superior direito, selecione o nome do seu espaço de trabalho.
    3. Selecione o link Baixar arquivo de configuração.

    A captura de tela mostra como baixar seu arquivo de configuração.

  • SDK do Python do Azure Machine Learning

    Crie um script para se conectar ao seu espaço de trabalho do Azure Machine Learning. Certifique-se de substituir subscription_id,resource_group, e workspace_name com o seu próprio.

    APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

    #import required libraries
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your Azure Machine Learning workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace = '<AZUREML_WORKSPACE_NAME>'

#connect to the workspace
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Computador local ou ambiente de VM remoto

Você pode configurar um ambiente em um computador local ou máquina virtual remota, como uma instância de computação do Azure Machine Learning ou VM de Ciência de Dados.

Para configurar um ambiente de desenvolvimento local ou VM remota:

  1. Crie um ambiente virtual Python (virtualenv, conda).

    Nota

    Embora não seja necessário, é recomendável usar Anaconda ou Miniconda para gerenciar ambientes virtuais Python e instalar pacotes.

    Importante

    Se você estiver no Linux ou macOS e usar um shell diferente de bash (por exemplo, zsh), poderá receber erros ao executar alguns comandos. Para contornar esse problema, use o bash comando para iniciar um novo shell bash e executar os comandos lá.

  2. Ative seu ambiente virtual Python recém-criado.

  3. Instale o SDK Python do Azure Machine Learning.

  4. Para configurar seu ambiente local para usar seu espaço de trabalho do Azure Machine Learning, crie um arquivo de configuração de espaço de trabalho ou use um existente.

Agora que você tem seu ambiente local configurado, está pronto para começar a trabalhar com o Azure Machine Learning. Consulte o Tutorial: Azure Machine Learning em um dia para começar.

Jupyter Notebooks

Ao executar um servidor Jupyter Notebook local, é recomendável que você crie um kernel IPython para seu ambiente virtual Python. Isso ajuda a garantir o comportamento esperado de importação de kernel e pacote.

  1. Habilitar kernels IPython específicos do ambiente

    conda install notebook ipykernel

  2. Crie um kernel para seu ambiente virtual Python. Certifique-se de substituir <myenv> pelo nome do seu ambiente virtual Python.

    ipython kernel install --user --name <myenv> --display-name "Python (myenv)"

  3. Inicie o servidor Jupyter Notebook

Gorjeta

Por exemplo, blocos de anotações, consulte o repositório AzureML-Examples . Os exemplos de SDK estão localizados em /sdk/python. Por exemplo, o exemplo do bloco de anotações de configuração.

Visual Studio Code

Para usar o Visual Studio Code para desenvolvimento:

  1. Instalar o Visual Studio Code.
  2. Instale a extensão de código do Visual Studio do Azure Machine Learning (visualização).

Depois de ter a extensão de código do Visual Studio instalada, use-a para:

Instância de computação do Azure Machine Learning

A instância de computação do Azure Machine Learning é uma estação de trabalho do Azure segura e baseada na nuvem que fornece aos cientistas de dados um servidor Jupyter Notebook, JupyterLab e um ambiente de aprendizado de máquina totalmente gerenciado.

Não há nada para instalar ou configurar para uma instância de computação.

Crie um a qualquer momento a partir do seu espaço de trabalho do Azure Machine Learning. Forneça apenas um nome e especifique um tipo de VM do Azure. Experimente agora com Criar recursos para começar.

Para saber mais sobre instâncias de computação, incluindo como instalar pacotes, consulte Criar uma instância de computação do Azure Machine Learning.

Gorjeta

Para evitar incorrer em encargos para uma instância de computação não utilizada, habilite o desligamento ocioso.

Além de um servidor Jupyter Notebook e JupyterLab, você pode usar instâncias de computação no recurso de bloco de anotações integrado dentro do estúdio de Aprendizado de Máquina do Azure.

Você também pode usar a extensão Azure Machine Learning Visual Studio Code para se conectar a uma instância de computação remota usando o VS Code.

Máquina Virtual de Ciência de Dados

A VM de Ciência de Dados é uma imagem de máquina virtual (VM) personalizada que você pode usar como um ambiente de desenvolvimento. Ele foi projetado para o trabalho de ciência de dados que é pré-configurado ferramentas e software como:

  • Pacotes como TensorFlow, PyTorch, Scikit-learn, XGBoost e o SDK do Azure Machine Learning
  • Ferramentas populares de ciência de dados, como o Spark Standalone e o Drill
  • Ferramentas do Azure, como a CLI do Azure, AzCopy e Storage Explorer
  • Ambientes de desenvolvimento integrados (IDEs), como Visual Studio Code e PyCharm
  • Servidor Notebook Jupyter

Para obter uma lista mais abrangente das ferramentas, consulte o Guia de ferramentas de VM de Ciência de Dados.

Importante

Se você planeja usar a VM de Ciência de Dados como um destino de computação para seus trabalhos de treinamento ou inferência, apenas o Ubuntu é suportado.

Para usar a VM de Ciência de Dados como um ambiente de desenvolvimento:

  1. Crie uma VM de Ciência de Dados usando um dos seguintes métodos:

    • Use o portal do Azure para criar uma DSVM Ubuntu ou Windows .

    • Crie uma VM de Ciência de Dados usando modelos ARM.

    • Utilizar a CLI do Azure

      Para criar uma VM de Ciência de Dados do Ubuntu, use o seguinte comando:

      # create a Ubuntu Data Science VM in your resource group
# note you need to be at least a contributor to the resource group in order to execute this command successfully
# If you need to create a new resource group use: "az group create --name YOUR-RESOURCE-GROUP-NAME --location YOUR-REGION (For example: westus2)"
az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:linux-data-science-vm-ubuntu:linuxdsvmubuntu:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --generate-ssh-keys --authentication-type password

      Para criar uma DSVM do Windows, use o seguinte comando:

      # create a Windows Server 2016 DSVM in your resource group
# note you need to be at least a contributor to the resource group in order to execute this command successfully
az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:dsvm-windows:server-2016:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --authentication-type password

  2. Crie um ambiente de conda para o SDK do Azure Machine Learning:

    conda create -n py310 python=310

  3. Uma vez criado o ambiente, ative-o e instale o SDK

    conda activate py310
pip install azure-ai-ml azure-identity

  4. Para configurar a VM de Ciência de Dados para usar seu espaço de trabalho do Azure Machine Learning, crie um arquivo de configuração de espaço de trabalho ou use um existente.

    Gorjeta

    Semelhante aos ambientes locais, você pode usar o Visual Studio Code e a extensão Azure Machine Learning Visual Studio Code para interagir com o Azure Machine Learning.

    Para obter mais informações, consulte Máquinas virtuais de ciência de dados.

Próximos passos