Crie um ambiente de desenvolvimento python para a aprendizagem de máquinas Azure

Aprenda a configurar um ambiente de desenvolvimento python para a Azure Machine Learning.

A tabela a seguir mostra cada ambiente de desenvolvimento abrangido por este artigo, juntamente com prós e contras.

Ambiente Vantagens Desvantagens
Ambiente local Controlo total do seu ambiente de desenvolvimento e dependências. Corra com qualquer ferramenta de construção, ambiente ou IDE à sua escolha. Demora mais tempo a começar. Devem ser instalados pacotes SDK necessários, e um ambiente também deve ser instalado se ainda não tiver um.
O Máquina Virtual de Ciência de Dados (DSVM) Semelhante à instância computacional baseada na nuvem (Python está pré-instalada), mas com mais ferramentas populares de data science e machine learning pré-instaladas. Fácil de escalar e combinar com outras ferramentas personalizadas e fluxos de trabalho. Uma experiência de início mais lenta em comparação com o caso de computação baseada em nuvem.
Instância de computação do Azure Machine Learning A maneira mais fácil de começar. O SDK já está instalado no seu espaço de trabalho VM, e os tutoriais de cadernos estão pré-clonados e prontos para serem executados. Falta de controlo sobre o seu ambiente de desenvolvimento e dependências. Custo adicional incorrido para o Linux VM (VM pode ser interrompido quando não estiver a ser utilizado para evitar encargos). Consulte os detalhes dos preços.
Azure Databricks Ideal para executar fluxos de trabalho intensivos de aprendizagem de máquinas em larga escala na plataforma escalável Apache Spark. Exagero para aprendizagem automática experimental, ou experiências e fluxos de trabalho em menor escala. Custo adicional incorrido para a Azure Databricks. Consulte os detalhes dos preços.

Este artigo também fornece dicas de utilização adicionais para as seguintes ferramentas:

  • Cadernos Jupyter: Se já está a usar cadernos Jupyter, o SDK tem alguns extras que deve instalar.

  • Código do Estúdio Visual: Se utilizar o Código do Estúdio Visual, a extensão Azure Machine Learning inclui suporte linguístico para Python, e funcionalidades para tornar o trabalho com a Azure Machine Learning muito mais conveniente e produtivo.

Pré-requisitos

Apenas local e DSVM: Criar um ficheiro de configuração do espaço de trabalho

O ficheiro de configuração do espaço de trabalho é um ficheiro JSON que diz ao SDK como comunicar com o seu espaço de trabalho Azure Machine Learning. O ficheiro é nomeado config.json, e tem o seguinte formato:

{
    "subscription_id": "<subscription-id>",
    "resource_group": "<resource-group>",
    "workspace_name": "<workspace-name>"
}

Este ficheiro JSON deve estar na estrutura do diretório que contém os seus scripts Python ou Cadernos Jupyter. Pode estar no mesmo diretório, num subdiretório chamado.azureml*, ou num diretório-mãe.

Para utilizar este ficheiro a partir do seu código, utilize o MLClient.from_config método. Este código carrega as informações do ficheiro e liga-se ao seu espaço de trabalho.

Criar um ficheiro de configuração do espaço de trabalho num dos seguintes métodos:

  • Portal do Azure

    Descarregue o ficheiro: Na portal do Azure, selecione Baixar config.json da secção Overview do seu espaço de trabalho.

    portal do Azure

  • Azure Máquina aprendendo Python SDK

    Crie um script para ligar ao seu espaço de trabalho Azure Machine Learning. Certifique-se de substituir,e subscription_idresource_groupworkspace_name por seu.

    APLICA A: Python SDK azure-ai-ml v2 (corrente)

        #import required libraries
        from azure.ai.ml import MLClient
        from azure.identity import DefaultAzureCredential
    
        #Enter details of your AzureML workspace
        subscription_id = '<SUBSCRIPTION_ID>'
        resource_group = '<RESOURCE_GROUP>'
        workspace = '<AZUREML_WORKSPACE_NAME>'
    
        #connect to the workspace
        ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
    

Computador local ou ambiente VM remoto

Pode configurar um ambiente num computador local ou numa máquina virtual remota, como uma instância computacional de aprendizagem automática Azure ou VM da Data Science.

Para configurar um ambiente de desenvolvimento local ou VM remoto:

  1. Crie um ambiente virtual Python (virtualenv, conda).

    Nota

    Apesar de não ser necessário, recomenda-se que utilize Anaconda ou Miniconda para gerir ambientes virtuais python e instalar pacotes.

    Importante

    Se estiver no Linux ou no macOS e utilizar uma concha que não seja a bash (por exemplo, zsh) poderá receber erros quando executar alguns comandos. Para contornar este problema, use o bash comando para iniciar uma nova carapaça e executar os comandos lá.

  2. Ative o seu novo ambiente virtual Python.

  3. Instale o Azure Machine Learning Python SDK.

  4. Para configurar o seu ambiente local para utilizar o seu espaço de trabalho Azure Machine Learning, crie um ficheiro de configuração do espaço de trabalho ou utilize um existente.

Agora que tem o seu ambiente local preparado, está pronto para começar a trabalhar com a Azure Machine Learning. Veja o Tutorial: Azure Machine Learning em um dia para começar.

Jupyter Notebooks

Ao executar um servidor local Jupyter Notebook, recomenda-se que crie um núcleo IPython para o seu ambiente virtual Python. Isto ajuda a garantir o comportamento esperado de importação de núcleo e pacote.

  1. Ativar núcleos IPython específicos do ambiente

    conda install notebook ipykernel
    
  2. Crie um núcleo para o seu ambiente virtual Python. Certifique-se de que <myenv> substitui pelo nome do seu ambiente virtual Python.

    ipython kernel install --user --name <myenv> --display-name "Python (myenv)"
    
  3. Lançar o servidor Jupyter Notebook

    Dica

    Por exemplo, os cadernos, consulte o repositório AzureML-Exemplos . Exemplos SDK estão localizados sob /sdk/python. Por exemplo, o exemplo do caderno de configuração .

Visual Studio Code

Para utilizar o Código do Estúdio Visual para o desenvolvimento:

  1. Instale o Código do Estúdio Visual.
  2. Instale a extensão do Código do Estúdio Visual Azure Machine Learning (pré-visualização).

Assim que tiver a extensão do Código Do Estúdio Visual instalada, utilize-a para:

Instância de computação do Azure Machine Learning

O azure machine learning é uma estação de trabalho segura e baseada na nuvem Azure que fornece aos cientistas de dados um servidor Jupyter Notebook, o JupyterLab, e um ambiente de aprendizagem automática totalmente gerido.

Não há nada para instalar ou configurar para um caso computacional.

Crie um a qualquer momento a partir do seu espaço de trabalho Azure Machine Learning. Forneça apenas um nome e especifique um tipo Azure VM. Experimente agora com este Tutorial: Ambiente de configuração e espaço de trabalho.

Para saber mais sobre casos de computação, incluindo como instalar pacotes, consulte Criar e gerir uma instância computacional de Aprendizagem automática Azure.

Dica

Para evitar que as taxas incorram para uma instância de computação não sustentável, pare a instância de computação.

Além de um servidor Jupyter Notebook e o JupyterLab, pode utilizar instâncias de computação na funcionalidade de caderno integrado dentro de estúdio do Azure Machine Learning.

Também pode utilizar a extensão Azure Machine Learning Visual Studio Code para ligar a uma instância de computação remota utilizando o Código VS.

Máquina Virtual de Ciência de Dados

O Data Science VM é uma imagem personalizada da máquina virtual (VM) que pode usar como ambiente de desenvolvimento. É projetado para trabalhos de ciência de dados que são ferramentas pré-configuradas e software como:

  • Pacotes como TensorFlow, PyTorch, Scikit-learn, XGBoost e a Azure Machine Learning SDK
  • Ferramentas populares da ciência dos dados, como Spark Standalone e Drill
  • Ferramentas azure como o Azure CLI, AzCopy e Explorador de Armazenamento
  • Ambientes de desenvolvimento integrados (IDEs) tais como Visual Studio Code e PyCharm
  • Servidor Jupyter Notebook

Para obter uma lista mais completa das ferramentas, consulte o guia de ferramentas VM da Data Science.

Importante

Se planeia usar o VM da Data Science como alvo de computação para os seus trabalhos de formação ou inferencionar, apenas ubuntu é apoiado.

Para utilizar o VM da Ciência dos Dados como um ambiente de desenvolvimento:

  1. Criar um VM de Ciência de Dados utilizando um dos seguintes métodos:

    • Utilize o portal do Azure para criar um Ubuntu ou Um DSVM do Windows.

    • Crie um VM de Ciência de Dados utilizando modelos ARM.

    • Utilizar a CLI do Azure

      Para criar um Ubuntu Data Science VM, utilize o seguinte comando:

      # create a Ubuntu Data Science VM in your resource group
      # note you need to be at least a contributor to the resource group in order to execute this command successfully
      # If you need to create a new resource group use: "az group create --name YOUR-RESOURCE-GROUP-NAME --location YOUR-REGION (For example: westus2)"
      az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:linux-data-science-vm-ubuntu:linuxdsvmubuntu:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --generate-ssh-keys --authentication-type password
      

      Para criar um DSVM do Windows, utilize o seguinte comando:

      # create a Windows Server 2016 DSVM in your resource group
      # note you need to be at least a contributor to the resource group in order to execute this command successfully
      az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:dsvm-windows:server-2016:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --authentication-type password
      
  2. Criar um ambiente conda para o Azure Machine Learning SDK:

    conda create -n py310 python=310
    
  3. Uma vez criado o ambiente, ative-o e instale o SDK

    conda activate py310
    pip install azure-ai-ml
    
  4. Para configurar o Data Science VM para utilizar o seu espaço de trabalho Azure Machine Learning, crie um ficheiro de configuração do espaço de trabalho ou utilize um existente.

    Dica

    Semelhante aos ambientes locais, você pode usar o Código de Estúdio Visual e a extensão do Código de Estúdio Visual Azure Machine Learning para interagir com a Azure Machine Learning.

    Para mais informações, consulte data Science Máquinas Virtuais.

Passos seguintes