Instalar o SDK do Azure Machine Learning para Python

Este artigo é um guia para diferentes opções de instalação para o SDK.

Pré-requisitos


Instalação predefinida

Utilize azureml-core.

pip install azureml-core

Em seguida, instale quaisquer outros pacotes necessários para a sua tarefa específica.

Atualizar instalação

Dica

Recomendamos que mantenha sempre o azureml-core atualizado para a versão mais recente.

Atualizar uma versão anterior:

pip install --upgrade azureml-core

Verificar a versão

Verifique a versão do SDK:

pip show azureml-core

Para ver todos os pacotes no seu ambiente:

pip list

Também pode mostrar a versão do SDK no Python, mas esta versão não inclui a versão secundária.

import azureml.core
print(azureml.core.VERSION)

Para saber mais sobre como configurar o seu ambiente de desenvolvimento para o serviço Azure Machine Learning, veja Configurar o seu ambiente de desenvolvimento.

Outros pacotes azureml

O SDK contém muitos outros pacotes opcionais que pode instalar. Estas incluem dependências que não são necessárias para todos os casos de utilização, pelo que não são incluídas na instalação predefinida para evitar inchar o ambiente. A tabela seguinte descreve os pacotes , os casos de utilização e o comando para instalar, atualizar & verificação de versão.

Pacote adicional Caso de utilização Instalar/Atualizar/Mostrar versão
azureml-automl-core Contém as principais aulas de machine learning automatizado para o Azure Machine Learning.
Este pacote é utilizado por azureml-train-automl-client e azureml-train-automl-runtime.
pip install azureml-automl-core
pip install --upgrade azureml-automl-core
pip show azureml-automl-core
azureml-accel-models Acelera redes neurais profundas em FPGAs com o Serviço de Modelos Acelerados de Hardware do Azure ML. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-train-automl Fornece aulas para criar e executar experimentações automatizadas de machine learning. Também instala pacotes de ciência de dados comuns, incluindo pandas, numpye scikit-learn.

Se pretender submeter execuções de ML automatizadas numa computação remota e não precisar de fazer qualquer ML localmente, recomendamos que utilize o cliente fino, azureml-train-automl-client, pacote que faz parte do azureml-sdk.

Veja a documentação de orientação adicional sobre casos de utilização para obter mais informações sobre a instalação e o trabalho com o SDK completo automl ou o respetivo cliente fino, azureml-train-automl-client.

Semelhante à norma Python, é suportada uma versão anterior e uma compatibilidade de versão para a frente, mas apenas para o pacote completo azureml-train-automl . Por exemplo, se um modelo for preparado com a versão 1.29.0 do SDK, pode inferência com versões do SDK entre 1.28.0 e 1.30.0.
Para o ambiente conda local:
pip install azureml-train-automl
pip install --upgrade azureml-train-automl pip install show azureml-train-automl

Cliente fino para computação remota:
pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip install show azureml-train-automl-client
azureml-contrib Instala pacotes azureml-contrib-* que incluem funcionalidades experimentais ou funcionalidades de pré-visualização. pip install azureml-contrib
pip install --upgrade azureml-contrib
pip show azureml-contrib
azureml-datadrift Contém funcionalidades para detetar quando os dados de preparação de modelos se afastaram dos respetivos dados de classificação. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-interpret Utilizado para a interpretação de modelos, incluindo a importância de funcionalidades e classes para modelos de caixa de correio preto e de caixa branca. pip azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-widgets Contém pacotes, módulos e classes principais para o Azure Machine Learning. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-contrib-services Fornece funcionalidades para scripts de classificação para pedir acesso HTTP não processado. pip install azureml-contrib-services
pip install --upgrade azureml-contrib-services
pip show azureml-contrib-services
azureml-tensorboard Fornece classes e métodos para exportar o histórico de execuções de experimentações e iniciar o TensorBoard para visualizar o desempenho e a estrutura da experimentação. pip install azureml-tensorboard
pip install --upgrade azureml-tensorboard
pip show azureml-tensorboard
azureml-mlflow Contém funcionalidades que integram o Azure Machine Learning com o MLFlow. pip install azureml-mlflow
pip install --upgrade azureml-mlflow
pip show azureml-mlflow
azureml-automl-runtime Contém aulas automatizadas de machine learning para executar execuções no Azure Machine Learning. pip install azureml-automl-runtime
pip install --upgrade azureml-automl-runtime
pip show azureml-automl-runtime
azureml-widgets Contém funcionalidades para ver o progresso das execuções de preparação de machine learning no Jupyter Notebooks. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-train-restclients-hyperdrive Contém classes necessárias para criar HyperDriveRuns com azureml-train-core. pip install azureml-train-restclients-hyperdrive
pip install --upgrade azureml-train-restclients-hyperdrive
pip show azureml-train-restclients-hyperdrive
azureml-train-core Contém classes de avaliador base e a classe de avaliador genérico , os avaliadores utilizados na preparação da Rede Neural Profunda (DNN), os avaliadores utilizados no Scikit-Learn formação, módulos e classes que suportam a otimização do hiperparâmetros. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-train-automl-runtime Contém a funcionalidade que representa os principais componentes de ML e runtime automatizados no Azure Machine Learning. pip install azureml-train-automl-runtime
pip install --upgrade azureml-train-automl-runtime
pip show azureml-train-automl-runtime
azureml-train-automl-client Contém pacotes, módulos e classes principais para o Azure Machine Learning. pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip show azureml-train-automl-client
azureml-telemetry Este pacote é utilizado para recolher dados telemétricos, como mensagens de registo, métricas, eventos e mensagens de atividade. pip install azureml-telemetry
pip install --upgrade azureml-telemetry
pip show azureml-telemetry
azureml-synapse Contém o comando Magic para gerir a sessão do Synapse e submeter código e widget SparkMonitor para monitorizar o progresso da tarefa do Spark, tanto para o Jupyter como para o JupyterLab pip install azureml-synapse
pip install --upgrade azureml-synapse
pip show azureml-synapse
azureml-sdk O pacote Thos é utilizado para criar e executar fluxos de trabalho de machine learning no serviço Azure Machine Learning pip install azureml-sdk
pip install --upgrade azureml-sdk
pip show azureml-sdk
azureml-pipeline-steps Contém passos pré-criados que podem ser executados num Pipeline do Azure Machine Learning. pip install azureml-pipeline-steps
pip install --upgrade azureml-pipeline-steps
pip show azureml-pipeline-steps
azureml-pipeline-core Contém a funcionalidade principal para pipelines do Azure Machine Learning, que são fluxos de trabalho configuráveis de machine learning. pip install azureml-pipeline-core
pip install --upgrade azureml-pipeline-core
pip show azureml-pipeline-core
azureml-pipeline Este pacote é utilizado para criar, otimizar e gerir fluxos de trabalho de machine learning pip install azureml-pipeline
pip install --upgrade azureml-pipeline
pip show azureml-pipeline
azureml-opendatasets Contém a funcionalidade principal para pipelines do Azure Machine Learning, que são fluxos de trabalho configuráveis de machine learning. pip install azureml-opendatasets
pip install --upgrade azureml-opendatasets
pip show azureml-opendatasets
azureml-interpret Contém funcionalidades para trabalhar com a interpretabilidade de modelos no Azure Machine Learning. pip install azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-defaults Este pacote é um metapackage que é utilizado internamente pelo Azure Machine Learning. pip install azureml-defaults
pip install --upgrade azureml-defaults
pip show azureml-defaults
azureml-dataset-runtime O objetivo deste pacote é coordenar as dependências nos pacotes do AzureML. Este pacote é interno e não se destina a ser utilizado diretamente. pip install azureml-dataset-runtime
pip install --upgrade azureml-dataset-runtime
pip show azureml-dataset-runtime
azureml-datadrift Contém funcionalidades para detetar quando os dados de preparação de modelos se afastaram dos respetivos dados de classificação. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-contrib-server Este pacote é um serviço HTTP local utilizado para expor um subconjunto da funcionalidade fornecida pelo SDK do AzureML às extensões VS Tools for AI (VSCode e Visual Studio) pip install azureml-contrib-server
pip install --upgrade azureml-contrib-server
pip show azureml-contrib-server
azureml-contrib-run Este pacote é utilizado para conter o código de integração do AzureML com o Mlflow. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-contrib-reinforcementlearning Contém funcionalidades para criar um destino de computação do Windows no Azure Machine Learning. pip install azureml-contrib-reinforcementlearning
pip install --upgrade azureml-contrib-reinforcementlearning
pip show azureml-contrib-reinforcementlearning
azureml-contrib-pipeline-steps Contém módulos e classes para passos especializados do Pipeline do Azure Machine Learning e configuração associada. pip install azureml-contrib-pipeline-steps
pip install --upgrade azureml-contrib-pipeline-steps
pip show azureml-contrib-pipeline-steps
azureml-contrib-notebook Contém extensões para trabalhar com blocos de notas do Jupyter no Azure Machine Learning. pip install azureml-contrib-notebook
pip install --upgrade azureml-contrib-notebook
pip show azureml-contrib-notebook
azureml-contrib-gbdt Este pacote contém o avaliador LightGBM. pip install azureml-contrib-gbdt
pip install --upgrade azureml-contrib-gbdt
pip show azureml-contrib-gbdt
azureml-contrib-functions Contém funcionalidades para empacotar modelos do Azure Machine Learning para implementação para Funções do Azure. pip install azureml-contrib-functions
pip install --upgrade azureml-contrib-functions
pip show azureml-contrib-functions
azureml-contrib-fairness Este pacote suporta a utilização de dashboards de avaliação de equidade no Azure Machine Learning Studio pip install azureml-contrib-fairness
pip install --upgrade azureml-contrib-fairness
pip show azureml-contrib-fairness
azureml-contrib-dataset Contém funcionalidades especializadas para trabalhar com objetos do Conjunto de Dados no Azure Machine Learning. pip install azureml-contrib-dataset
pip install --upgrade azureml-contrib-dataset
pip show azureml-contrib-dataset
azureml-contrib-automl-pipeline-steps Contém passos pré-criados que podem ser executados num Pipeline do Azure Machine Learning. pip install azureml-contrib-automl-pipeline-steps
pip install --upgrade azureml-contrib-automl-pipeline-steps
pip show azureml-contrib-automl-pipeline-steps
azureml-contrib-automl-dnn-vision Este pacote destina-se apenas a ser utilizado por scripts gerados pelo sistema autoML. Para instalar no Windows, os pacotes "torch" e "torchvision" têm de ser instalados separadamente antes deste pacote. pip install azureml-contrib-automl-dnn-vision
pip install --upgrade azureml-contrib-automl-dnn-vision
pip show azureml-contrib-automl-dnn-vision
azureml-contrib-automl-dnn-forecasting Pacote comum da extensão da CLI do Azure ML. Comum em azure-cli-ml e azure-cli-ml-preview. pip install azureml-contrib-automl-dnn-forecasting
pip install --upgrade azureml-contrib-automl-dnn-forecasting
pip show azureml-contrib-automl-dnn-forecasting
azureml-contrib-aisc AzureML Contrib for AzureML AI Super Computer compute target (Destino de computação do Super Computador de IA do AzureML). O AISCCompute é uma infraestrutura de computação de IA gerida, que pode ser anexada a uma área de trabalho pelo administrador do cluster. pip install azureml-contrib-aisc
pip install --upgrade azureml-contrib-aisc
pip show azureml-contrib-aisc
azureml-cli-common Pacote comum da extensão da CLI do Azure ML. Comum em azure-cli-ml e azure-cli-ml-preview. pip install azureml-cli-common
pip install --upgrade azureml-cli-common
pip show azureml-cli-common
azureml-automl-dnn-nlp Este pacote destina-se apenas a ser utilizado por scripts gerados pelo sistema autoML. pip install azureml-automl-dnn-nlp
pip install --upgrade azureml-automl-dnn-nlp
pip show azureml-automl-dnn-nlp
azureml-accel-models Acelere redes neurais profundas em FPGAs com o Serviço de Modelos Acelerados de Hardware do Azure ML. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-inference-server-http Este pacote ativa o Desenvolvimento Local, a Integração ci/CD, as Rotas do Servidor. pip install azureml-inference-server-http
pip install --upgrade azureml-inference-server-http
pip show azureml-inference-server-http
azure-ml-component Este pacote contém funcionalidades para criar e gerir componentes do Azure Machine Learning ao criar e submeter pipelines com componentes pip install azure-ml-component
pip install --upgrade azure-ml-component
pip show azure-ml-component
azureml-pipeline-wrapper Este pacote contém funcionalidades para criar e gerir módulos do Azure Machine Learning, criar e submeter pipelines com módulos pip install azureml-pipeline-wrapper
pip install --upgrade azureml-pipeline-wrapper
pip show azureml-pipeline-wrapper
azureml-designer-cv-modules Módulos para pré-processar e transformar imagens como recortar, redimensionar ou redimensionar. pip install azureml-designer-cv-modules
pip install --upgrade azureml-designer-cv-modules
pip show azureml-designer-cv-modules
azureml-designer-pytorch-modules Módulos para preparar e inferir modelos de classificação de imagens com base na arquitetura pytorch. pip install azureml-designer-pytorch-modules
pip install --upgrade azureml-designer-pytorch-modules
pip show azureml-designer-pytorch-modules
azureml-designer-vowpal-wabbit-modules Módulos para preparar e inferir modelos com base na arquitetura Vowpal Wabbit. pip install azureml-designer-vowpal-wabbit-modules
pip install --upgrade azureml-designer-vowpal-wabbit-modules
pip show azureml-designer-vowpal-wabbit-modules
azureml-designer-classic-modules Uma variedade de módulos para processamento de dados, preparação de modelos, inferência e avaliação. pip install azureml-designer-classic-modules
pip install --upgrade azureml-designer-classic-modules
pip show azureml-designer-classic-modules
azureml-designer-recommender-modules Módulos para preparar e inferir modelos de recomendação com base numa rede neural profunda. pip install azureml-designer-recommender-modules
pip install --upgrade azureml-designer-recommender-modules
pip show azureml-designer-recommender-modules
azureml-designer-internal Funcionalidades internas fornecidas para módulos incorporados. pip install azureml-designer-internal
pip install --upgrade azureml-designer-internal
pip show azureml-designer-internal
azureml-designer-core Principais funcionalidades para a definição de tipo de dados, io de dados e funções utilizadas frequentemente. pip install azureml-designer-core
pip install --upgrade azureml-designer-core
pip show azureml-designer-core
azureml-designer-datatransform-modules Módulos para transformar o conjunto de dados, como ao aplicar operações matemáticas, consultas sql, recortar valores atípicos ou gerar um relatório de estatísticas. pip install azureml-designer-datatransform-modules
pip install --upgrade azureml-designer-datatransform-modules
pip show azureml-designer-datatransform-modules
azureml-designer-dataio-modules Módulos para carregar dados para o estruturador de machine learning do Azure e escrever dados no armazenamento baseado na cloud. pip install azureml-designer-dataio-modules
pip install --upgrade azureml-designer-dataio-modules
pip show azureml-designer-dataio-modules
azureml-designer-serving Forneça funcionalidades para invocar módulos incorporados no serviço de implementação. pip install azureml-designer-serving
pip install --upgrade azureml-designer-serving
pip show azureml-designer-serving
azureml-contrib-datadrift Contém funcionalidades para a deteção de desfasamento de dados para vários conjuntos de dados utilizados na aprendizagem automática, incluindo conjuntos de dados de preparação e conjuntos de dados de classificação. pip install azureml-contrib-datadrift
pip install --upgrade azureml-contrib-datadrift
pip show azureml-contrib-datadrift
azureml-contrib-explain-model Contém funcionalidades experimentais para o pacote azureml-explain-model, que oferece uma variedade de serviços para interpretabilidade de modelos de machine learning. pip install azureml-contrib-explain-model
pip install --upgrade azureml-contrib-explain-model
pip show azureml-contrib-explain-model
azureml-contrib-opendatasets Este pacote fornece um conjunto de APIs para consumir Conjuntos de Dados Abertos do Azure. pip install azureml-contrib-opendatasets
pip install --upgrade azureml-contrib-opendatasets
pip show azureml-contrib-opendatasets
azureml-train-widgets Contém widgets para o Jupyter Notebooks para controlar visualmente as suas execuções. pip install azureml-train-widgets
pip install --upgrade azureml-train-widgets
pip show azureml-train-widgets

Para obter mais detalhes sobre os pacotes acima, veja AzureML no pypi.

Documentação de orientação adicional sobre casos de utilização

Se o caso de utilização estiver descrito abaixo, anote a documentação de orientação e quaisquer ações recomendadas.

Caso de utilização Orientação
Ao utilizar automl  Instalar o todoazureml-train-automl SDK num novo ambiente Python de 64 bits. É necessário um novo ambiente de 64 bits devido a uma dependência na arquitetura LightGBM . Este pacote instala e afixa versões específicas de pacotes de ciência de dados para compatibilidade, o que requer um ambiente limpo.

O cliente magro, azureml-train-automl-client, pacote não instala pacotes de ciência de dados adicionais ou requer um ambiente Python limpo. Recomendamos azureml-train-automl-client que apenas tenha de submeter execuções de ML automatizadas para uma computação remota e não precisar de submeter execuções locais ou transferir o modelo localmente.

Uma versão anterior e uma compatibilidade de reencaminhamento de versões só são suportadas para modelos preparados com o pacote completo azureml-train-automl . Por exemplo, se um modelo for preparado com a versão 1.29.0 do SDK, pode inferência com versões do SDK entre 1.28.0 e 1.30.0.
Utilizar o Azure Databricks No ambiente do Azure Databricks, utilize as origens de biblioteca detalhadas neste guia para instalar o SDK. Veja também estas sugestões para obter mais informações sobre como trabalhar com o SDK do Azure Machine Learning para Python no Azure Databricks.
Utilizar o Azure Máquina Virtual de Ciência de Dados O Azure Ciência de Dados Máquinas Virtuais criado após 27 de setembro de 2018 vem com o SDK Python pré-instalado.
Executar tutoriais ou blocos de notas do Azure Machine Learning Se estiver a utilizar uma versão mais antiga do SDK do que a mencionada no tutorial ou bloco de notas, deve atualizar o SDK. Algumas funcionalidades nos tutoriais e blocos de notas podem exigir pacotes Python adicionais, como matplotlib, scikit-learnou pandas. As instruções em cada tutorial e bloco de notas mostrarão quais os pacotes necessários.

Resolução de problemas

  • Instalação do Pip: não é garantido que as dependências sejam consistentes com a instalação de linha única:

    Esta é uma limitação conhecida do pip, uma vez que não tem uma resolução de dependências funcional quando é instalada como uma única linha. A primeira dependência exclusiva é a única que vê.

    No código azureml-datadrift seguinte e azureml-train-automl ambos são instalados com uma instalação de pip de linha única.

      pip install azureml-datadrift, azureml-train-automl
    

    Para este exemplo, digamos que azureml-datadrift requer a versão > 1.0 e azureml-train-automl requer a versão < 1.2. Se a versão mais recente do azureml-datadrift for a 1.3, ambos os pacotes são atualizados para a versão 1.3, independentemente do azureml-train-automl requisito de pacote para uma versão mais antiga.

    Para garantir que as versões adequadas estão instaladas para os pacotes, instale com múltiplas linhas, como no código seguinte. A encomenda não é um problema aqui, uma vez que o pip é explicitamente mudar para uma versão anterior como parte da próxima chamada de linha. Além disso, são aplicadas as dependências de versão adequadas.

       pip install azureml-datadrift
       pip install azureml-train-automl 
    
  • Pacote de explicação não garantido para ser instalado ao instalar o azureml-train-automl-client:

    Ao executar uma execução remota de AutoML com a explicação do modelo ativada, verá uma mensagem de erro "Instale o pacote azureml-explain-model para obter explicações do modelo". Este é um problema conhecido. Como solução, siga um dos passos abaixo:

    1. Instale azureml-explain-model localmente.
        pip install azureml-explain-model
    
    1. Desative totalmente a funcionalidade de explicação ao transmitir model_explainability=Falso na configuração do AutoML.
        automl_config = AutoMLConfig(task = 'classification',
                               path = '.',
                               debug_log = 'automated_ml_errors.log',
                               compute_target = compute_target,
                               run_configuration = aml_run_config,
                               featurization = 'auto',
                               model_explainability=False,
                               training_data = prepped_data,
                               label_column_name = 'Survived',
                               **automl_settings)
    
  • Erros do Panda: normalmente vistos durante a Experimentação de AutoML:

    Ao configurar manualmente o seu ambiente com o pip, poderá notar erros (especialmente do pandas) devido à instalação de versões de pacotes não suportadas.

    Por exemplo, ModuleNotFoundError: No module named 'pandas.core.internals.managers'; 'pandas.core.internals' is not a package

    Para evitar tais erros, instale o SDK de AutoML com o automl_setup.cmd:

    1. Abra um pedido do Anaconda e clone o repositório do GitHub para um conjunto de blocos de notas de exemplo.
    git clone https://github.com/Azure/MachineLearningNotebooks.git
    
    1. cd para a pasta how-to-use-azureml/automated-machine-learning onde os blocos de notas de exemplo foram extraídos e, em seguida, executam:
    automl_setup
    
  • KeyError: "marca" ao executar o AutoML na computação local ou no cluster do Azure Databricks

    Se um novo ambiente tiver sido criado após 10 de junho de 2020, com o SDK 1.7.0 ou anterior, a preparação poderá falhar com este erro devido a uma atualização no pacote py-cpuinfo. (Os ambientes criados a 10 de junho de 2020 ou antes de 10 de junho de 2020 não são afetados, assim como as experimentações são executadas em computação remota porque são utilizadas imagens de preparação em cache.) Para contornar este problema, siga um dos dois passos seguintes:

    • Atualize a versão do SDK para 1.8.0 ou posterior (isto também reduz o py-cpuinfo para 5.0.0):

      pip install --upgrade azureml-sdk[automl]
      
    • Mude a versão instalada de py-cpuinfo para 5.0.0:

      pip install py-cpuinfo==5.0.0
      
  • Mensagem de erro: Não é possível desinstalar "PyYAML"

    SDK do Azure Machine Learning para Python: O PyYAML é um distutils projeto instalado. Por conseguinte, não podemos determinar com precisão quais os ficheiros que lhe pertencem se existir uma desinstalação parcial. Para continuar a instalar o SDK, ignorando este erro, utilize:

    pip install --upgrade azureml-sdk[notebooks,automl] --ignore-installed PyYAML
    
  • Falha na instalação do SDK do Azure Machine Learning com uma exceção: ModuleNotFoundError: Nenhum módulo com o nome "ruamel" ou "ImportError: Nenhum módulo chamado ruamel.yaml"

    Este problema está a ser encontrado com a instalação do SDK do Azure Machine Learning para Python no pip mais recente (>20.1.1) no ambiente base conda para todas as versões lançadas do SDK do Azure Machine Learning para Python. Veja as seguintes soluções:

    • Evite instalar o SDK python no ambiente base conda, em vez de criar o ambiente conda e instalar o SDK nesse ambiente de utilizador recém-criado. O pip mais recente deve funcionar nesse novo ambiente conda.

    • Para criar imagens no Docker, onde não pode mudar do ambiente de base conda, afixe pip<=20.1.1 no ficheiro docker.

    conda install -c r -y conda python=3.8 pip=20.1.1
    

Passos seguintes

Experimente estes passos seguintes para saber como utilizar o SDK do serviço Azure Machine Learning para Python:

  1. Leia a descrição geral do Azure Machine Learnin Python SDK para saber mais sobre classes-chave e padrões de estrutura com exemplos de código.
  2. Siga o tutorial Introdução ao Python do Azure Machine Learning para começar a criar experimentações e modelos.