установить пакет SDK для Машинного обучения Azure для Python.

В этой статье приводятся инструкции для разных вариантов установки пакета SDK.

Предварительные требования


Установка по умолчанию

Используйте команду azureml-core.

pip install azureml-core

Затем установите другие пакеты, необходимые для конкретного задания.

Установка обновления

Совет

Мы рекомендуем всегда обновлять azureml-core до последней версии.

Обновление предыдущей версии:

pip install --upgrade azureml-core

Проверка версии

Проверьте версию пакета SDK:

pip show azureml-core

Чтобы просмотреть все пакеты в среде, сделайте следующее:

pip list

Вы также можете отобразить версию пакета SDK в Python, но эта версия не включает дополнительный номер версии.

import azureml.core
print(azureml.core.VERSION)

Дополнительные сведения о настройке среды разработки для Службы машинного обучения Azure см. в этой статье.

Другие пакеты azureml

Пакет SDK содержит множество других необязательных пакетов, которые можно установить. К ним относятся зависимости, которые не являются обязательными для всех сценариев использования, поэтому они не включены в пакет установки по умолчанию, чтобы избежать раздувания среды. В следующей таблице перечислены пакеты, варианты использования и команды для установки, обновления & версии проверка.

Дополнительный пакет Вариант использования Установка, обновление и отображение версии
azureml-automl-core Содержит основные классы автоматизированного машинного обучения для Машинного обучения Azure.
Этот пакет используется в azureml-train-automl-client и azureml-train-automl-runtime.
pip install azureml-automl-core
pip install --upgrade azureml-automl-core
pip show azureml-automl-core
azureml-accel-models Ускоряет работу глубокой нейронной сети в ППВМ с помощью функции "Модели с аппаратным ускорением" службы машинного обучения Azure. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-train-automl Предоставляет классы для создания и запуска экспериментов с автоматизированным машинным обучением. Также устанавливает распространенные пакеты для обработки и анализа данных, включая pandas, numpy и scikit-learn.

Если вы хотите отправлять запуски автоматизированного машинного обучения на удаленном компьютере и не хотите выполнять машинное обучение локально, мы рекомендуем использовать тонкий клиент, azureml-train-automl-client (пакет в составе azureml-sdk).

См. дополнительные рекомендации по вариантам использования, чтобы узнать больше об установке полного пакета SDK automl или его тонкого клиента, azureml-train-automl-client, и о работе с ними.

Аналогично стандарту Python поддерживается совместимость только с одной старшей и одной младшей версией, но только для полного пакета azureml-train-automl. Например, если модель была обучена с пакетом SDK версии 1.29.0, вы можете выполнить вывод с помощью пакетов SDK версий 1.28.0–1.30.0.
Для локальной среды conda
pip install azureml-train-automl
pip install --upgrade azureml-train-automl pip install show azureml-train-automl

Тонкий клиент для удаленных вычислений:
pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip install show azureml-train-automl-client
azureml-contrib Устанавливает пакеты azureml-contrib-*, которые включают экспериментальную функциональность или предварительные версии функций. pip install azureml-contrib
pip install --upgrade azureml-contrib
pip show azureml-contrib
azureml-datadrift Содержит функциональные возможности для обнаружения смещения данных для обучения модели относительно данных оценки. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-interpret Используется для интерпретируемости моделей, включая в себя показатели важности функций и классов для моделей "черного ящика" и "белого ящика". pip azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-widgets Содержит основные пакеты, модули и классы для Машинного обучения Azure. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-contrib-services Предоставляет функции для скриптов оценки, чтобы запрашивать доступ по протоколу HTTP в режиме RAW. pip install azureml-contrib-services
pip install --upgrade azureml-contrib-services
pip show azureml-contrib-services
azureml-tensorboard Предоставляет классы и методы для экспорта журнала выполнения экспериментов и запуска TensorBoard для визуализации данных о производительности и структуры эксперимента. pip install azureml-tensorboard
pip install --upgrade azureml-tensorboard
pip show azureml-tensorboard
azureml-mlflow Содержит функциональные возможности, которые обеспечивают интеграцию Машинного обучения Azure с MLFlow. pip install azureml-mlflow
pip install --upgrade azureml-mlflow
pip show azureml-mlflow
azureml-automl-runtime Содержит классы автоматизированного машинного обучения для выполнения запусков в Машинном обучении Azure. pip install azureml-automl-runtime
pip install --upgrade azureml-automl-runtime
pip show azureml-automl-runtime
azureml-widgets Содержит функциональные возможности для просмотра хода выполнения этапов обучения машинного обучения в записных книжках Jupyter. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-train-restclients-hyperdrive Содержит классы, необходимые для создания запусков HyperDriveRun с помощью azureml-train-core. pip install azureml-train-restclients-hyperdrive
pip install --upgrade azureml-train-restclients-hyperdrive
pip show azureml-train-restclients-hyperdrive
azureml-train-core Содержит базовые классы оценщика и общий класс оценщика, оценщики для использования в обучении с глубокой нейронной сетью, оценщики для обучения со Scikit-Learn, модули и классы для поддержки настройки гиперпараметров. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-train-automl-runtime Содержит функциональные возможности, представляющие основные компоненты автоматизированного машинного обучения и среды выполнения в Машинном обучении Azure. pip install azureml-train-automl-runtime
pip install --upgrade azureml-train-automl-runtime
pip show azureml-train-automl-runtime
azureml-train-automl-client Содержит основные пакеты, модули и классы для Машинного обучения Azure. pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip show azureml-train-automl-client
azureml-telemetry Этот пакет используется для сбора данных телеметрии, таких как сообщения журнала, метрики, события и сообщения о действиях. pip install azureml-telemetry
pip install --upgrade azureml-telemetry
pip show azureml-telemetry
azureml-synapse Содержит магическую команду для управления сеансом Synapse и отправки кода, а также мини-приложение SparkMonitor для мониторинга хода выполнения заданий Spark (для Jupyter и JupyterLab). pip install azureml-synapse
pip install --upgrade azureml-synapse
pip show azureml-synapse
azureml-sdk Этот пакет используется для создания и запуска рабочих процессов машинного обучения в службе "Машинное обучение Azure". pip install azureml-sdk
pip install --upgrade azureml-sdk
pip show azureml-sdk
azureml-pipeline-steps Содержит предварительно созданные этапы, которые можно выполнить в конвейере Машинного обучения Azure. pip install azureml-pipeline-steps
pip install --upgrade azureml-pipeline-steps
pip show azureml-pipeline-steps
azureml-pipeline-core Содержит основные функциональные возможности для конвейеров Машинного обучения Azure, которые являются настраиваемыми рабочими процессами машинного обучения. pip install azureml-pipeline-core
pip install --upgrade azureml-pipeline-core
pip show azureml-pipeline-core
azureml-pipeline Этот пакет используется при сборке, оптимизации и администрировании рабочих процессов машинного обучения. pip install azureml-pipeline
pip install --upgrade azureml-pipeline
pip show azureml-pipeline
azureml-opendatasets Содержит основные функциональные возможности для конвейеров Машинного обучения Azure, которые являются настраиваемыми рабочими процессами машинного обучения. pip install azureml-opendatasets
pip install --upgrade azureml-opendatasets
pip show azureml-opendatasets
azureml-interpret Содержит функциональные возможности для работы с интерпретируемостью модели в Машинном обучении Azure. pip install azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-defaults Этот пакет является метапакетом, используемым внутренне Машинным обучением Azure. pip install azureml-defaults
pip install --upgrade azureml-defaults
pip show azureml-defaults
azureml-dataset-runtime Он предназначен для координации зависимостей в пакетах AzureML. Этот пакет является внутренним и не предназначен для непосредственного использования. pip install azureml-dataset-runtime
pip install --upgrade azureml-dataset-runtime
pip show azureml-dataset-runtime
azureml-datadrift Содержит функциональные возможности для обнаружения смещения данных для обучения модели относительно данных оценки. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-contrib-server Этот пакет является локальной службой HTTP, используемой для предоставления подмножества функциональных возможностей, доступных в пакете SDK для AzureML, средствам VS для расширений ИИ (VSCode и Visual Studio). pip install azureml-contrib-server
pip install --upgrade azureml-contrib-server
pip show azureml-contrib-server
azureml-contrib-run Этот пакет используется для хранения кода интеграции AzureML с Mlflow. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-contrib-reinforcementlearning Содержит функциональные возможности для создания целевого объекта вычислений Windows в Машинном обучении Azure. pip install azureml-contrib-reinforcementlearning
pip install --upgrade azureml-contrib-reinforcementlearning
pip show azureml-contrib-reinforcementlearning
azureml-contrib-pipeline-steps Содержит модули и классы для специализированных этапов конвейера Машинного обучения Azure и соответствующей конфигурации. pip install azureml-contrib-pipeline-steps
pip install --upgrade azureml-contrib-pipeline-steps
pip show azureml-contrib-pipeline-steps
azureml-contrib-notebook Содержит расширения для работы с записными книжками Jupyter в Машинном обучении Azure. pip install azureml-contrib-notebook
pip install --upgrade azureml-contrib-notebook
pip show azureml-contrib-notebook
azureml-contrib-gbdt Этот пакет содержит оценщик LightGBM. pip install azureml-contrib-gbdt
pip install --upgrade azureml-contrib-gbdt
pip show azureml-contrib-gbdt
azureml-contrib-functions Содержит функциональные возможности для упаковки моделей Машинного обучения Azure для развертывания в Функциях Azure. pip install azureml-contrib-functions
pip install --upgrade azureml-contrib-functions
pip show azureml-contrib-functions
azureml-contrib-fairness Этот пакет поддерживает использование панелей мониторинга оценки справедливости в Студии машинного обучения Azure. pip install azureml-contrib-fairness
pip install --upgrade azureml-contrib-fairness
pip show azureml-contrib-fairness
azureml-contrib-dataset Содержит специализированные функциональные возможности для работы с объектами наборов данных в Машинном обучении Azure. pip install azureml-contrib-dataset
pip install --upgrade azureml-contrib-dataset
pip show azureml-contrib-dataset
azureml-contrib-automl-pipeline-steps Содержит предварительно созданные этапы, которые можно выполнить в конвейере Машинного обучения Azure. pip install azureml-contrib-automl-pipeline-steps
pip install --upgrade azureml-contrib-automl-pipeline-steps
pip show azureml-contrib-automl-pipeline-steps
azureml-contrib-automl-dnn-vision Этот пакет предназначен только для использования в скриптах, созданных системой AutoML. Для установки в Windows пакеты torch и torchvision должны быть установлены отдельно до этого пакета. pip install azureml-contrib-automl-dnn-vision
pip install --upgrade azureml-contrib-automl-dnn-vision
pip show azureml-contrib-automl-dnn-vision
azureml-contrib-automl-dnn-forecasting Общий пакет расширения CLI для Машинного обучения Azure. Это общий для azure-cli-ml и azure-cli-ml-preview пакет. pip install azureml-contrib-automl-dnn-forecasting
pip install --upgrade azureml-contrib-automl-dnn-forecasting
pip show azureml-contrib-automl-dnn-forecasting
azureml-contrib-aisc AzureML Contrib для целевого объекта вычислений суперкомпьютера ИИ AzureML. AISCCompute — это управляемая вычислительная инфраструктура ИИ, которую администратор кластера может подключить к рабочей области. pip install azureml-contrib-aisc
pip install --upgrade azureml-contrib-aisc
pip show azureml-contrib-aisc
azureml-cli-common Общий пакет расширения CLI для Машинного обучения Azure. Это общий для azure-cli-ml и azure-cli-ml-preview пакет. pip install azureml-cli-common
pip install --upgrade azureml-cli-common
pip show azureml-cli-common
azureml-automl-dnn-nlp Этот пакет предназначен только для использования в скриптах, созданных системой AutoML. pip install azureml-automl-dnn-nlp
pip install --upgrade azureml-automl-dnn-nlp
pip show azureml-automl-dnn-nlp
azureml-accel-models Ускоряет работу глубоких нейронных сетей в ППВМ с помощью службы моделей с аппаратным ускорением в Машинном обучении Azure. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-inference-server-http Этот пакет позволяет выполнять локальную разработку, интеграцию CI/CD, маршрутизацию серверов. pip install azureml-inference-server-http
pip install --upgrade azureml-inference-server-http
pip show azureml-inference-server-http
azure-ml-component Этот пакет содержит функциональные возможности для создания и администрирования компонентов Машинного обучения Azure, а также для создания и отправки конвейеров, использующих компоненты. pip install azure-ml-component
pip install --upgrade azure-ml-component
pip show azure-ml-component
azureml-pipeline-wrapper Этот пакет содержит функциональные возможности для создания и администрирования модулей Машинного обучения Azure, а также для создания и отправки конвейеров, использующих модули. pip install azureml-pipeline-wrapper
pip install --upgrade azureml-pipeline-wrapper
pip show azureml-pipeline-wrapper
azureml-designer-cv-modules Модули для предварительной обработки и преобразования изображений, например для обрезки, установки полей или изменения размера. pip install azureml-designer-cv-modules
pip install --upgrade azureml-designer-cv-modules
pip show azureml-designer-cv-modules
azureml-designer-pytorch-modules Модули для обучения и вывода моделей классификации изображений на основе платформы PyTorch. pip install azureml-designer-pytorch-modules
pip install --upgrade azureml-designer-pytorch-modules
pip show azureml-designer-pytorch-modules
azureml-designer-vowpal-wabbit-modules Модули для обучения и вывода моделей на основе платформы Vowpal Wabbit. pip install azureml-designer-vowpal-wabbit-modules
pip install --upgrade azureml-designer-vowpal-wabbit-modules
pip show azureml-designer-vowpal-wabbit-modules
azureml-designer-classic-modules Разнообразные модули для обработки данных, обучения моделей, вывода и оценки. pip install azureml-designer-classic-modules
pip install --upgrade azureml-designer-classic-modules
pip show azureml-designer-classic-modules
azureml-designer-recommender-modules Модули для обучения и вывода моделей рекомендаций на основе глубокой нейронной сети. pip install azureml-designer-recommender-modules
pip install --upgrade azureml-designer-recommender-modules
pip show azureml-designer-recommender-modules
azureml-designer-internal Внутренние функции, предоставляемые для встроенных модулей. pip install azureml-designer-internal
pip install --upgrade azureml-designer-internal
pip show azureml-designer-internal
azureml-designer-core Основные функциональные возможности для определений типов данных, операций ввода-вывода данных и часто используемых функций. pip install azureml-designer-core
pip install --upgrade azureml-designer-core
pip show azureml-designer-core
azureml-designer-datatransform-modules Модули для преобразования наборов данных, такие как применение математических операций, SQL-запросов, удаления выбросов или формирования отчета статистики. pip install azureml-designer-datatransform-modules
pip install --upgrade azureml-designer-datatransform-modules
pip show azureml-designer-datatransform-modules
azureml-designer-dataio-modules Модули для загрузки данных в конструктор Машинного обучения Azure и записи данных в облачное хранилище. pip install azureml-designer-dataio-modules
pip install --upgrade azureml-designer-dataio-modules
pip show azureml-designer-dataio-modules
azureml-designer-serving Предоставляет функциональные возможности для вызова встроенных модулей в службе развертывания. pip install azureml-designer-serving
pip install --upgrade azureml-designer-serving
pip show azureml-designer-serving
azureml-contrib-datadrift Содержит функциональные возможности для обнаружения отклонений данных в различных наборах данных, используемые в машинном обучении, в том числе в наборах данных обучения и наборах данных оценки. pip install azureml-contrib-datadrift
pip install --upgrade azureml-contrib-datadrift
pip show azureml-contrib-datadrift
azureml-contrib-explain-model Содержит экспериментальные функции для пакета azureml-explain-model, которые предоставляют различные службы для интерпретации модели машинного обучения. pip install azureml-contrib-explain-model
pip install --upgrade azureml-contrib-explain-model
pip show azureml-contrib-explain-model
azureml-contrib-opendatasets Этот пакет предоставляет набор API для использования Открытых наборов данных Azure. pip install azureml-contrib-opendatasets
pip install --upgrade azureml-contrib-opendatasets
pip show azureml-contrib-opendatasets
azureml-train-widgets Содержит мини-приложения для записных книжек Jupyter, позволяющие визуально отслеживать запуски. pip install azureml-train-widgets
pip install --upgrade azureml-train-widgets
pip show azureml-train-widgets

Дополнительные сведения о приведенных выше пакетах см. на этой странице.

Дополнительные рекомендации по сценариям использования

Если ваш сценарий использования описан ниже, следуйте инструкциям и рекомендуемым действиям.

Сценарий использования Руководство
Использование automl  Установите полный пакет SDK azureml-train-automl в новой 64-разрядной среде Python. Новая 64-разрядная версия среды требуется из-за зависимости от платформы LightGBM. Этот пакет устанавливает и закрепляет конкретные версии пакетов обработки и анализа данных для обеспечения совместимости, для чего требуется чистая среда.

Пакет тонкого клиента, azureml-train-automl-client, не устанавливает дополнительные пакеты обработки и анализа данных и не требует чистую среду Python. Мы рекомендуем использовать azureml-train-automl-client, только если вам нужно отправить запуски автоматизированного машинного обучения на удаленный компьютер и вам не требуется отправлять локальные запуски или скачивать модель локально.

Совместимость с одной предыдущей и одной последующей версией поддерживается только для моделей, обучение для которых было выполнено с полным пакетом azureml-train-automl. Например, если модель была обучена с пакетом SDK версии 1.29.0, вы можете выполнить вывод с помощью пакетов SDK версий 1.28.0–1.30.0.
Использование Azure Databricks Для установки пакета SDK в среде Azure Databricks используйте источники библиотек, описанные в этом руководстве. Прочитайте также эти рекомендации по работе с пакетом SDK Службы машинного обучения Azure для Python на Azure Databricks.
Использование виртуальной машины Azure для обработки и анализа данных Виртуальные машины для обработки и анализа данных Azure, созданные после 27 сентября 2018 г., поставляются с уже установленным пакетом SDK для Python.
Выполнение примеров из учебников или запуск записных книжек для Машинного обучения Azure. Если вы используете SDK более ранней версии, чем та, которая упоминается в руководстве или записной книжке, потребуется обновить пакет SDK. Для некоторых функций, описанных в руководствах и записных книжках, могут потребоваться дополнительные пакеты Python, например matplotlib, scikit-learn или pandas. Необходимые пакеты будут указаны в инструкциях каждого руководства и записной книжки.

Устранение неполадок

  • Установка pip — не гарантируется согласованность зависимостей при установке с одной строкой:

    Это известное ограничение pip, так как в нем отсутствует действующий сопоставитель зависимостей при установке с одной строкой. Он учитывает только первую уникальную зависимость.

    В следующем коде azureml-datadrift и azureml-train-automl устанавливаются с помощью установки pip с одной строкой.

      pip install azureml-datadrift, azureml-train-automl
    

    Для этого примера предположим, что azureml-datadrift требуется версия > 1.0, а azureml-train-automl — версия < 1.2. Если последняя версия azureml-datadrift — 1.3, оба пакета обновляются до 1.3, независимо от требований пакета azureml-train-automl для более старой версии.

    Чтобы гарантировать установку соответствующих версий для пакетов, выполните установку с помощью нескольких строк, как в следующем коде. Порядок здесь не имеет значения, так как pip явно выполняет переход на более раннюю версию в следующем вызове строки. Поэтому применяются соответствующие зависимости версий.

       pip install azureml-datadrift
       pip install azureml-train-automl 
    
  • Пакет объяснений может быть не установлен при установке azureml-train-automl-client:

    При выполнении удаленного запуска AutoML с включенным объяснением модели вы увидите сообщение об ошибке "Please install azureml-explain-model package for model explanations" (Установите azureml-explain-model package для объяснений модели). Это известная проблема. В качестве временного решения выполните одно из следующих действий:

    1. Установите azureml-explain-model локально.
        pip install azureml-explain-model
    
    1. Полностью отключите функцию объяснений, передав model_explainability=False в конфигурацию AutoML.
        automl_config = AutoMLConfig(task = 'classification',
                               path = '.',
                               debug_log = 'automated_ml_errors.log',
                               compute_target = compute_target,
                               run_configuration = aml_run_config,
                               featurization = 'auto',
                               model_explainability=False,
                               training_data = prepped_data,
                               label_column_name = 'Survived',
                               **automl_settings)
    
  • Ошибки Panda: обычно возникают в ходе эксперимента AutoML:

    При настройке среды вручную с помощью pip вы можете заместить ошибки (особенно от pandas) из-за установки неподдерживаемых версий пакета.

    Например: ModuleNotFoundError: No module named 'pandas.core.internals.managers'; 'pandas.core.internals' is not a package

    Чтобы предотвратить такие ошибки, установите пакет SDK для AutoML с помощью automl_setup.cmd:

    1. Откройте запрос Anaconda и клонируйте репозиторий GitHub для набора примеров записных книжек.
    git clone https://github.com/Azure/MachineLearningNotebooks.git
    
    1. Перейдите в папку how-to-use-azureml/automated-machine-learning, в которую извлекаются примеры записных книжек, и выполните следующее:
    automl_setup
    
  • KeyError: "brand" при выполнении AutoML на локальном компьютере или в кластере Azure Databricks

    Если новая среда была создана после 10 июня 2020 г. с использованием пакета SDK 1.7.0 или более ранней версии, обучение может завершиться с этой ошибкой из-за обновления в пакете py-cpuinfo. (Среды, созданные 10 июня 2020 г. или раньше, не затрагиваются, как и эксперименты, выполняемые на удаленных вычислительных ресурсах, так как используются кэшированные обучающие образы.) Чтобы обойти эту проблему, выполните одно из следующих двух действий.

    • Выполните обновление пакета SDK до версии 1.8.0 или более поздней (это также приведет к понижению версии py-cpuinfo до 5.0.0):

      pip install --upgrade azureml-sdk[automl]
      
    • Понизьте установленную версию py-cpuinfo до 5.0.0:

      pip install py-cpuinfo==5.0.0
      
  • Сообщение об ошибке: не удается удалить "PyYAML"

    Пакет SDK Машинного обучения Azure для Python: PyYAML — это установленный distutils проект. Поэтому невозможно точно определить, какие файлы принадлежат ему в случае частичного удаления. Чтобы продолжить установку SDK игнорируя эту ошибку, используйте:

    pip install --upgrade azureml-sdk[notebooks,automl] --ignore-installed PyYAML
    
  • Сбой установки пакета SDK Машинного обучения Azure с исключением ModuleNotFoundError (Отсутствует модуль с именем "ruamel") или ImportError (Отсутствует модуль с именем ruamel.yaml)

    Эта проблема возникает при установке пакета SDK Машинного обучения Azure для Python на последней версии pip (>20.1.1) в базовой среде conda для всех выпущенных версий пакета SDK Машинного обучения Azure для Python. См. следующие решения:

    • Избегайте установки пакета SDK для Python в базовой среде conda. Вместо этого создайте среду conda и установите пакет SDK на созданную среду пользователя. Последняя версия pip должна работать с новой средой conda.

    • Для создания образов Docker, в которых невозможно отключиться от базовой среды conda, закрепите pip<=20.1.1 в Dockerfile.

    conda install -c r -y conda python=3.8 pip=20.1.1
    

Дальнейшие действия

Попробуйте выполнить следующие шаги, чтобы узнать, как использовать пакет SDK Службы машинного обучения Azure для Python:

  1. Сведения об основных класса их конструктивных шаблонах с примерами кода см. в обзоре пакета SDK Машинного обучения Azure для Python.
  2. Ознакомьтесь с учебником по началу работы с Машинным обучением Azure с Python, чтобы начать создавать эксперименты и модели.