Обучение моделей с помощью Машинного обучения Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

Машинное обучение Azure предоставляет несколько способов обучения моделей, начиная от решений, использующих пакет SDK, до решений с низким кодом, таких как автоматизированное машинное обучение и визуальный конструктор. Используйте следующий список, чтобы определить, какой метод обучения подходит вам:

  • Машинное обучение Azure SDK для Python: Этот SDK для Python предоставляет несколько способов обучения моделей, каждый из которых обладает разными возможностями.

    Метод обучения Описание
    command() Типичным способом обучения моделей является отправка команды(), которая включает в себя скрипт обучения, среду и сведения о вычислительных ресурсах.
    Автоматизированное машинное обучение Автоматизированное машинное обучение позволяет обучить модели без глубоких знаний в области обработки и анализа данных или программирования. Для людей, обладающих такими знаниями, оно позволяет экономить время и ресурсы путем автоматизации выбора алгоритма и настройки гиперпараметров. Вы по-прежнему настраиваете автоматическое задание машинного обучения с такими параметрами, как тип задачи, обучающие данные, целевые столбцы, вычисления и ограничения.
    Конвейер машинного обучения Конвейеры не являются другим методом обучения, но способом определения рабочего процесса с помощью модульных, многократно используемых шагов , которые могут включать обучение в рамках рабочего процесса. Конвейеры машинного обучения поддерживают использование автоматизированного машинного обучения и заданий команд для обучения моделей. Так как конвейеры не сосредоточены специально на обучении, причины использования конвейера более разнообразны, чем другие методы обучения. Как правило, конвейер можно использовать в следующих случаях:
    * Вы хотите запускать по расписанию процессы без участия пользователя, такие как длительные задачи обучения или подготовка данных.
    * Используйте несколько шагов, согласованных между разнородными вычислительными ресурсами и местами хранения данных.
    * Используйте конвейер как многократно используемый шаблон для конкретных сценариев, таких как переобучение или пакетное оценивание.
    * Отслеживайте и версионируйте источники данных, входные и выходные данные в вашем рабочем процессе.
    * Рабочий процесс реализован различными командами, которые независимо работают над отдельными этапами. В конвейере можно объединить эти этапы для реализации рабочего процесса.

  • Конструктор: Конструктор машинного обучения Azure предоставляет простую точку входа в машинное обучение для создания доказательств концепций или для пользователей с небольшим опытом написания кода. Он позволяет обучать модели с помощью веб-интерфейса с функцией перетаскивания. Вы можете использовать код Python как часть проекта или обучать модели без написания кода.

  • Azure CLI: CLI машинного обучения предоставляет команды для распространенных задач Машинного обучения Azure и часто используется для написания скриптов и автоматизации задач. Например, после создания обучающего скрипта или конвейера вы можете использовать Azure CLI для запланированного задания обучения или при обновлении файлов данных, используемых для обучения. Для обучения моделей предусмотрены команды, которые отправляют задания на обучение. Можно отправлять задания командной строки, задания автоматизированного машинного обучения и задания конвейеров.

Каждый из этих методов обучения может использовать различные типы вычислительных ресурсов для обучения. В совокупности эти ресурсы называются целевыми объектами вычислений. Целевой объект вычислений может быть локальным компьютером или облачным ресурсом, например вычислительным ресурсом Машинное обучение Azure, Azure HDInsight или удаленной виртуальной машиной.

Пакет SDK для Python

Пакет SDK службы "Машинное обучение Azure" для Python позволяет создавать и запускать рабочие процессы машинного обучения с помощью Машинного обучения Azure. Вы можете взаимодействовать со службой из интерактивного сеанса Python, Jupyter Notebooks, Visual Studio Code или другой интегрированной среды разработки.

Отправка команды

Универсальное задание обучения с помощью Машинного обучения Azure можно определить с помощью функции command(). Затем используется объект Command вместе со скриптами обучения для обучения модели в указанном целевом объекте вычислений.

Вы можете начать с объекта Command для локального компьютера, а затем переключиться на один для облачного целевого объекта вычислений по мере необходимости. При изменении целевого объекта вычислений вы изменяете только параметр вычислений в используемом объекте Command. В ходе выполнения также записываются сведения о задании обучения, такие как входные и выходные данные, а также журналы.

Автоматизированное машинное обучение

Определите итерации, настройки гиперпараметров, формирование признаков и другие настройки. Во время обучения Машинное обучение Azure параллельно пробует использовать различные алгоритмы и параметры. Обучение прекращается после того, как достигнуты заданные условия выхода.

Совет

В дополнение к пакету SDK для Python можно также использовать автоматизированное Машинное обучение с помощью Студии машинного обучения Azure.

Конвейер машинного обучения

При работе с конвейерами машинного обучения могут использоваться ранее упомянутые методы машинного обучения. Конвейеры скорее предназначены для создания рабочего процесса, поэтому они охватывают не только обучение моделей.

Узнайте, что происходит при отправке обучающего задания

Жизненный цикл обучения Azure для типичного задания команды на основе скрипта состоит из следующих шагов. Задания автоматизированного машинного обучения и конвейеров выполняются по схожему сценарию, но точное поведение выполнения и кэширования образов может различаться в зависимости от типа задания и среды:

  1. Запакуйте файлы в папке проекта и отправьте их в облако.

    Совет

    Чтобы предотвратить включение ненужных файлов в моментальный снимок, создайте файл игнорирования (.gitignore или .amlignore) в каталоге. Добавьте исключаемые файлы и каталоги в этот файл. Дополнительные сведения о синтаксисе, который будет использоваться в этом файле, см. в разделе синтаксис и шаблоны для .gitignore. Файл .amlignore использует тот же синтаксис. Если оба файла существуют, используется файл .amlignore, а файл .gitignore не используется.

  2. Масштабирование вычислительного кластера или бессерверных вычислений.

  3. Сборка или загрузка Dockerfile на вычислительный узел

    1. Система вычисляет хэш:
    2. Система использует этот хэш в качестве ключа при поиске в Реестре контейнеров Azure (ACR) рабочей области.
    3. Если совпадение не найдено, выполняется поиск в глобальном ACR.
    4. Если он не найден, система создает новый образ (который будет кэширован и зарегистрирован в ACR рабочей области)

  4. Загрузка упакованного файла проекта во временное хранилище в вычислительном узле.

  5. Распаковка файла проекта

  6. Запустите вычислительный узел с помощью команды, указанной заданием, например python <entry script> <arguments> для скрипта обучения Python.

  7. Сохранение журналов, файлов моделей и других файлов, записанных в ./outputs в учетной записи хранения, связанной с рабочей областью.

  8. Уменьшение масштаба вычислений, включая удаление временного хранилища.

Конструктор машинного обучения Azure

Конструктор позволяет обучать модели с помощью интерфейса перетаскивания в веб-браузере.

Azure CLI (Интерфейс командной строки для Azure)

Интерфейс командной строки для машинного обучения является расширением для Azure CLI. Он предоставляет межплатформенные команды CLI для работы с Машинным обучением Azure. Как правило, интерфейс командной строки используется для автоматизации задач, таких как обучение модели машинного обучения.

VS Code

Используйте расширение VS Code для запуска заданий обучения и управления ими. Дополнительные сведения см. в руководстве по управлению ресурсами VS Code.

Следующие шаги

Далее вы узнаете, как создать рабочие конвейеры машинного обучения с помощью пакета SDK Python версии 2 в записной книжке Jupyter.

  • Last updated on