Миграция данных в Машинное обучение Azure из Студии машинного обучения (классическая)

Важно!

Поддержка Студии машинного обучения (классической) будет прекращена 31 августа 2024 г. До этой даты рекомендуется перейти на Машинное обучение Azure.

Начиная с 1 декабря 2021 года вы не сможете создавать новые ресурсы Студии машинного обучения (классической). Существующие ресурсы Студии машинного обучения (классической) можно будет использовать до 31 августа 2024 г.

Прекращается поддержка документации по Студии машинного обучения (классической). В будущем она может не обновляться.

Узнайте, как перейти с использования Студии (классической) на Машинное обучение Azure. Машинное обучение Azure предоставляет современную платформу обработки и анализа данных, которая объединяет подходы, не требующие написания кода, и подходы, использующие Code First.

Это руководство по простой миграции lift-and-shift. Если вы хотите оптимизировать существующий рабочий процесс машинного обучения или модернизировать платформу машинного обучения, ознакомьтесь со статьей Платформа для внедрения Машинного обучения Azure, чтобы получить дополнительных ресурсы, включая средства цифровых опросов, листы и шаблоны планирования.

Обратитесь к архитектору облачных решений для выполнения миграции.

Платформа для внедрения Машинного обучения Azure

Для перехода на Машинное обучение Azure рекомендуется реализовать следующий подход.

  • Шаг 1. Оценка Машинного обучения Azure
  • Шаг 2. Определение стратегии и плана
  • Шаг 3. Перестроение экспериментов и веб-служб
  • Шаг 4. Интеграция клиентских приложений
  • Шаг 5. Очистка ресурсов Студии (классической)
  • Шаг 6. Проверка и расширение сценариев

Шаг 1. Оценка Машинного обучения Azure

  1. Узнайте о Машинном обучении Azure, его преимуществах, затратах и архитектуре.

  2. Сравните возможности Машинного обучения Azure и Студии (классической).

    Примечание

    Конструктор в Машинном обучении Azure предоставляет аналогичный способ перетаскивания, как и в Студии (классической). Однако в качестве альтернативы в Машинном обучении Azure также доступны надежные рабочие процессы Code First. В этой серии статьей по миграции основное внимание уделяется конструктору, так как он больше всего похож на среду Студии (классической).

    В таблице ниже перечислены некоторые основные различия между Студией машинного обучения (классической) и службой "Машинное обучение Azure".

    Компонент Студии машинного обучения (классической) Машинное обучение Azure
    Интерфейс перетаскивания Классический интерфейс Обновленный интерфейс — конструктор Машинного обучения Azure
    Пакеты SDK для кода Не поддерживается Полная интеграция с пакетами SDK Машинного обучения Azure для Python и R
    Эксперимент Масштабируемый (ограничение на объем данных для обучения: 10 ГБ) Масштабирование с помощью целевого объекта вычислений
    Обучение целевых объектов вычислений Собственный целевой объект, поддерживающий только ЦП Обширный набор настраиваемых целевых объектов вычислений для обучения. Включает поддержку GPU и ЦП.
    Развертывание целевых объектов вычислений Собственный формат веб-службы, без возможности настройки Обширный набор настраиваемых целевых объектов вычислений для развертывания. Включает поддержку GPU и ЦП.
    ML-конвейер Не поддерживается Создание гибких, модульных конвейеров для автоматизации рабочих процессов
    MLOps Развертывание базовой модели и управление ею; развертывания с использованием только ЦП Управление версиями сущностей (модель, данные, рабочие процессы), автоматизация рабочих процессов, интеграция с инструментами непрерывной интеграции и поставки, развертывания с использованием ЦП и GPU, а также многие другие возможности
    Формат модели Собственный формат, только Студия (классическая) Несколько поддерживаемых форматов в зависимости от типа задания обучения
    Автоматизированное обучение моделей и настройка гиперпараметров Не поддерживается поддерживается. Возможно использовать подход без написания кода или Code First.
    Обнаружение смещения данных Не поддерживается Поддерживается
    Проект маркировки данных Не поддерживается Поддерживается
    Управление доступа на основе ролей Только роль участника и владельца Гибкое определение роли и управление RBAC
    Коллекция решений ИИ Поддерживается (https://gallery.azure.ai/) Не поддерживается

    Обучайтесь с помощью примеров записных книжек SDK для Python.
  3. Убедитесь, что в конструкторе Машинного обучения Azure поддерживаются критически важные модули Студии (классической). Дополнительные сведения см. в приведенной ниже таблице сравнения компонентов Студии (классической) и конструктора.

  4. Создайте рабочую область Машинного обучения Azure.

Шаг 2. Определение стратегии и плана

  1. Определите бизнес-обоснование и ожидаемые результаты.
  2. Сопоставьте план внедрения Машинного обучения Azure с результатами для бизнеса.
  3. Подготовьте сотрудников, процессы и среды к изменениям.

Чтобы определить стратегию, обратитесь к архитектору облачных решений.

Ознакомьтесь с разделом Azure Machine Learning Adoption Framework (Платформа для внедрения Машинного обучения Azure), чтобы изучить планирование ресурсов, включая шаблон документа по планированию.

Шаг 3. Перестроение первой модели

После определения стратегии перенесите первую модель.

  1. Перенесите наборы данных в Машинное обучение Azure.

  2. Перестройте эксперименты с помощью конструктора.

  3. Повторно разверните веб-службы с помощью конструктора.

    Примечание

    Приведенные выше рекомендации основаны на основных понятиях и возможностях AzureML версии 1. В AzureML есть CLI версии 2 и пакет SDK для Python версии 2. Мы рекомендуем перестроить модели ML Studio (классическая версия) с помощью версии 2, а не версии 1. Начните работу с AzureML версии 2, перейдя сюда

Шаг 4. Интеграция клиентских приложений

  1. Измените клиентские приложения, которые вызывают веб-службы Студии (классической) для использования новых конечных точек Машинного обучения Azure.

Шаг 5. Очистка ресурсов Студии (классической)

  1. Очистите ресурсы Студии (классической), чтобы избежать лишних расходов. Возможно, вы захотите сохранить ресурсы для отката, пока не будут проверены рабочие нагрузки Машинного обучения Azure.

Шаг 6. Проверка и расширение сценариев

  1. Проверьте, применяются ли рекомендации к переносу моделей, и проверьте рабочие нагрузки.
  2. Расширьте сценарии для переноса дополнительных рабочих нагрузок в Машинное обучение Azure.

Сравнение компонентов Студии (классической) и конструктора

Ознакомьтесь с таблицей ниже, чтобы узнать, какие модули следует использовать при перестроении экспериментов Студии (классической) в конструкторе.

Важно!

Конструктор реализует модули через пакеты Python с открытым исходным кодом, а не через пакеты C#, как это делает Студия (классическая). Из-за этого отличия выходные данные компонентов конструктора могут немного отличаться от их аналогов в Студии (классической).

Категория Модуль Студии (классической) Компонент дизайнера «Замена»
Входные и выходные данные — Ввод данных вручную
— Экспорт данных
— Импорт данных
— Загрузка обученной модели
— Распаковка архивов с наборами данных
— Ввод данных вручную
— Экспорт данных
— Импорт данных
Преобразования формата данных — Преобразование в CSV
— Преобразование в набор данных
— Convert в ARFF
— Преобразование в SVMLight
— Преобразование в TSV
— Преобразование в CSV
— Преобразование в набор данных
Преобразование данных — манипуляции — Добавление столбцов
— Добавление строк
— Применение преобразования SQL
— Очистка отсутствующих данных
— Преобразование в значения индикатора
— Изменение метаданных
— Объединение данных
— Удаление повторяющихся строк
— Выбор столбцов в наборе данных
— Выбор преобразования столбцов
— SMOTE
— Группирование категориальных значений
— Добавление столбцов
— Добавление строк
— Применение преобразования SQL
— Очистка отсутствующих данных
— Преобразование в значения индикатора
— Изменение метаданных
— Объединение данных
— Удаление повторяющихся строк
— Выбор столбцов в наборе данных
— Выбор преобразования столбцов
— SMOTE
Преобразование данных — масштабирование и сокращение — Обрезка значений
— Группирование данных в ячейки
— Нормализация данных
— Компонентный анализ субъектов
— Обрезка значений
— Группирование данных в ячейки
— Нормализация данных
Преобразование данных — выборка и разделение — Секционирование и выборка
— Разделение данных
— Секционирование и выборка
— Разделение данных
Преобразование данных — фильтрация — Применение фильтра
— Фильтр FIR
— Фильтр IIR
— Фильтр медианы
— Фильтр скользящего среднего
— Фильтр пороговых значений
— Пользовательский фильтр
Преобразование данных — обучение с использованием счетчиков — Создание преобразования вычислений
— Экспорт таблицы вычислений
— Импорт таблицы вычислений
— Объединение преобразования вычислений
— Изменение параметров таблицы вычислений
Выбор компонентов — Выбор компонентов на основе фильтра
— Линейный дискриминантный анализ Фишера
— Важность функции перестановки
— Выбор компонентов на основе фильтра
— Важность функции перестановки
Модель — классификация — Многоклассовый лес принятия решений
— Многоклассовые джунгли принятия решений
— Многоклассовая логистическая регрессия
— Многоклассовая нейронная сеть
— Многоклассовый классификатор «один — все»
— Двухклассовый перцептрон с усреднением
— Двухклассовый алгоритм Байеса
— Двухклассовое увеличивающееся дерево принятия решений
— Двухклассовый лес принятия решений
— Двухклассовые джунгли принятия решений
— Двухклассовый локально глубокий метод SVM
— Двухклассовая логистическая регрессия
— Двухклассовая нейронная сеть
— Векторная машина с поддержкой двухклассовой методики
— Многоклассовый лес принятия решений
— Многоклассовое увеличивающееся дерево принятия решений
— Многоклассовая логистическая регрессия
— Многоклассовая нейронная сеть
— Многоклассовый классификатор «один — все»
— Двухклассовый перцептрон с усреднением
— Двухклассовое увеличивающееся дерево принятия решений
— Двухклассовый лес принятия решений
— Двухклассовая логистрическая регрессия
— Двухклассовая нейронная сеть
— Векторная машина с поддержкой двухклассовой методики
— Модель — кластеризация — Кластеризация методом K-средних — Кластеризация методом K-средних
Модель — регрессия — Линейная регрессия Байеса
— Регрессия увеличивающегося дерева принятия решений
— Регрессия леса принятия решений
— Быстрая квантильная регрессия леса
— Линейная регрессия
— Регрессия нейронной сети
— Порядковая регрессия Пуассона
— Регрессия увеличивающегося дерева принятия решений
— Регрессия леса принятия решений
— Быстрая квантильная регрессия леса
— Линейная регрессия
— Регрессия нейронной сети
— Регрессия Пуассона
Модель — обнаружение аномалий — Одноклассовый метод опорных векторов
— Обнаружение аномалий на основе анализа первичных компонентов
— Обнаружение аномалий на основе анализа первичных компонентов
Машинное обучение — оценка — Перекрестная проверка модели
— Оценка модели
— Оценка рекомендателя
— Перекрестная проверка модели
— Оценка модели
— Оценка рекомендателя
Машинное обучение — обучение — Кластеризация очистки
— Обучение модели обнаружения аномалий
— Обучение модели кластеризации
— Обучение рекомендателя Matchbox
— Обучение модели
— Настройка гиперпараметров модели
— Обучение модели обнаружения аномалий
— Обучение модели кластеризации
— Обучение модели
— Обучение модели PyTorch
— Обучение рекомендателя SVD
— Обучение рекомендателя широкого и глубокого обучения
— Настройка гиперпараметров модели
Машинное обучение — оценка — Применение преобразования
— Назначение данных для кластеров
— Оценка рекомендателя Matchbox
— Оценка модели
— Применение преобразования
— Назначение данных для кластеров
— Оценка модели изображений
— Оценка модели
— Оценка рекомендателя SVD
— Оценка рекомендателя широкого и глубокого обучения
Модули библиотеки OpenCV — Импорт изображений
— Предварительно заданная каскадная классификация изображений
Модули языка Python — Выполнение скриптов Python — Выполнение скрипта на Python
— Создание модели на Python
Модули языка R — Выполнение скрипта на R
— Создание модели на R
— Выполнение скриптов R
Статистические функции — Применение математических операций
— Вычисление простейшей статистики
— Вычисление линейной корреляции
— Оценка функции вероятности
— Замена дискретных значений
— Создание сводных данных
— Проверка гипотез с помощью Т-теста
— Применение математических операций
— Создание сводных данных
Анализ текста — Обнаружение языков
— Извлечение ключевых фраз из текста
— Извлечение элементов N-Gram из текста
— Хэширование элементов
— Скрытое выделение ресурсов Дирихле
— Распознавание именованных сущностей
— Предварительная обработка текста
— Оценка модели Vowpal Wabbit версии 7-10
— Оценка модели Vowpal Wabbit версии 8
— Обучение модели Vowpal Wabbit версии 7-10
— Обучение модели Vowpal Wabbit версии 8
— Преобразование слова в векторы
— Извлечение элементов N-Gram из текста
— Хэширование элементов
— Скрытое выделение ресурсов Дирихле
— Предварительная обработка текста
— Оценка модели Vowpal Wabbit
— Обучение модели Vowpal Wabbit
Временной ряд — Обнаружение аномалий во временных рядах
Веб-служба — Входные данные
— Выходные данные
— Входные данные
— Выходные данные
Компьютерное зрение — Применение преобразования изображений
—Преобразование в каталог изображений
— Инициализация преобразования изображений
— Разделение каталога изображений
— Классификация изображений DenseNet
— Классификация изображений ResNet

Дополнительные сведения об использовании отдельных компонентов конструктора см. в Справочнике по компонентам конструктора.

Что делать, если компонент конструктора отсутствует?

Конструктор Машинного обучения Azure содержит самые популярные модули из Студии (классической). Он также предоставляет новые модули, в которых реализованы новейшие методы машинного обучения.

Если миграция заблокирована из-за отсутствия модулей в конструкторе, свяжитесь с нами, создав запрос в службу поддержки.

Пример миграции

В следующем эксперименте миграции рассматриваются некоторые различия между Студией (классической) и Машинным обучением Azure.

Наборы данных

В Студии (классической) наборы данных сохранялись в рабочей области и могли использоваться только в самой Студии (классической).

automobile-price-classic-dataset

В Машинном обучении Azure наборы данных регистрируются в рабочей области и могут использоваться во всей среде Машинного обучения Azure. Дополнительные сведения о преимуществах наборов данных Машинного обучения Azure см. в статье о защите доступа к данным.

Конвейер

В Студии (классической) эксперименты содержали логику обработки для вашей работы. Вы создавали эксперименты с помощью перетаскивания модулей.

automobile-price-classic-experiment

В Машинном обучении Azure конвейеры содержат логику обработки для вашей работы. Вы можете создавать конвейеры с помощью модулей перетаскивания или путем написания кода.

automobile-price-aml-pipeline

Конечная точка веб-службы

В Студии (классической версии) использовался API запросов и ответов для прогнозирования в реальном времени и API пакетного выполнения для пакетного прогнозирования или переобучения.

automobile-price-classic-webservice

Машинное обучение Azure использует конечные точки для прогнозирования в реальном времени (управляемые конечные точки) для прогнозирования в реальном времени и конечные точки конвейера для пакетного прогнозирования или переобучения.

automobile-price-aml-endpoint

Дальнейшие действия

В этой статье вы узнали о высокоуровневых требованиях к переходу на Машинное обучение Azure. Подробные инструкции см. в других статьях, посвященных миграции со Студии (классической).

  1. Общие сведения о переносе.
  2. Перенос набора данных.
  3. Перестроение конвейера обучения Студии (классической).
  4. Перестроение веб-службы в классической версии студии
  5. Интеграция веб-службы машинного обучения Azure с клиентскими приложениями
  6. Перенос модуля выполнения скрипта R

Ознакомьтесь с разделом Azure Machine Learning Adoption Framework (Платформа для внедрения Машинного обучения Azure), чтобы изучить дополнительные материалы по миграции.