Справочник по алгоритмам и компонентам для конструктора Машинное обучение Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

Примечание.

Конструктор поддерживает два типа компонентов, классические предварительно созданные компоненты и пользовательские компоненты. Эти два типа компонентов несовместимы.

Классические предварительно созданные компоненты предоставляют предварительно созданные компоненты для обработки данных и традиционных задач машинного обучения, таких как регрессия и классификация. Этот тип компонента по-прежнему поддерживается, но новые компоненты добавляться не будут.

Пользовательские компоненты позволяют предоставлять собственный код в качестве компонента. При этом поддерживается совместное использование рабочих областей и удобная разработка в интерфейсах Studio, CLI и пакетов SDK.

Эта статья относится к классическим предварительно созданным компонентам.

Это справочное содержимое предоставляет технический фон для каждого из классических предварительно созданных компонентов, доступных в конструкторе Машинное обучение Azure.

Каждый компонент представляет собой набор кода, который может работать независимо и выполнять задачу машинного обучения с учетом требуемых входных данных. Компонент может содержать определенный алгоритм или выполнять задачу, важную для машинного обучения, например, замена отсутствующего значения или статистический анализ.

Справку по выбору алгоритмов см. в следующих статьях:

Совет

В любом конвейере в конструкторе можно получить сведения о конкретном компоненте. Щелкните ссылку Learn more (Подробнее) в карточке компонента, наведя указатель мыши на компонент в списке компонентов, или на правой панели компонента.

Компоненты подготовки данных

Функциональность Description component
Входные и выходные данные Перемещение данных из облачных источников в конвейер. Запишите результаты или промежуточные данные в службу хранилища Azure, или базу данных SQL во время выполнения конвейера или используйте облачное хранилище для обмена данными между конвейерами. Ввод данных вручную
Экспорт данных
Импорт данных
Преобразование данных Операции с данными, которые являются уникальными для машинного обучения, такие как нормализация или группирование данных, сокращение размерности и преобразование данных между разными форматами файлов. Добавление столбцов
Добавление строк
Применение математической операции
Применение преобразования SQL
Очистка недостающих данных
Обрезка значений
Преобразование в CSV-файл
Преобразование в набор данных
Преобразование в значения индикатора
Изменение метаданных
Группирование данных в ячейки
Объединение данных
Нормализация данных
Секционирование и выборка
Удаление дублирующихся строк
SMOTE
Преобразование "Выбор столбцов"
Выбор столбцов в наборе данных
Split Data (Разделение данных);
в тексте и на изображениях Выбор важных и полезных функций для построения аналитической модели. Выбор признаков с помощью фильтра
Значение функции перестановки
Статистические функции Широкий спектр статистических методов, относящихся к обработке и анализу данных. Сведение данных

Алгоритмы машинного обучения

Функциональность Description component
Регрессия Прогнозирование значения. Регрессия с помощью увеличивающегося дерева принятия решений
Регрессия с использованием модели леса принятия решений
Быстрая регрессия леса
Линейная регрессия
Регрессия нейронной сети
Регрессия Poisson
Кластеризация Группирование данных. Кластеризация методом K-средних
Классификация Прогнозирование класса. Выбор одного из двоичных (для двух классов) или мультиклассовых алгоритмов. Мультиклассовое увеличивающееся дерево принятия решений
Мультиклассовый лес принятия решений
Мультиклассовая регрессионная логистическая модель
Мультиклассовая нейронная сеть
Один и все многоклассовые
Один и один мультикласс
Двухклассовое усредненное восприятие
Two-Class Boosted Decision Tree (Двухклассовое увеличивающееся дерево принятия решений);
Двухклассовый лес принятия решений
Двухклассовая регрессионная логистическая модель
Двухклассовая нейронная сеть
Двухклассовый метод опорных векторов

Компоненты для создания и оценки моделей

Функциональность Description component
Обучение модели Обработка данных с помощью алгоритма. Обучение модели кластеризации
Train Model (Обучение модели);
Обучение модели PyTorch
Настройка гиперпараметров модели
Анализ и оценка модели Измерение точности обученной модели. Применение преобразования
Назначение данных в кластеры
Перекрестная проверка модели
Анализ модели
Оценка модели изображений
Оценка модели
Язык Python Внедрение кода в компонент для интеграции Python с вашим конвейером. Создание модели Python
Выполнение скриптов Python
Язык R Внедрение кода в компонент для интеграции R с вашим конвейером. Выполнение скрипта R
Анализ текста Специализированные вычислительные средства для работы со структурированным и неструктурированным текстом. Преобразование слов в векторы
Извлечение N-грамм из текста
Хэширование признаков
Предварительная обработка текста
Латентное распределение Дирихле (LDA)
Оценка модели Vowpal Wabbit
Обучение модели Vowpal Wabbit
Компьютерное зрение Компоненты, связанные с предварительной обработкой данных и распознаванием изображений. Применение преобразования изображений
Преобразование в каталог изображений
Преобразование изображения init
Разделенный каталог изображений
DenseNet
ResNet
Рекомендация Построение моделей рекомендаций. Оценка рекомендателя
Оценка рекомендателя SVD
Оценка широких и глубоких рекомендаций
Обучение рекомендателя SVD
Обучение широкой и глубокой рекомендации
Обнаружение аномалий Построение моделей обнаружения аномалий. Обнаружение аномалий на основе анализа первичных компонентов
Обучение модели обнаружения аномалий

Веб-служба

Ознакомьтесь со сведениями о компонентах веб-служб, необходимых для вывода в реальном времени в конструкторе Машинного обучения Azure.

Сообщения об ошибках

Прочитайте о сообщениях об ошибках и кодах исключений, которые могут возникнуть при использовании компонентов в конструкторе Машинного обучения Azure.

Среда компонентов

Все встроенные компоненты в конструкторе будут выполняться в фиксированной среде, предоставляемой корпорацией Майкрософт.

Ранее эта среда была основана на Python 3.6, а теперь она обновлена до Python 3.8. Это обновление является прозрачным, так как компоненты будут автоматически выполняться в среде Python 3.8, и для этого не требуется никаких действий. Обновление среды может повлиять на выходные данные компонентов и развертывание конечной точки в режиме реального времени из вывода в режиме реального времени, см. в следующих разделах, чтобы узнать больше.

Выходные данные компонентов отличаются от предыдущих результатов

После обновления версии Python с версии 3.6 до 3.8 также могут быть обновлены зависимости встроенных компонентов. Поэтому некоторые выходные данные компонентов отличаются от предыдущих результатов.

Если вы используете компонент скрипта Python и ранее установили пакеты, привязанные к Python 3.6, могут возникнуть такие ошибки:

  • "Не удалось найти версию, удовлетворяющую требованию".
  • "Не найдено соответствующего распределения". Затем необходимо указать версию пакета, адаптированную к Python 3.8, и снова запустить конвейер.

Развертывание конечной точки в режиме реального времени из проблемы конвейера вывода в режиме реального времени

Если вы напрямую развертываете конечную точку реального времени из предыдущего завершенного конвейера вывода в режиме реального времени, это может привести к ошибкам.

Рекомендация. Клонируйте конвейер вывода и отправьте его еще раз, а затем развернитесь в конечную точку в режиме реального времени.

Следующие шаги