Оценка эффективности модели в Студии машинного обучения (классическая)

ОБЛАСТЬ ПРИМЕНЕНИЯ: применимо к:. Студия машинного обучения (классическая версия) не применяется к. Машинное обучение Azure

Внимание

Поддержка Студии машинного обучения (классической) будет прекращена 31 августа 2024 г. Мы рекомендуем перейти на Машинное обучение Azure по этой дате.

Начиная с 1 декабря 2021 года вы не сможете создавать новые ресурсы Студии машинного обучения (классической). Существующие ресурсы Студии машинного обучения (классической) можно будет использовать до 31 августа 2024 г.

См. сведения о перемещении проектов машинного обучения из Студии машинного обучения (классической) в Машинное обучение Azure.
Дополнительные сведения об машинном обучении Azure

Прекращается поддержка документации по Студии машинного обучения (классической). В будущем она может не обновляться.

В этой статье описываются метрики, которые можно использовать для мониторинга эффективности моделей в Студии машинного обучения (классическая). Оценка эффективности модели является одним из основных этапов процесса обработки и анализа данных. Она показывает, насколько успешно обученная модель обрабатывает (прогнозирует) набор данных. Оценка модели в Студии машинного обучения (классическая) базируется на двух основных модулях машинного обучения:

Эти модули позволяют видеть эффективность модели в пересчете на различные показатели, обычно используемые в машинном обучении и статистике.

Оценку моделей следует рассматривать наряду со следующими аспектами:

Доступны три стандартных сценария управляемого обучения:

регрессия
двоичная классификация;
классификация по нескольким классам.

Сравнение оценки и перекрестной проверки

Оценка и перекрестная проверка — это стандартные способы для измерения эффективности модели. Оба модуля генерируют показатели оценки, которые вы можете проверить или сравнить с показателями других моделей.

Оценка модели требует набор данных с оценками в качестве входных данных (или два, если вы хотите сравнить производительность двух разных моделей). Поэтому необходимо обучить модель с помощью модуля "Обучение модели " и сделать прогнозы по некоторым наборам данных с помощью модуля "Оценка модели ", прежде чем вы сможете оценить результаты. Оценка основана на оцененных метках и вероятностях вместе с истинными метками, все из которых выводятся модулем Оценка модели.

Кроме того, вы можете использовать перекрестную проверку, чтобы автоматически выполнить ряд операций "обучить-подсчитать-оценить" (10 сборок) для различных подмножеств входных данных. Входные данные делятся на 10 частей: одна резервируется для тестирования, а остальные 9 — для обучения. Этот процесс повторяется 10 раз, затем из показателей оценки выводится средняя величина. Эта процедура позволяет определить, насколько хорошо модель будет обобщаться на новых наборах данных. Модуль кросс-проверки модели принимает необученную модель и некоторый размеченный набор данных и выводит результаты оценки для каждого из 10 фолдов, а также усредненные результаты.

В следующих разделах мы создадим простые модели регрессии и классификации и оцените их производительность с помощью модулей оценки модели и кросс-проверки модели .

Оценка модели регрессии

Пусть стоит задача предсказать цену автомобиля, используя такие параметры, как размеры, мощность, характеристики двигателя и т. д. Это типичная проблема регрессии, где целевая переменная (цена) является непрерывным числовым значением. Можно подобрать простую модель линейной регрессии, которая позволит спрогнозировать цену автомобиля на основании значений его параметров. Эту модель регрессии можно использовать для подсчета того же набора данных, который использовался для обучения. Имея прогноз цен на все автомобили, мы сможем оценить эффективность модели. Для этого мы сравним, насколько прогнозы отличаются в среднем от фактических цен. Чтобы проиллюстрировать это, мы используем набор данных о ценах на автомобили (необработанный), доступный в разделе "Сохраненные наборы данных " в Студии машинного обучения (классическая модель).

Создание эксперимента

Добавьте следующие модули в рабочую область Студии машинного обучения (классическая):

Данные о ценах на автомобили (необработанные)
Линейная регрессия
Обучение модели
Оценка модели
Оценка модели

Подключите порты, как показано на рисунке 1, и задайте для столбца Label модуля модели обученияцену.

Оценка модели регрессии

Рисунок 1. Оценка модели регрессии.

Проверка результатов оценки

После выполнения эксперимента можно щелкнуть выходной порт модуля "Оценка модели " и выбрать визуализацию , чтобы просмотреть результаты оценки. Метрики оценки, доступные для моделей регрессии: средняя абсолютная ошибка, корневая средняя абсолютная ошибка, относительная абсолютная ошибка, относительнаяквадратная ошибка и коэффициент определения.

Термин "ошибка" здесь означает разницу между прогнозируемым значением и истинным значением. Абсолютное значение или квадрат этой разницы обычно вычисляется, чтобы зафиксировать абсолютную величину ошибки во всех экземплярах, так как разница между прогнозируемым и истинным значением иногда может быть отрицательным числом. Показатели ошибки измеряют прогнозируемую эффективность модели регрессии с точки зрения среднего отклонения ее прогнозов от истинных значений. Чем ниже значения ошибок, тем более точно модель прогнозирует. Общий показатель ошибок 0 означает, что модель идеально подбирает данные.

Для определения способности модели подбирать данные также часто используется коэффициент детерминации, который также известен как R-квадрат. Его можно интерпретировать как пропорцию отклонений, которые объясняются моделью. В этом случае чем выше пропорция, тем лучше. Значение 1 означает идеальное совпадение.

Метрики оценки линейной регрессии

Рисунок 2. Показатели оценки линейной регрессии.

Использование перекрестной проверки

Как упоминалось ранее, вы можете автоматически выполнять повторную подготовку, оценивание и анализ с помощью модуля кросс-проверки модели. В этом случае вам нужен набор данных, необученная модель и модуль перекрестной проверки модели (см. рисунок ниже). Необходимо установить столбец метки на цену в свойствах модуля Перекрестная проверка модели.

Перекрестная проверка модели регрессии

Рисунок 3. Перекрестная проверка модели регрессии.

После выполнения эксперимента можно проверить результаты оценки, щелкнув правый порт вывода модуля перекрестной проверки модели . Вы увидите подробное представление показателей для каждой итерации (сборки) и усредненные результаты каждого из показателей (рис. 4).

Результаты перекрестной проверки модели регрессии

Рисунок 4. 4 Результаты перекрестной проверки модели регрессии.

Оценка модели двоичной классификации

При использовании двоичной классификации целевая переменная имеет только два возможных результата (например, {0, 1} или {ложь, истина}, {отрицательный, положительный}). Предположим, вы получили набор данных о работниках с некоторыми демографическими переменными и переменными их занятости. Вас просят предсказать уровень их доходов. Результат нужно выразить в виде двоичной переменной со значениями {"<=50 000", ">50 000"}. Иными словами, отрицательный класс представляет работников, которые зарабатывают меньше 50 000 в год, а положительный класс представляет всех остальных работников. Как и в сценарии с регрессией, мы должны обучить модель, посчитать некоторые данные и оценивать результаты. Основное отличие этого сценария — выбор метрик, которые вычисляет и выводит Студия машинного обучения (классическая). Чтобы проиллюстрировать сценарий прогнозирования уровня дохода, мы будем использовать набор данных Adult для создания эксперимента в Студии (классической) и оценки производительности модели двухклассовой логистической регрессии, которая часто используется как двоичный классификатор.