Машинное обучение — оценка

  • Статья

Важно!

Поддержка Студии машинного обучения (классической) будет прекращена 31 августа 2024 г. До этой даты рекомендуется перейти на Машинное обучение Azure.

Начиная с 1 декабря 2021 года вы не сможете создавать новые ресурсы Студии машинного обучения (классической). Существующие ресурсы Студии машинного обучения (классическая версия) можно будет использовать до 31 августа 2024 г.

Поддержка документации по ML Studio (классической) прекращается, а сама документация может не обновляться в будущем.

В этой статье описываются модули в Машинное обучение Studio (классическая модель), которые можно использовать для оценки модели машинного обучения. Оценка модели выполняется после завершения обучения для измерения точности прогнозов и оценки соответствия модели.

Примечание

Область применения: только Машинное обучение Studio (классическая версия)

Подобные модули перетаскивания доступны в конструкторе машинного обучения Azure.

В этой статье также описывается общий процесс в Машинное обучение Studio (классическая модель) для создания модели, обучения, оценки и оценки.

Создание и использование моделей машинного обучения в Машинное обучение Studio (классическая модель)

Типичный рабочий процесс машинного обучения включает следующие этапы:

  1. Выберите подходящий алгоритм и задайте начальные параметры.
  2. Обучить модель с помощью совместимых данных.
  3. Создавайте прогнозы с помощью новых данных, основанных на шаблонах в модели.
  4. Оцените модель, чтобы определить, являются ли прогнозы точными, количеством ошибок и происходит ли переподбор.

Машинное обучение Studio (классическая модель) поддерживает гибкую настраиваемую платформу для машинного обучения. Каждая задача в этом процессе выполняется определенным типом модуля. Модуль можно изменить, добавить или удалить без прерывания остальной части эксперимента.

Используйте модули в этой категории для оценки существующей модели. Для оценки модели обычно требуется какой-то результирующий набор данных. Если у вас нет набора данных оценки, можно создать результаты, оценивая. Вы также можете использовать тестовый набор данных или другой набор данных, содержащий "истину основания" или известные ожидаемые результаты.

Дополнительные сведения об оценке модели

Как правило, при оценке модели параметры зависят от типа модели, которую вы оцениваете, и метрику, которую вы хотите использовать. В этих разделах перечислены некоторые из наиболее часто используемых метрик:

Машинное обучение Studio (классическая модель) также предоставляет различные визуализации в зависимости от типа используемой модели и количества классов, прогнозируемых моделью. Справку по поиску этих визуализаций см. в разделе "Просмотр метрик оценки".

Интерпретация этих статистических данных часто требует более глубокого понимания конкретного алгоритма, на котором была обучена модель. Хорошее объяснение того, как оценить модель и как интерпретировать значения, возвращаемые для каждой меры, см. в статье "Как оценить производительность модели в Машинное обучение".

Список модулей

Категория оценки Машинное обучение включает следующие модули:

  • Перекрестная проверка модели: перекрестная проверка оценок параметров для моделей классификации или регрессии путем секционирования данных.

    Используйте модуль перекрестной проверки модели , если вы хотите проверить допустимость обучающего набора и модели. Перекрестная проверка секционирует данные в свертывания, а затем проверяет несколько моделей на сочетаниях сверток.

  • Оценка модели: оценивает оцененную модель классификации или регрессии с помощью стандартных метрик.

    В большинстве случаев вы будете использовать модуль универсальной оценки модели . Это особенно верно, если модель основана на одном из поддерживаемых алгоритмов классификации или регрессии.

  • Оценка рекомендаций: оценивает точность прогнозов модели рекомендаций.

    Для моделей рекомендаций используйте модуль Evaluate Recommender .

  • Для моделей кластеризации используйте модуль "Назначение данных кластерам ". Затем используйте визуализации в этом модуле, чтобы просмотреть результаты оценки.
  • Можно создать пользовательские метрики оценки. Чтобы создать пользовательские метрики оценки, укажите код R в модуле «Выполнение скрипта R» или Python код в модуле «Выполнение Python скрипта». Этот параметр удобно использовать, если вы хотите использовать метрики, опубликованные как часть библиотек с открытым кодом, или если вы хотите разработать собственную метрику для измерения точности модели.

Примеры

Интерпретация результатов оценки модели машинного обучения — это искусство. Он требует понимания математических результатов в дополнение к данным и бизнес-проблемам. Мы рекомендуем ознакомиться с этими статьями, чтобы понять, как интерпретировать результаты в различных сценариях:

Технические примечания

В этом разделе содержатся сведения о реализации, советы и ответы на часто задаваемые вопросы.

Просмотр метрик оценки

Узнайте, где искать диаграммы метрик для каждого типа модели в Машинное обучение Studio (классическая модель).

Модели двухклассовой классификации

Представление по умолчанию для моделей двоичной классификации включает интерактивную диаграмму ROC и таблицу значений для основных метрик.

An interactive ROC chart and a table of values for the principal metrics in binary classification models

Существует два варианта просмотра моделей двоичной классификации:

  • Щелкните правой кнопкой мыши выходные данные модуля и выберите пункт "Визуализировать".
  • Щелкните модуль правой кнопкой мыши, выберите результаты оценки и выберите "Визуализировать".

Ползунок также можно использовать для изменения порогового значения вероятности. Порог определяет, должен ли результат приниматься как истинный или нет. Затем вы увидите, как изменяются эти значения.

Многоклассовые модели классификации

Представление метрик по умолчанию для моделей многоклассовой классификации включает матрицу путаницы для всех классов и набор метрик для модели в целом.

Существует два варианта просмотра моделей многоклассовой классификации:

  • Щелкните правой кнопкой мыши выходные данные модуля и выберите пункт "Визуализировать".
  • Щелкните модуль правой кнопкой мыши, выберите результаты оценки и выберите "Визуализировать".

Для простоты ниже приведены два результата, которые отображаются рядом:

Metrics table and Confusion Matrix for multiclass classification models

Модели регрессии

Представление метрик для моделей регрессии зависит от типа созданной модели. Представление метрик основано на базовых интерфейсах алгоритмов и на основе наиболее подходящих для метрик модели.

Существует два варианта просмотра моделей регрессии:

  • Чтобы просмотреть метрики точности в таблице, щелкните правой кнопкой мыши выходные данные модуля оценки модели , а затем выберите "Визуализировать".
  • Чтобы просмотреть гистограмму ошибки со значениями, щелкните модуль правой кнопкой мыши, выберите результаты оценки и выберите "Визуализировать".

Error Histogram and Metrics table for linear regression models

Представление гистограммы ошибок поможет понять, как распределяется ошибка. Он предоставляется для следующих типов моделей и включает таблицу метрик по умолчанию, например корень среднеквадратической ошибки (RMSE).

Следующие модели регрессии создают таблицу метрик по умолчанию, а также некоторые пользовательские метрики:

Советы для работы с данными

Чтобы извлечь числа без копирования и вставки из пользовательского интерфейса Машинное обучение Studio (классическая модель), можно использовать новую библиотеку PowerShell для Машинное обучение. Вы можете получить метаданные и другие сведения для всего эксперимента или из отдельных модулей.

Чтобы извлечь значения из модуля оценки модели , необходимо добавить в модуль уникальный комментарий, чтобы упростить идентификацию. Затем используйте командлет Download-AmlExperimentNodeOutput , чтобы получить метрики и их значения из визуализации в формате JSON.

Дополнительные сведения см. в статье "Создание моделей машинного обучения с помощью PowerShell".

См. также раздел