Оценка и сравнение моделей

  • 3 мин

После завершения эксперимента автоматического машинного обучения (AutoML) необходимо просмотреть модели, которые были обучены, и решить, какой из них лучше всего выполнить.

В Студия машинного обучения Azure можно выбрать эксперимент AutoML, чтобы изучить его сведения.

На странице обзора запуска эксперимента AutoML можно просмотреть входной ресурс данных и сводку по оптимальной модели. Чтобы изучить все обученные модели, перейдите на вкладку "Модели" :

Снимок экрана: вкладка моделей в эксперименте автоматизированного машинного обучения, выполняемая в Студия машинного обучения Azure.

Изучение шагов предварительной обработки

Если вы включили признаки для эксперимента AutoML, защита данных будет применена автоматически. Ниже приведены три средства защиты данных, поддерживаемые для моделей классификации:

  • Обнаружение балансировки классов.
  • Отсутствующие значения признаков вменяют.
  • Обнаружение функций высокой карта inality.

Каждая из этих охранников данных будет отображать одно из трех возможных состояний:

  • Передано: проблемы не обнаружены, и никаких действий не требуется.
  • Готово. Изменения были применены к данным. Вы должны просмотреть изменения, внесенные в данные AutoML.
  • Оповещение: обнаружена проблема, но не удалось исправить. Чтобы устранить проблему, необходимо просмотреть данные.

Рядом с средствами защиты данных AutoML может применять методы масштабирования и нормализации для каждой модели, обученной. Вы можете просмотреть метод, применяемый в списке моделей под именем алгоритма.

Например, имя алгоритма указанной модели может быть MaxAbsScaler, LightGBM. MaxAbsScaler относится к методу масштабирования, где каждая функция масштабируется по максимальному абсолютному значению. LightGBM относится к алгоритму классификации, используемому для обучения модели.

Получение лучшего запуска и соответствующей модели

При просмотре моделей в AutoML можно легко определить наиболее подходящий запуск на основе указанной метрики. В Студия машинного обучения Azure модели автоматически отсортированы, чтобы отобразить наиболее подходящую модель в верхней части.

На вкладке "Модели" эксперимента AutoML можно изменить столбцы , если вы хотите отобразить другие метрики в том же обзоре. Создавая более подробный обзор, включающий различные метрики, можно упростить сравнение моделей.

Для дальнейшего изучения модели можно создать объяснения для каждой обученной модели. При настройке эксперимента AutoML можно указать, что объяснения должны создаваться для оптимальной модели. Однако если вы заинтересованы в интерпретации другой модели, вы можете выбрать модель в обзоре и выбрать модель "Объяснить".

Примечание.

Объяснение модели — это приближение к интерпретируемости модели. В частности, объяснения оценивают относительную важность функций целевой функции (то, что модель обучена для прогнозирования). Дополнительные сведения о интерпретируемости модели.

Совет

Узнайте больше о том, как оценить запуски AutoML.