Вывод и оценка моделей прогнозирования (предварительная версия)

Внимание

Эта функция сейчас доступна в виде общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания. Ее не следует использовать для производственных рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены.

Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

В этой статье рассматриваются понятия, связанные с выводом модели и оценкой в задачах прогнозирования. Инструкции и примеры для обучения моделей прогнозирования в AutoML можно найти в нашей статье по настройке AutoML для прогнозирования временных рядов .

После того как вы использовали AutoML для обучения и выбора оптимальной модели, следующий шаг — создать прогнозы, а затем, если это возможно, чтобы оценить их точность в тестовом наборе, проведенном из обучающих данных. Сведения о настройке и запуске оценки модели прогнозирования в автоматизированном машинном обучении см. в руководстве по выводу и оценке компонентов.

Сценарии вывода

В машинном обучении вывод — это процесс создания прогнозов модели для новых данных, не используемых в обучении. Существует несколько способов создания прогнозов в прогнозировании из-за зависимости времени от данных. Самый простой сценарий заключается в том, что период вывода сразу же следует за периодом обучения, и мы создадим прогнозы на горизонт прогноза. Этот вариант сценария показан на схеме ниже.

На схеме показаны два важных параметра вывода:

• Длина контекста или объем журнала, который требуется для создания прогноза,
• Горизонт прогноза, насколько далеко впереди прогнозировщик обучен прогнозировать.

Модели прогнозирования обычно используют некоторые исторические сведения, контекст, чтобы прогнозы заранее до горизонта прогнозирования. Если контекст является частью обучающих данных, AutoML сохраняет необходимые прогнозы, поэтому нет необходимости явно предоставлять его.

Существует два других сценария вывода, которые более сложны:

• Создание прогнозов дальше в будущее, чем горизонт прогнозирования,
• Получение прогнозов при наличии пробела между периодами обучения и вывода.

Мы рассмотрим эти случаи в следующих подразделах.

Прогнозирование мимо горизонта прогнозирования: рекурсивное прогнозирование

Если вам нужны прогнозы за горизонтом, AutoML применяет модель рекурсивно за период вывода. Это означает, что прогнозы из модели возвращаются в качестве входных данных для создания прогнозов для последующих окон прогнозирования. На следующей схеме показан простой пример:

Здесь мы создадим прогнозы на период в три раза длину горизонта с помощью прогнозов из одного окна в качестве контекста для следующего окна.

Предупреждение

Рекурсивное прогнозирование ошибок моделирования соединений, поэтому прогнозы становятся менее точными, чем дальше они находятся от исходного горизонта прогнозирования. Вы можете найти более точную модель, переученную с более длинным горизонтом в этом случае.

Прогнозирование с разрывом между периодами обучения и вывода

Предположим, что вы обучили модель в прошлом и хотите использовать ее для прогнозирования из новых наблюдений, которые еще не были доступны во время обучения. В этом случае между периодами обучения и вывода существует интервал времени:

AutoML поддерживает этот сценарий вывода, но необходимо предоставить данные контекста в период пробела, как показано на схеме. Данные прогнозирования, передаваемые компоненту вывода, нуждаются в значениях для функций и наблюдаемых целевых значений в разрыве и отсутствующих значениях или "NaN" для целевого объекта в период вывода. В следующей таблице показан пример этого шаблона:

Здесь известные значения целевого объекта и функций предоставляются для 2023-05-01–2023-05-03. Отсутствующие целевые значения, начиная с 2023-05-04, указывают на то, что период вывода начинается с этой даты.

AutoML использует новые данные контекста для обновления задержки и других функций обратного просмотра, а также для обновления моделей, таких как ARIMA, которые сохраняют внутреннее состояние. Эта операция не обновляет или не изменяет параметры модели.

Оценка модели

Оценка — это процесс создания прогнозов на тестовом наборе, удерживаемом на основе обучающих данных и вычислительных метрик из этих прогнозов, которые направляют решения по развертыванию модели. Соответственно, существует режим вывода, подходящий для оценки модели - скользящий прогноз. Мы рассмотрим его в следующем подразделе.

Скользящий прогноз

Рекомендуемая процедура оценки модели прогнозирования заключается в переадресации обученного прогнозировщика вовремя по набору тестов, усреднению метрик ошибок в нескольких окнах прогнозирования. Эта процедура иногда называется обратным тестом в зависимости от контекста. В идеале набор тестов для оценки длинен относительно горизонта прогноза модели. Оценки ошибки прогнозирования могут быть статистически шумными и, следовательно, менее надежными.

На следующей схеме показан простой пример с тремя окнами прогнозирования:

На схеме показаны три скользящей оценки:

• Длина контекста или объем журнала, который требуется для создания прогноза,
• Горизонт прогноза, насколько далеко впереди прогнозировщик обучен прогнозировать,
• Размер шага, насколько далеко вперед во время скользящего окна перемещается по каждой итерации в тестовом наборе.

Важно отметить, что контекст перемещается вместе с окном прогнозирования. Это означает, что фактические значения из тестового набора используются для прогнозирования, когда они попадают в текущее окно контекста. Последняя дата фактических значений, используемых для заданного окна прогноза, называется временем источника окна. В следующей таблице показан пример выходных данных из трех оконного прогноза с горизонтом трех дней и размером шага в один день:

С помощью такой таблицы можно визуализировать прогнозы и фактические и вычисляемые метрики оценки. Конвейеры AutoML могут создавать скользящие прогнозы для тестового набора с компонентом вывода.

Примечание.

Если период тестирования совпадает с горизонтом прогнозирования, то в последовательном прогнозе есть одно окно прогнозов до горизонта.

Метрики оценки

Выбор сводки оценки или метрики обычно зависит от конкретного бизнес-сценария. Ниже приведены некоторые распространенные варианты.

• Графики наблюдаемых целевых значений и прогнозируемых значений, чтобы убедиться, что определенные динамические данные фиксируются моделью,
• MAPE (средняя абсолютная процентная ошибка) между фактическими и прогнозируемыми значениями,
• RMSE (корень среднеквадратической ошибки), возможно, с нормализацией между фактическими и прогнозируемыми значениями,
• MAE (средняя абсолютная ошибка), возможно, с нормализацией между фактическими и прогнозируемыми значениями.

Существует множество других возможностей в зависимости от бизнес-сценария. Возможно, потребуется создать собственные служебные программы после обработки для вычислений метрик оценки из результатов вывода или скользящего прогноза. Дополнительные сведения о метриках см. в разделе о регрессии и прогнозировании метрик.

Следующие шаги

• Узнайте больше о настройке AutoML для обучения модели прогнозирования временных рядов.
• Узнайте, как AutoML использует машинное обучение для создания моделей прогнозирования.
• Ознакомьтесь с ответами на часто задаваемые вопросы о прогнозировании в AutoML.