Серия
Поэтапное обучение LSTM: ускорение периодического обучения сети для длительных или событийных последовательностей
на Daniel Niel
Повторяющиеся нейронные сети (RNN) стали самым подходящим вариантом для извлечения шаблонов из темпоральных последовательностей. Текущие модели RNN плохо подходят для обработки нерегулярных выборочных данных, вызванных событиями, созданными в непрерывное время датчиками или другими нейронами. Такие данные могут возникать, например, когда входные данные приходят от новых искусственных датчиков на основе событий, которые создают разреженные, асинхронные потоки событий или из нескольких обычных датчиков с разными интервалами обновления. В этой работе мы представляем модель поэтапного LSTM, которая расширяет единицу LSTM путем добавления нового шлюза времени. Этот шлюз управляется параметризованным колебаниям с диапазоном частоты, для которого требуются обновления ячейки памяти только в течение небольшого процента цикла. Даже при разреженных обновлениях, введенных колебаниями, поэтапная сеть LSTM достигает более быстрой конвергенции, чем обычные LSTM для задач, требующих обучения длинных последовательностей. Модель естественно интегрирует входные данные от датчиков произвольных частот выборки, тем самым открывая новые области исследования для обработки асинхронных событий датчика, которые несут сведения о времени. Это также значительно повышает производительность LSTMs в стандартных приложениях RNN и делает это с порядком меньше вычислений.
Повторяющиеся нейронные сети (RNN) стали самым подходящим вариантом для извлечения шаблонов из темпоральных последовательностей. Текущие модели RNN плохо подходят для обработки нерегулярных выборочных данных, вызванных событиями, созданными в непрерывное время датчиками или другими нейронами. Такие данные могут возникать, например, когда входные данные приходят от новых искусственных датчиков на основе событий, которые создают разреженные, асинхронные потоки событий или из нескольких обычных датчиков с разными интервалами обновления. В этой работе мы представляем модель поэтапного LSTM, которая расширяет единицу LSTM путем добавления нового шлюза времени. Этот шлюз управляется параметризованным колебаниям с диапазоном частоты, для которого требуются обновления ячейки памяти только в течение небольшого процента цикла. Даже при разреженных обновлениях, введенных колебаниями, поэтапная сеть LSTM достигает более быстрой конвергенции, чем обычные LSTM для задач, требующих обучения длинных последовательностей. Модель естественно интегрирует входные данные от датчиков произвольных частот выборки, тем самым открывая новые области исследования для обработки асинхронных событий датчика, которые несут сведения о времени. Это также значительно повышает производительность LSTMs в стандартных приложениях RNN и делает это с порядком меньше вычислений.
Хотите оставить отзыв? Сообщить о проблеме можно здесь.