Episodio
LSTM por fases: aceleración del entrenamiento de red recurrente para secuencias largas o basadas en eventos
con Daniel Niel
Las redes neuronales recurrentes (RNN) se han convertido en la opción de última generación para extraer patrones de secuencias temporales. Los modelos de RNN actuales son incorrectos para procesar datos muestreados irregularmente desencadenados por eventos generados en tiempo continuo por sensores u otras neuronas. Estos datos pueden producirse, por ejemplo, cuando la entrada procede de nuevos sensores artificiales controlados por eventos que generan flujos dispersos y asincrónicos de eventos o desde varios sensores convencionales con diferentes intervalos de actualización. En este trabajo, presentamos el modelo LSTM por fases, que amplía la unidad LSTM agregando una nueva puerta de tiempo. Esta puerta se controla mediante una oscilación parametrizada con un intervalo de frecuencia que requiere actualizaciones de la celda de memoria solo durante un pequeño porcentaje del ciclo. Incluso con las actualizaciones dispersas impuestas por la oscilación, la red LSTM phased logra una convergencia más rápida que los LSTM normales en las tareas que requieren el aprendizaje de secuencias largas. El modelo integra naturalmente las entradas de los sensores de velocidades de muestreo arbitrarias, abriendo así nuevas áreas de investigación para procesar eventos sensoriales asincrónicos que llevan información de tiempo. También mejora considerablemente el rendimiento de los LSTM en aplicaciones RNN estándar y lo hace con un orden de magnitud menor de los procesos.
Las redes neuronales recurrentes (RNN) se han convertido en la opción de última generación para extraer patrones de secuencias temporales. Los modelos de RNN actuales son incorrectos para procesar datos muestreados irregularmente desencadenados por eventos generados en tiempo continuo por sensores u otras neuronas. Estos datos pueden producirse, por ejemplo, cuando la entrada procede de nuevos sensores artificiales controlados por eventos que generan flujos dispersos y asincrónicos de eventos o desde varios sensores convencionales con diferentes intervalos de actualización. En este trabajo, presentamos el modelo LSTM por fases, que amplía la unidad LSTM agregando una nueva puerta de tiempo. Esta puerta se controla mediante una oscilación parametrizada con un intervalo de frecuencia que requiere actualizaciones de la celda de memoria solo durante un pequeño porcentaje del ciclo. Incluso con las actualizaciones dispersas impuestas por la oscilación, la red LSTM phased logra una convergencia más rápida que los LSTM normales en las tareas que requieren el aprendizaje de secuencias largas. El modelo integra naturalmente las entradas de los sensores de velocidades de muestreo arbitrarias, abriendo así nuevas áreas de investigación para procesar eventos sensoriales asincrónicos que llevan información de tiempo. También mejora considerablemente el rendimiento de los LSTM en aplicaciones RNN estándar y lo hace con un orden de magnitud menor de los procesos.
¿Quiere hacer algún comentario? Comunique un problema aquí.