Épisode
LSTM par phases : accélération de l’entraînement réseau récurrent pour les séquences longues ou basées sur des événements
par Daniel Niel
Les réseaux neuronaux récurrents (RNN) sont devenus le choix de pointe pour extraire des modèles à partir de séquences temporelles. Les modèles RNN actuels sont mal adaptés au traitement des données échantillonnée irrégulièrement déclenchées par des événements générés en temps continu par des capteurs ou d’autres neurones. Ces données peuvent se produire, par exemple, lorsque l’entrée provient de capteurs artificiels basés sur des événements nouveaux qui génèrent des flux d’événements épars, des flux asynchrones d’événements ou de plusieurs capteurs conventionnels avec des intervalles de mise à jour différents. Dans ce travail, nous introduisons le modèle LSTM par phases, qui étend l’unité LSTM en ajoutant une nouvelle porte de temps. Cette porte est contrôlée par une oscillation paramétrable avec une plage de fréquences qui nécessite des mises à jour de la cellule mémoire uniquement pendant un petit pourcentage du cycle. Même avec les mises à jour éparses imposées par l’oscillation, le réseau LSTM par phases atteint une convergence plus rapide que les LSTM standard sur les tâches qui nécessitent l’apprentissage de séquences longues. Le modèle intègre naturellement des entrées provenant de capteurs de taux d’échantillonnage arbitraires, ouvrant ainsi de nouveaux domaines d’investigation pour le traitement des événements sensorielles asynchrones qui contiennent des informations de minutage. Il améliore également considérablement les performances des LSTM dans les applications RNN standard et le fait avec un ordre de grandeur moins élevé de calculs.
Les réseaux neuronaux récurrents (RNN) sont devenus le choix de pointe pour extraire des modèles à partir de séquences temporelles. Les modèles RNN actuels sont mal adaptés au traitement des données échantillonnée irrégulièrement déclenchées par des événements générés en temps continu par des capteurs ou d’autres neurones. Ces données peuvent se produire, par exemple, lorsque l’entrée provient de capteurs artificiels basés sur des événements nouveaux qui génèrent des flux d’événements épars, des flux asynchrones d’événements ou de plusieurs capteurs conventionnels avec des intervalles de mise à jour différents. Dans ce travail, nous introduisons le modèle LSTM par phases, qui étend l’unité LSTM en ajoutant une nouvelle porte de temps. Cette porte est contrôlée par une oscillation paramétrable avec une plage de fréquences qui nécessite des mises à jour de la cellule mémoire uniquement pendant un petit pourcentage du cycle. Même avec les mises à jour éparses imposées par l’oscillation, le réseau LSTM par phases atteint une convergence plus rapide que les LSTM standard sur les tâches qui nécessitent l’apprentissage de séquences longues. Le modèle intègre naturellement des entrées provenant de capteurs de taux d’échantillonnage arbitraires, ouvrant ainsi de nouveaux domaines d’investigation pour le traitement des événements sensorielles asynchrones qui contiennent des informations de minutage. Il améliore également considérablement les performances des LSTM dans les applications RNN standard et le fait avec un ordre de grandeur moins élevé de calculs.
Vous voulez donner votre avis ? Soumettez un problème ici.