Odcinek
Etapowe LSTM: przyspieszanie cyklicznego trenowania sieci dla długich lub opartych na zdarzeniach sekwencji
with Daniel Niel
Recurrent Neural Networks (RNN) stały się najnowocześniejsze rozwiązanie do wyodrębniania wzorców z sekwencji czasowych. Bieżące modele sieci RNN są źle dostosowane do przetwarzania nieregularnie próbkowanych danych wyzwalanych przez zdarzenia generowane w czasie ciągłym przez czujniki lub inne neurony. Takie dane mogą wystąpić, na przykład, gdy dane wejściowe pochodzą z nowatorskich sztucznych czujników opartych na zdarzeniach, które generują rozrzedzony, asynchroniczne strumienie zdarzeń lub z wielu konwencjonalnych czujników z różnymi interwałami aktualizacji. W tej pracy wprowadzamy model Phased LSTM, który rozszerza jednostkę LSTM przez dodanie nowej bramy czasowej. Ta bramka jest kontrolowana przez parametryczne oscylacje z zakresem częstotliwości, który wymaga aktualizacji komórki pamięci tylko w niewielkim procentu cyklu. Nawet w przypadku rozrzedzonych aktualizacji narzuconych przez oscylację, sieć Phased LSTM osiąga szybszą zbieżność niż zwykłe LSTM na zadaniach, które wymagają uczenia się długich sekwencji. Model naturalnie integruje dane wejściowe z czujników dowolnych częstotliwości próbkowania, otwierając w ten sposób nowe obszary badania na potrzeby przetwarzania asynchronicznych zdarzeń sensorycznej, które zawierają informacje o chronometrażu. Znacznie poprawia również wydajność LSTM w standardowych aplikacjach RNN i robi to przy mniejszej liczbie obliczeń o określonej wielkości.
Recurrent Neural Networks (RNN) stały się najnowocześniejsze rozwiązanie do wyodrębniania wzorców z sekwencji czasowych. Bieżące modele sieci RNN są źle dostosowane do przetwarzania nieregularnie próbkowanych danych wyzwalanych przez zdarzenia generowane w czasie ciągłym przez czujniki lub inne neurony. Takie dane mogą wystąpić, na przykład, gdy dane wejściowe pochodzą z nowatorskich sztucznych czujników opartych na zdarzeniach, które generują rozrzedzony, asynchroniczne strumienie zdarzeń lub z wielu konwencjonalnych czujników z różnymi interwałami aktualizacji. W tej pracy wprowadzamy model Phased LSTM, który rozszerza jednostkę LSTM przez dodanie nowej bramy czasowej. Ta bramka jest kontrolowana przez parametryczne oscylacje z zakresem częstotliwości, który wymaga aktualizacji komórki pamięci tylko w niewielkim procentu cyklu. Nawet w przypadku rozrzedzonych aktualizacji narzuconych przez oscylację, sieć Phased LSTM osiąga szybszą zbieżność niż zwykłe LSTM na zadaniach, które wymagają uczenia się długich sekwencji. Model naturalnie integruje dane wejściowe z czujników dowolnych częstotliwości próbkowania, otwierając w ten sposób nowe obszary badania na potrzeby przetwarzania asynchronicznych zdarzeń sensorycznej, które zawierają informacje o chronometrażu. Znacznie poprawia również wydajność LSTM w standardowych aplikacjach RNN i robi to przy mniejszej liczbie obliczeń o określonej wielkości.
Chcesz przesłać opinię? Prześlij problem tutaj.