Episode
LSTM Bertahap: Mempercepat Pelatihan Jaringan Berulang untuk Urutan Panjang atau Berbasis Peristiwa
dengan Daniel Niel
Jaringan Neural Berulang (RNN) telah menjadi pilihan canggih untuk mengekstrak pola dari urutan temporal. Model RNN saat ini sangat cocok untuk memproses data sampel yang tidak teratur yang dipicu oleh peristiwa yang dihasilkan dalam waktu berkelanjutan oleh sensor atau neuron lainnya. Data tersebut dapat terjadi, misalnya, ketika input berasal dari sensor buatan berbasis peristiwa baru yang menghasilkan aliran peristiwa yang jarang dan asinkron atau dari beberapa sensor konvensional dengan interval pembaruan yang berbeda. Dalam pekerjaan ini, kami memperkenalkan model LSTM Fase, yang memperluas unit LSTM dengan menambahkan gerbang waktu baru. Gerbang ini dikendalikan oleh osilasi parametris dengan rentang frekuensi yang memerlukan pembaruan sel memori hanya selama persentase kecil siklus. Bahkan dengan pembaruan jarang yang diberlakukan oleh osilasi, jaringan LSTM Bertahap mencapai konvergensi yang lebih cepat daripada LSTM reguler pada tugas yang memerlukan pembelajaran urutan panjang. Model ini secara alami mengintegrasikan input dari sensor laju pengambilan sampel arbitrer, sehingga membuka area penyelidikan baru untuk memproses peristiwa sensorik asinkron yang membawa informasi waktu. Ini juga sangat meningkatkan performa LSTM dalam aplikasi RNN standar, dan melakukannya dengan urutan besarnya lebih sedikit komputasi.
Jaringan Neural Berulang (RNN) telah menjadi pilihan canggih untuk mengekstrak pola dari urutan temporal. Model RNN saat ini sangat cocok untuk memproses data sampel yang tidak teratur yang dipicu oleh peristiwa yang dihasilkan dalam waktu berkelanjutan oleh sensor atau neuron lainnya. Data tersebut dapat terjadi, misalnya, ketika input berasal dari sensor buatan berbasis peristiwa baru yang menghasilkan aliran peristiwa yang jarang dan asinkron atau dari beberapa sensor konvensional dengan interval pembaruan yang berbeda. Dalam pekerjaan ini, kami memperkenalkan model LSTM Fase, yang memperluas unit LSTM dengan menambahkan gerbang waktu baru. Gerbang ini dikendalikan oleh osilasi parametris dengan rentang frekuensi yang memerlukan pembaruan sel memori hanya selama persentase kecil siklus. Bahkan dengan pembaruan jarang yang diberlakukan oleh osilasi, jaringan LSTM Bertahap mencapai konvergensi yang lebih cepat daripada LSTM reguler pada tugas yang memerlukan pembelajaran urutan panjang. Model ini secara alami mengintegrasikan input dari sensor laju pengambilan sampel arbitrer, sehingga membuka area penyelidikan baru untuk memproses peristiwa sensorik asinkron yang membawa informasi waktu. Ini juga sangat meningkatkan performa LSTM dalam aplikasi RNN standar, dan melakukannya dengan urutan besarnya lebih sedikit komputasi.
Memiliki umpan balik? Kirimkan masalah di sini.