Episódio
LSTM em fases: acelerando o treinamento de rede recorrente para sequências longas ou baseadas em eventos
com o Daniel Niel
As Redes Neurais Recorrentes (RNNs) tornaram-se a escolha de última geração para extrair padrões de sequências temporais. Os modelos RNN atuais não são adequados para processar dados de amostragem irregular desencadeados por eventos gerados em tempo contínuo por sensores ou outros neurônios. Esses dados podem ocorrer, por exemplo, quando a entrada vem de novos sensores artificiais orientados por eventos que geram fluxos esparsos e assíncronos de eventos ou de vários sensores convencionais com diferentes intervalos de atualização. Neste trabalho, apresentamos o modelo Phased LSTM, que estende a unidade LSTM adicionando uma nova porta de tempo. Esta porta é controlada por uma oscilação parametrizada com uma faixa de frequência que requer atualizações da célula de memória apenas durante uma pequena porcentagem do ciclo. Mesmo com as atualizações esparsas impostas pela oscilação, a rede LSTM Phased alcança uma convergência mais rápida do que os LSTMs regulares em tarefas que exigem o aprendizado de sequências longas. O modelo integra naturalmente entradas de sensores de taxas de amostragem arbitrárias, abrindo assim novas áreas de investigação para o processamento de eventos sensoriais assíncronos que transportam informações de temporização. Ele também melhora muito o desempenho de LSTMs em aplicações RNN padrão, e faz isso com uma ordem de magnitude menos cálculos.
As Redes Neurais Recorrentes (RNNs) tornaram-se a escolha de última geração para extrair padrões de sequências temporais. Os modelos RNN atuais não são adequados para processar dados de amostragem irregular desencadeados por eventos gerados em tempo contínuo por sensores ou outros neurônios. Esses dados podem ocorrer, por exemplo, quando a entrada vem de novos sensores artificiais orientados por eventos que geram fluxos esparsos e assíncronos de eventos ou de vários sensores convencionais com diferentes intervalos de atualização. Neste trabalho, apresentamos o modelo Phased LSTM, que estende a unidade LSTM adicionando uma nova porta de tempo. Esta porta é controlada por uma oscilação parametrizada com uma faixa de frequência que requer atualizações da célula de memória apenas durante uma pequena porcentagem do ciclo. Mesmo com as atualizações esparsas impostas pela oscilação, a rede LSTM Phased alcança uma convergência mais rápida do que os LSTMs regulares em tarefas que exigem o aprendizado de sequências longas. O modelo integra naturalmente entradas de sensores de taxas de amostragem arbitrárias, abrindo assim novas áreas de investigação para o processamento de eventos sensoriais assíncronos que transportam informações de temporização. Ele também melhora muito o desempenho de LSTMs em aplicações RNN padrão, e faz isso com uma ordem de magnitude menos cálculos.
Tem comentários? Submeta um problema aqui.