Episódio
Modelos neurais sequenciais com camadas estocásticas
por Marco Fraccaro
Como podemos propagar eficientemente a incerteza em uma representação de estado latente com redes neurais recorrentes? Este artigo apresenta redes neurais recorrentes estocásticas que unem uma rede neural recorrente determinística e um modelo de espaço de estados para formar um modelo generativo neural estocástico e sequencial. A separação clara das camadas determinística e estocástica permite que uma rede de inferência variacional estruturada rastreie a fatoração da distribuição posterior do modelo. Ao reter a estrutura recursiva não linear de uma rede neural recorrente e calcular a média sobre a incerteza em um caminho latente, como um modelo de espaço de estados, melhoramos os resultados do estado da arte nos conjuntos de dados de modelagem de fala Blizzard e TIMIT por uma grande margem, ao mesmo tempo em que alcançamos desempenhos comparáveis aos métodos concorrentes em modelagem de música polifônica.
Como podemos propagar eficientemente a incerteza em uma representação de estado latente com redes neurais recorrentes? Este artigo apresenta redes neurais recorrentes estocásticas que unem uma rede neural recorrente determinística e um modelo de espaço de estados para formar um modelo generativo neural estocástico e sequencial. A separação clara das camadas determinística e estocástica permite que uma rede de inferência variacional estruturada rastreie a fatoração da distribuição posterior do modelo. Ao reter a estrutura recursiva não linear de uma rede neural recorrente e calcular a média sobre a incerteza em um caminho latente, como um modelo de espaço de estados, melhoramos os resultados do estado da arte nos conjuntos de dados de modelagem de fala Blizzard e TIMIT por uma grande margem, ao mesmo tempo em que alcançamos desempenhos comparáveis aos métodos concorrentes em modelagem de música polifônica.
Tem comentários? Envie um problema aqui.