Episodio
Usar pesos rápidos para asistir al pasado reciente
con Jimmy Bu
Hasta hace poco, la investigación sobre redes neuronales artificiales se limitaba en gran medida a los sistemas con solo dos tipos de variables: actividades neuronales que representan la entrada y pesos actuales o recientes que aprenden a capturar regularidades entre entradas, salidas y pagos. No hay ninguna buena razón para esta restricción. Synapses tiene dinámicas en muchas escalas temporales diferentes y esto sugiere que las redes neuronales artificiales pueden beneficiarse de variables que cambian más lentamente que las actividades, pero mucho más rápido que los pesos estándar. Estos ''pesos rápidos' se pueden usar para almacenar recuerdos temporales del pasado reciente y proporcionan una manera neuronalmente creíble de implementar el tipo de atención al pasado que ha demostrado ser útil recientemente en los modelos de secuencia a secuencia. Mediante el uso de pesos rápidos, podemos evitar la necesidad de almacenar copias de patrones de actividad neuronal.
Hasta hace poco, la investigación sobre redes neuronales artificiales se limitaba en gran medida a los sistemas con solo dos tipos de variables: actividades neuronales que representan la entrada y pesos actuales o recientes que aprenden a capturar regularidades entre entradas, salidas y pagos. No hay ninguna buena razón para esta restricción. Synapses tiene dinámicas en muchas escalas temporales diferentes y esto sugiere que las redes neuronales artificiales pueden beneficiarse de variables que cambian más lentamente que las actividades, pero mucho más rápido que los pesos estándar. Estos ''pesos rápidos' se pueden usar para almacenar recuerdos temporales del pasado reciente y proporcionan una manera neuronalmente creíble de implementar el tipo de atención al pasado que ha demostrado ser útil recientemente en los modelos de secuencia a secuencia. Mediante el uso de pesos rápidos, podemos evitar la necesidad de almacenar copias de patrones de actividad neuronal.
¿Quiere hacer algún comentario? Comunique un problema aquí.