Episodio
Memoria asociativa densa para el reconocimiento de patrones
con Dmitry Krotov
Se estudia un modelo de memoria asociativa, que almacena y recupera de forma confiable muchos más patrones que el número de neuronas de la red. Se propone una dualidad simple entre esta memoria asociativa densa y las redes neuronales que se usan habitualmente en el aprendizaje profundo. En el lado de la memoria asociativa de esta dualidad, se puede construir una familia de modelos que interpola sin problemas entre dos casos de limitación. Un límite se conoce como el modo de coincidencia de características del reconocimiento de patrones y el otro como el régimen de prototipos. En el lado de aprendizaje profundo de la dualidad, esta familia corresponde a las redes neuronales de avance con una capa oculta y varias funciones de activación, que transmiten las actividades de las neuronas visibles a la capa oculta. Esta familia de funciones de activación incluye logística, unidades lineales rectificadas y polinomiales rectificados de grados superiores. La dualidad propuesta permite aplicar la intuición basada en energía de la memoria asociativa para analizar las propiedades computacionales de las redes neuronales con funciones de activación inusuales: los polinomiales más rectificados que hasta ahora no se han usado en el aprendizaje profundo. La utilidad de los recuerdos densos se ilustra para dos casos de prueba: la puerta lógica XOR y el reconocimiento de dígitos manuscritos del conjunto de datos MNIST.
Se estudia un modelo de memoria asociativa, que almacena y recupera de forma confiable muchos más patrones que el número de neuronas de la red. Se propone una dualidad simple entre esta memoria asociativa densa y las redes neuronales que se usan habitualmente en el aprendizaje profundo. En el lado de la memoria asociativa de esta dualidad, se puede construir una familia de modelos que interpola sin problemas entre dos casos de limitación. Un límite se conoce como el modo de coincidencia de características del reconocimiento de patrones y el otro como el régimen de prototipos. En el lado de aprendizaje profundo de la dualidad, esta familia corresponde a las redes neuronales de avance con una capa oculta y varias funciones de activación, que transmiten las actividades de las neuronas visibles a la capa oculta. Esta familia de funciones de activación incluye logística, unidades lineales rectificadas y polinomiales rectificados de grados superiores. La dualidad propuesta permite aplicar la intuición basada en energía de la memoria asociativa para analizar las propiedades computacionales de las redes neuronales con funciones de activación inusuales: los polinomiales más rectificados que hasta ahora no se han usado en el aprendizaje profundo. La utilidad de los recuerdos densos se ilustra para dos casos de prueba: la puerta lógica XOR y el reconocimiento de dígitos manuscritos del conjunto de datos MNIST.
¿Quiere hacer algún comentario? Comunique un problema aquí.