Odcinek
Gęsta pamięć asocjacyjna na potrzeby rozpoznawania wzorców
with Dmitry Krotov
Model pamięci asocjacyjnej jest badany, który przechowuje i niezawodnie pobiera o wiele więcej wzorców niż liczba neuronów w sieci. Proponujemy prostą podwójność między tą gęstą pamięcią asocjacyjną i sieciami neuronowymi powszechnie używanymi w uczeniu głębokim. Po stronie pamięci asocjacyjnej tej podwójnej można skonstruować rodzinę modeli, które płynnie interpolują się między dwoma przypadkami ograniczającymi. Jeden limit jest określany jako tryb dopasowywania cech rozpoznawania wzorców, a drugi jako schemat prototypu. Po stronie uczenia głębokiego podwójnej rodzina ta odpowiada sieciom neuronowym z jedną ukrytą warstwą i różnymi funkcjami aktywacji, które przesyłają działania widocznych neuronów do warstwy ukrytej. Ta rodzina funkcji aktywacji obejmuje logistykę, sprostyfikowane jednostki liniowe i recytyfikowane wielomiany wyższego stopnia. Proponowana podwójność umożliwia zastosowanie intuicji opartej na energii z pamięci asocjacyjnej do analizowania właściwości obliczeniowych sieci neuronowych z nietypowymi funkcjami aktywacji - wyższymi recytyfikowanymi wielomianami, które do tej pory nie były używane w uczeniu głębokim. Narzędzie gęstych pamięci jest ilustrowane dla dwóch przypadków testowych: logicznej bramy XOR i rozpoznawania cyfr odręcznych z zestawu danych MNIST.
Model pamięci asocjacyjnej jest badany, który przechowuje i niezawodnie pobiera o wiele więcej wzorców niż liczba neuronów w sieci. Proponujemy prostą podwójność między tą gęstą pamięcią asocjacyjną i sieciami neuronowymi powszechnie używanymi w uczeniu głębokim. Po stronie pamięci asocjacyjnej tej podwójnej można skonstruować rodzinę modeli, które płynnie interpolują się między dwoma przypadkami ograniczającymi. Jeden limit jest określany jako tryb dopasowywania cech rozpoznawania wzorców, a drugi jako schemat prototypu. Po stronie uczenia głębokiego podwójnej rodzina ta odpowiada sieciom neuronowym z jedną ukrytą warstwą i różnymi funkcjami aktywacji, które przesyłają działania widocznych neuronów do warstwy ukrytej. Ta rodzina funkcji aktywacji obejmuje logistykę, sprostyfikowane jednostki liniowe i recytyfikowane wielomiany wyższego stopnia. Proponowana podwójność umożliwia zastosowanie intuicji opartej na energii z pamięci asocjacyjnej do analizowania właściwości obliczeniowych sieci neuronowych z nietypowymi funkcjami aktywacji - wyższymi recytyfikowanymi wielomianami, które do tej pory nie były używane w uczeniu głębokim. Narzędzie gęstych pamięci jest ilustrowane dla dwóch przypadków testowych: logicznej bramy XOR i rozpoznawania cyfr odręcznych z zestawu danych MNIST.
Chcesz przesłać opinię? Prześlij problem tutaj.