Odcinek
Cykliczne sieci neuronowe i inne maszyny, które uczą się sesji sympozjum algorytmów 2
Wkrótce po narodzinach współczesnej informatyki w 1930 roku pojawiły się dwa podstawowe pytania: 1. Jak komputery mogą uczyć się przydatnych programów od doświadczenia, w przeciwieństwie do programowania przez programistów ludzkich? 2. Jak programować równoległe maszyny wieloprocesorowe, w przeciwieństwie do tradycyjnych architektur szeregowych? Oba pytania znalazły naturalne odpowiedzi w dziedzinie Recurrent Neural Networks (RNN), które są komputerami ogólnego przeznaczenia inspirowanymi mózgami, które mogą uczyć się równoległych programów sekwencyjnych lub algorytmów zakodowanych jako macierze wagi.
Nasze pierwsze warsztaty RNNaissance NIPS sięgają 2003 roku: http://people.idsia.ch/\~juergen/rnnaissance.html . Od tego czasu wiele się stało. Niektóre z najbardziej udanych aplikacji w uczeniu maszynowym (w tym uczenia głębokiego) są teraz sterowane przez sieci RNN, takie jak długa pamięć krótkoterminowa, np. rozpoznawanie mowy, rozpoznawanie wideo, przetwarzanie języka naturalnego, podpisy obrazów, przewidywanie szeregów czasowych itp. Dzięki najcenniejszym firmom publicznym na świecie miliardy ludzi mają teraz dostęp do tej technologii za pośrednictwem smartfonów i innych urządzeń, np. w postaci Google Voice lub w systemie iOS Firmy Apple. Wzmacnianie i ewolucyjne sieci RNN rozwiązuje złożone zadania sterowania z nieprzetworzonych danych wejściowych wideo. Wiele metod opartych na sieci RNN uczy się sekwencyjnych strategii uwagi.
W tym miejscu omówimy najnowsze zmiany we wszystkich tych polach i skupimy się nie tylko na sieciach RN, ale także na maszynach szkoleniowych, w których sieci RNN współdziałają z pamięcią zewnętrzną, taką jak neuronowe maszyny Turing, sieci pamięci i powiązane architektury pamięci, takie jak szybkie sieci wagowe i maszyny stosów neuronowych. W tym kontekście omówimy również asymptycznie optymalne metody wyszukiwania programów i ich praktyczne znaczenie.
Nasi docelowi odbiorcy słyszeli trochę o cyklicznych sieciach neuronowych, ale chętnie usłyszą ponownie podsumowanie podstaw, a następnie zagłębiają się w najnowsze zaawansowane rzeczy, aby zobaczyć i zrozumieć, co ostatnio stało się możliwe. Mamy nadzieję, że tysiące uczestników.
Wszystkie rozmowy (głównie przez znanych ekspertów w tej dziedzinie, którzy już zgodzili się mówić) będą po otwartych dyskusjach. Będziemy również mieli wezwanie do plakatów. Wybrane plakaty będą ozdobione środowiskiem sali wykładowej. Będziemy również mieli dyskusję panelową na temat jasnej przyszłości sieci RNN oraz ich zalet i wad.
Wkrótce po narodzinach współczesnej informatyki w 1930 roku pojawiły się dwa podstawowe pytania: 1. Jak komputery mogą uczyć się przydatnych programów od doświadczenia, w przeciwieństwie do programowania przez programistów ludzkich? 2. Jak programować równoległe maszyny wieloprocesorowe, w przeciwieństwie do tradycyjnych architektur szeregowych? Oba pytania znalazły naturalne odpowiedzi w dziedzinie Recurrent Neural Networks (RNN), które są komputerami ogólnego przeznaczenia inspirowanymi mózgami, które mogą uczyć się równoległych programów sekwencyjnych lub algorytmów zakodowanych jako macierze wagi.
Nasze pierwsze warsztaty RNNaissance NIPS sięgają 2003 roku: http://people.idsia.ch/\~juergen/rnnaissance.html . Od tego czasu wiele się stało. Niektóre z najbardziej udanych aplikacji w uczeniu maszynowym (w tym uczenia głębokiego) są teraz sterowane przez sieci RNN, takie jak długa pamięć krótkoterminowa, np. rozpoznawanie mowy, rozpoznawanie wideo, przetwarzanie języka naturalnego, podpisy obrazów, przewidywanie szeregów czasowych itp. Dzięki najcenniejszym firmom publicznym na świecie miliardy ludzi mają teraz dostęp do tej technologii za pośrednictwem smartfonów i innych urządzeń, np. w postaci Google Voice lub w systemie iOS Firmy Apple. Wzmacnianie i ewolucyjne sieci RNN rozwiązuje złożone zadania sterowania z nieprzetworzonych danych wejściowych wideo. Wiele metod opartych na sieci RNN uczy się sekwencyjnych strategii uwagi.
W tym miejscu omówimy najnowsze zmiany we wszystkich tych polach i skupimy się nie tylko na sieciach RN, ale także na maszynach szkoleniowych, w których sieci RNN współdziałają z pamięcią zewnętrzną, taką jak neuronowe maszyny Turing, sieci pamięci i powiązane architektury pamięci, takie jak szybkie sieci wagowe i maszyny stosów neuronowych. W tym kontekście omówimy również asymptycznie optymalne metody wyszukiwania programów i ich praktyczne znaczenie.
Nasi docelowi odbiorcy słyszeli trochę o cyklicznych sieciach neuronowych, ale chętnie usłyszą ponownie podsumowanie podstaw, a następnie zagłębiają się w najnowsze zaawansowane rzeczy, aby zobaczyć i zrozumieć, co ostatnio stało się możliwe. Mamy nadzieję, że tysiące uczestników.
Wszystkie rozmowy (głównie przez znanych ekspertów w tej dziedzinie, którzy już zgodzili się mówić) będą po otwartych dyskusjach. Będziemy również mieli wezwanie do plakatów. Wybrane plakaty będą ozdobione środowiskiem sali wykładowej. Będziemy również mieli dyskusję panelową na temat jasnej przyszłości sieci RNN oraz ich zalet i wad.
Chcesz przesłać opinię? Prześlij problem tutaj.