Серия
Повторяющиеся нейронные сети и другие компьютеры, научиющиеся алгоритмам, сеанс 3
Вскоре после рождения современной компьютерной науки в 1930-х годах возникли два фундаментальных вопроса: 1. Как компьютеры могут учить полезные программы из опыта, а не программироваться человеческими программистами? 2. Как программировать параллельные многопроцессорные компьютеры, а не традиционные последовательные архитектуры? Оба вопроса нашли естественные ответы в области периодических нейронных сетей (RNN), которые являются компьютерами общего назначения, вдохновленными мозгом, которые могут изучать параллельные последовательные программы или алгоритмы, закодированные как матрицы веса.
Наш первый семинар RNNaissance NIPS восходит к 2003 году: http://people.idsia.ch/\~juergen/rnnaissance.html С тех пор многое произошло. Некоторые из наиболее успешных приложений в машинном обучении (включая глубокое обучение) теперь зависят от RNN, таких как долгосрочная память, например распознавание речи, распознавание речи, распознавание видео, обработка естественного языка, подпись изображений, прогнозирование временных рядов и т. д. Через самые ценные государственные компании в мире, миллиарды людей теперь имеют доступ к этой технологии через свои смартфоны и другие устройства, например, в виде Google Voice или на iOS Apple. Обучение с подкреплением и эволюционные RNN решают сложные задачи управления из необработанных видео входных данных. Многие методы на основе RNN изучают последовательные стратегии внимания.
Здесь мы рассмотрим последние разработки во всех этих областях и сосредоточимся не только на RNN, но и на компьютерах обучения, в которых RNN взаимодействуют с внешней памятью, такими как нейронные машины Turing, сети памяти и связанные архитектуры памяти, такие как быстрые сети веса и компьютеры нейронного стека. В этом контексте мы также обсудим асимтотические оптимальные методы поиска программы и их практическую актуальность.
Наша целевая аудитория слышала немного о повторяющихся нейронных сетях, но будет рад услышать снова сводку по основам, а затем углубиться в последние расширенные вещи, чтобы увидеть и понять, что недавно стало возможным. Мы надеемся на тысячи участников.
Все переговоры (в основном известные эксперты в области, которые уже согласились говорить) будут следовать открытыми обсуждениями. У нас также будет призыв к плакатам. Выбранные плакаты украшают окружающую среду лекции. Мы также обсудим панельную дискуссию по яркому будущему RNN, и их плюсам и минусам.
Вскоре после рождения современной компьютерной науки в 1930-х годах возникли два фундаментальных вопроса: 1. Как компьютеры могут учить полезные программы из опыта, а не программироваться человеческими программистами? 2. Как программировать параллельные многопроцессорные компьютеры, а не традиционные последовательные архитектуры? Оба вопроса нашли естественные ответы в области периодических нейронных сетей (RNN), которые являются компьютерами общего назначения, вдохновленными мозгом, которые могут изучать параллельные последовательные программы или алгоритмы, закодированные как матрицы веса.
Наш первый семинар RNNaissance NIPS восходит к 2003 году: http://people.idsia.ch/\~juergen/rnnaissance.html С тех пор многое произошло. Некоторые из наиболее успешных приложений в машинном обучении (включая глубокое обучение) теперь зависят от RNN, таких как долгосрочная память, например распознавание речи, распознавание речи, распознавание видео, обработка естественного языка, подпись изображений, прогнозирование временных рядов и т. д. Через самые ценные государственные компании в мире, миллиарды людей теперь имеют доступ к этой технологии через свои смартфоны и другие устройства, например, в виде Google Voice или на iOS Apple. Обучение с подкреплением и эволюционные RNN решают сложные задачи управления из необработанных видео входных данных. Многие методы на основе RNN изучают последовательные стратегии внимания.
Здесь мы рассмотрим последние разработки во всех этих областях и сосредоточимся не только на RNN, но и на компьютерах обучения, в которых RNN взаимодействуют с внешней памятью, такими как нейронные машины Turing, сети памяти и связанные архитектуры памяти, такие как быстрые сети веса и компьютеры нейронного стека. В этом контексте мы также обсудим асимтотические оптимальные методы поиска программы и их практическую актуальность.
Наша целевая аудитория слышала немного о повторяющихся нейронных сетях, но будет рад услышать снова сводку по основам, а затем углубиться в последние расширенные вещи, чтобы увидеть и понять, что недавно стало возможным. Мы надеемся на тысячи участников.
Все переговоры (в основном известные эксперты в области, которые уже согласились говорить) будут следовать открытыми обсуждениями. У нас также будет призыв к плакатам. Выбранные плакаты украшают окружающую среду лекции. Мы также обсудим панельную дискуссию по яркому будущему RNN, и их плюсам и минусам.
Хотите оставить отзыв? Сообщить о проблеме можно здесь.