Учебник по KDD 2016

CNTK: Microsoft Open-Source Deep-Learning Toolkit

Руководство по KDD 2016 Hands-On от Фрэнка Seide и Amit Agarwal, Майкрософт

Слайды, используемые в руководстве

Примечание. Вам потребуется выполнить два больших скачивания: двоичный файл CNTK (~300 МБ) и набор данных CIFAR-10 (170 МБ) и установить двоичные файлы CNTK и все необходимые зависимости на компьютере. Мы рекомендуем сделать это заранее, например из номера отеля. Инструкции см. ниже .

Обучение нейронных сетей, таких как группы продуктов Майкрософт! В этом руководстве представлены Microsoft Cognitive Toolkit или CNTK, масштабируемый набор средств глубокого обучения с открытым исходным кодом корпорации Майкрософт для Windows и Linux. CNTK — это мощный набор средств глубокого обучения на основе графа вычислений для обучения и оценки глубоких нейронных сетей. Группы продуктов Майкрософт используют CNTK, например для создания моделей речи Кортаны и веб-ранжирования.

Целевая аудитория и ожидания

Это руководство предназначено для текущих или будущих специалистов по глубокому обучению и ищет средство, которое легко использовать , но эффективно и масштабируемо в кластерах GPU с несколькими компьютерами для реальных рабочих нагрузок.

В этом руководстве предполагается базовое знание глубокого обучения. Участники получат представление об основных понятиях и использовании CNTK, а также о практике выполнения обучения нейронной сети с помощью CNTK для распознавания изображений и обработки текста. Это руководство будет отправной точкой для решения собственной задачи глубокого обучения с помощью CNTK.

Предварительные требования, скачивание и настройка

Для выполнения практических лабораторных сеансов в этом руководстве требуется ноутбук или удаленный компьютер с 64-разрядным Windows 8.1+ или Linux, и рекомендуется использовать GPU с поддержкой CUDA (чем быстрее). Если компьютер работает под управлением Mac-OS, вы можете запустить Linux в контейнере Docker и выполнить установку или установку, описанную ниже в этом контейнере Docker.

Вам потребуется скачать и установить двоичный пакет CNTK, набор CIFAR-10 и файлы учебников в общей сложности около 500 МБ. В идеале это сделать заранее.

• Скачайте и установите двоичные файлы CNTK:

На этой странице описываются различные варианты установки Microsoft Cognitive Toolkit на компьютер. Для работы с этим руководством достаточно установки на основе двоичной установки CNTK. Сборка CNTK из исходного кода не требуется. инструкции по настройке. Вы можете просто следовать инструкциям по скачиванию пакета двоичной установки с этой страницы.

В любом случае убедитесь, что исполняемые файлы CNTK включены в вашу среду.

• Скачайте набор CIFAR-10: для набора CIFAR-10 скачайте следующий файл: http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz

• Скачайте файлы учебника (~12 МБ), открыв эту ссылку и нажав кнопку "Скачать".

Практические руководства в Интернете

Два практических руководства были размещены здесь, которые можно следовать следующим образом:

• Распознавание изображений в CIFAR-10: распознавание изображений в CIFAR-10 с сверточной и остаточной сеткой
• Распознавание речи с ATIS: классификация тегов слотов и намерений с повторяющимися сетями

АБСТРАКТНЫЙ

В этом руководстве представлены Microsoft Cognitive Toolkit или CNTK, передовые наборы средств глубокого обучения с открытым кодом майкрософт для Windows и Linux. CNTK — это мощный набор средств глубокого обучения на основе графа вычислений для обучения и оценки глубоких нейронных сетей. Группы продуктов Майкрософт используют CNTK, например для создания моделей речи Кортаны и веб-ранжирования. CNTK поддерживает переадресацию, свертку и повторяющиеся сети для речевых, графических и текстовых рабочих нагрузок, а также в сочетании. Популярные типы сети поддерживаются либо в собственном коде (свертка), либо могут быть описаны как конфигурация CNTK (LSTM, последовательность — последовательность). CNTK масштабируется до нескольких серверов GPU и разработана с учетом эффективности. В этом руководстве представлен обзор общей архитектуры CNTK и описаны конкретные методы и алгоритмы, используемые для автоматической дифференцировки, вывода повторяющихся циклов и выполнения, совместного использования памяти, случайной случайности больших корпусов и параллелизации с несколькими серверами. Затем мы покажем, как обычно используется для соответствующих задач, таких как распознавание изображений, моделирование последовательности и распознавание речи.

СТРУКТУРА

В этом руководстве рассматриваются следующие темы:

• Что такое CNTK?
  • Общие сведения о вычислительной сети
• Как выглядит типичное использование CNTK?
  • Определение вычислительной сети
  • Настройка ввода-вывода данных
  • SGD hyper-parameters
  • Типичные рабочие процессы
• Подробные сведения о конкретных технологиях
  • Неявная обработка времени
  • Мини-обработка последовательностей переменной длины
  • Обучение с параллелизмом данных
• Практические примеры, в том числе
  • Распознавание изображений (AlexNet, ResNet)
  • Обработка текста (ATIS)
• Предварительная версия: API библиотеки CNTK для Python и C++

БИОГРАФИИ ГОВОРЯЩЕГО

Фрэнк Seide, родом из Гамбурга, Германия, является старшим исследователем в Microsoft Research. Его текущее исследование сосредоточено на глубоких нейронных сетях для распознавания речи беседы; вместе с соавтором Дун Ю, он был первым, чтобы показать эффективность глубоких нейронных сетей для распознавания разговорной речи. На протяжении всей своей карьеры он был заинтересован и работал над широким спектром тем и компонентов автоматического распознавания речи, в том числе речевых диалоговых систем, распознавания мандарина китайского языка, и, в частности, широко словарного распознавания речи с применением к индексированию звука, транскрибированию и переводу речи в речь. Его текущее внимание уделяется набору средств глубокого обучения Microsoft CNTK.
Амит Агарвал ( Amit Agarwal ) — главный инженер по программному обеспечению в отделе технологий и исследований Майкрософт. Его текущее внимание уделяется созданию CNTK , крупномасштабной платформы распределенного глубокого обучения Майкрософт, чтобы обеспечить беспрецедентный масштаб, скорость и емкость для обучения моделей массового глубокого обучения на огромных наборах данных, используемых в широком спектре речевых, изображений и связанных с текстом задач глубокого обучения в Корпорации Майкрософт и в сообществе. Амит Агарвал работал над широким спектром продуктов Майкрософт и графикой Наставника. Он имеет 7 патентов, связанных с разнородным и графическим программированием.

REFERENCES

[1] Амит Агарвал, Эльдар Акчурин, Крис Басоглу, Гогуо Чен, Скотт Сайферс, Джаша Каппо, Адам Эверсол, Брайан Гюентер, Марк Хиллебранд, Т. Райан Хоенс, Сьюдун Хуан, Чжихенг Хуан, Владимир Иванов, Алексей Каменев, Филипп Кранен, Oleksii Kuchaiev, Wolfgang Manousek, Avner May, Bhaskar Mitra, Olivier Nano, Gaizka Navarro, Алексей Орлов, Хари Parthasarathi, Baolin Peng, Marko Radmilac, Алексей Резниченко, Фрэнк Сейде, Майкл L. Seltzer, Малкольм Slaney, Андреас Stolcke, Huaming Wang, Yongqiang Wang, Kaisheng Yao, Dong Yu, Yu Чжан, Geoffrey Zweig (в алфавитном порядке), "Введение в вычислительные сети и вычислительные сетевые наборы средств", Технический отчет Майкрософт MSR-TR-2014-112, 2014.
[2] "CNTK",