Настройка CNTK с помощью скрипта на Windows

Статья
03/07/2018

Если вы хотите создать CNTK из исходного кода и использовать скрипт установки разработчика, эта страница предназначена для вас.

Если вы ищете какую-либо другую поддержку при настройке среды сборки CNTK или установке CNTK в системе, следует перейти сюда.

Для вашего рассмотрения

Ниже приведены рекомендации по успешной сборке CNTK.

Языковой стандарт системы на компьютере сборки должен иметь язык с набором символов на основе латиница.
Избегайте крайне длинных имен путей. Процедура сборки использует операции копирования (XCOPY), которые могут столкнуться с проблемами с выражением пути с длиной более 256 символов.

64-разрядная ОС

CNTK требуется 64-разрядная установка Windows. Мы протестировали процесс сборки на Windows 8.1, Windows 10 и Windows Server 2012 R2 и более поздних версий. Другие среды официально не поддерживаются. При проблемах совместимости проверьте CNTK конфигурации сборки и тестирования рабочей среды.

Подготовка

Чтобы создать среду разработки CNTK на компьютере, необходимо выполнить следующие действия:

Установка необходимых средств
- Visual Studio 2017
- NVIDIA CUDA 9.0
- Git
- Клонирование исходного кода CNTK
Запуск скрипта установки разработчика
- Настройка параметров командной строки для настройки операции скрипта
- Выполнение сценария
Сборка и тестирование

Эта страница поможет вам выполнить все эти действия. При установке на основе скрипта создается среда разработки со всеми дополнительными компонентами, включая средства NVIDIA, среду Python, библиотеки OpenCV и сжатия. Скрипт поддерживает необязательные параметры для точной настройки установки в системе (например, в каталоге установки Anaconda и т. д.), подробные сведения доступны здесь.

Установка необходимых средств

Visual Studio 2017

Установите Microsoft Visual Studio 2017 для Windows. Ссылку на скачивание можно найти здесь. Вам потребуется учетная запись Майкрософт и бесплатное членство в подписке Visual Studio Dev Essentials или действительная подписка MSDN. Если у вас нет учетной записи Майкрософт, необходимое членство в подписке или и то, и другое, вам будет предложено зарегистрироваться.

Для сборки CNTK достаточно Community версии Visual Studio 2017.

В процессе установки выберите рабочие нагрузки "разработка универсальная платформа Windows", ".NET разработка классических приложений", "Разработка классических приложений с помощью C++" и "разработка Python":

im1

Кроме того, на экране отдельных компонентов добавьте в установку набор инструментов VC++ 2017 версии 15.4 версии 14.11 и среду выполнения Visual C++ для UWP:

im1

Наконец, добавьте пакет SDK Windows 10 (10.0.16299.0) для классического C++ [x86 и x64]:

im1

Предварительная установка Visual Studio 2017 г.

Вам потребуется установить набор инструментов VC++ 2017 версии 15.4 версии 14.11, среду выполнения Visual C++ для UWP и пакет SDK для Windows 10 (10.0.16299.0) для классического C++ [x86 и x64]. Чтобы проверить, откройте Windows "панель управления - Программы и>> компоненты" и выберите "Visual Studio Community 2017" в списке установленных программ. Это снова запустит установку Visual Studio и позволит убедиться, что упомянутые выше компоненты установлены в системе (см. рисунок выше).

Примечание

Если VS2017INSTALLDIR переменная среды не была задана установщиком Visual Studio, установите ее вручную. Точный каталог установки зависит от версии (2017 в данном случае) и предложения (Community, Enterprise и т. д.) Visual Studio в соответствии со следующим шаблоном: C:\Program Files (x86)\Microsoft Visual Studio\<version>\<offering>

Для выпуска Visual Studio 2017 Enterprise выполните следующую команду:

setx VS2017INSTALLDIR "C:\Program Files (x86)\Microsoft Visual Studio\2017\Enterprise"

Для выпуска Community Visual Studio 2017 выполните следующую команду:

setx VS2017INSTALLDIR "C:\Program Files (x86)\Microsoft Visual Studio\2017\Community"

NVIDIA CUDA 9

Важно!

Если у вас есть первая установка Visual Studio 2017, как описано выше, вам потребуется установить NVIDIA CUDA 9 сейчас, даже если у вас уже есть установка CUDA 9! Установка NVIDIA CUDA 9 добавляет поддержку средств разработки NVIDIA в среду Visual Studio, которая необходима для успешной сборки CNTK.

CNTK настроена сборка с помощью CUDA 9.0. Скачайте и установите набор средств NVIDIA CUDA 9.0:

Скачивание необходимого пакета с этой страницы загрузки
Выполнение процедуры установки

Примечание. Если у вас нет системы с графической картой, совместимой с NVIDIA CUDA 9.0, установщик CUDA выдает предупреждение. Если появится это предупреждение, программа CUDA будет установлена, и вы сможете создать версию gpu NVIDIA с поддержкой CNTK в вашей системе.

Git

Для клонирования базы кода CNTK требуется Git. Доступны различные клиентские средства Git. Вы также можете работать с Git непосредственно из Visual Studio. Здесь предполагается, что вы установили Git для Windows. Предполагается, что вы установили Git с помощью параметров по умолчанию в установщике Git (особенно "Использовать Git из командной строки Windows" и с параметром "Извлечение Windows стиле, фиксация UNIX стиле строк окончаний" в включенном запросе "Настройка окончаний строк".

Клонирование исходного кода CNTK

Мы создадим клон исходного кода CNTK в .c:\repos\cntk Если вы предпочитаете другое расположение, необходимо соответствующим образом настроить команды.

Откройте стандартную командную оболочку Windows и выполните следующую команду.

c: && md \repos && cd \repos
git clone --recursive https://github.com/Microsoft/cntk
cd cntk

Подмодул Multiverso используется для включения DataParallelASGD для обучения. Если вам не нужна поддержка DataParallelASGD, добавьте переменную среды CNTK_ENABLE_ASGD и присвойте ей значение false. Например, запустите его в командной строке CMD, а затем снова откройте оболочки CMD и Visual Studio, чтобы выбрать изменение:

setx CNTK_ENABLE_ASGD false

Запуск скрипта установки разработчика

Скрипт установки разработчика (devInstall.ps1) — это скрипт PowerShell, расположенный в tools подкаталоге внутри корня репозитория CNTK. Она установит все необходимые и необязательные средства для сборки CNTK в системе. Он также создаст необходимые параметры локальной среды пользователя. После запуска скрипта дополнительные данные пользователя не требуются, хотя вам потребуется подтвердить установку программ или создание переменных среды в зависимости от параметра "Контроль учетных записей".

Варианты настройки

По умолчанию для запуска скрипта установки не требуются дополнительные параметры. Существуют различные дополнительные возможности для адаптации функций скрипта к вашим требованиям. Дополнительные сведения см. здесь.

Запуск скрипта установки

По умолчанию PowerShell не разрешает выполнение скриптов. Чтобы разрешить выполнение скрипта установки из стандартной командной оболочки Windows, запустите PowerShell следующими способами:

start powershell -executionpolicy remotesigned

Если вы клонировали исходный код CNTK в c:\repos\cntk каталог, перейдите в сеанс PowerShell в каталог с помощью скрипта установки в клонированного репозитория CNTK и запустите установщик в этом каталоге:

cd C:\repos\cntk\Tools\devInstall\Windows
.\DevInstall.ps1

Скрипт проверит систему и определит необходимые компоненты, которые отсутствуют. Вы получите уведомление о предлагаемых шагах установки. Если вы удовлетворены предлагаемыми изменениями, вы можете перейти к фактической установке. Дополнительные сведения о параметрах командной строки см. здесь.

Скрипт будет скачивать необходимые компоненты из Интернета, поэтому требуется подключение к Интернету. Он выполнит эти компоненты, и в соответствии с параметром контроля учетных записей (UAC) в вашей системе вам будет предложено подтвердить выполнение и установку этих компонентов.

В зависимости от скорости системы и подключения к Интернету весь процесс может занять от 20 до 30 минут. Особенно установка Anaconda3 занимает очень много времени без каких-либо признаков прогресса, пожалуйста, быть терпеливым. Скачанные файлы из Интернета кэшируются в каталоге c:\installCacheCntk и позволяют повторно запустить установщик без повторного скачивания компонента. В случае каких-либо проблем, которые вы можете перезапустить установщик еще раз, он не будет переустановлен уже установленные компоненты. Примечание: Если установщик прерван, может потребоваться перезапустить PowerShell, чтобы распространить новые переменные среды.

Сборка и тестирование

На этом этапе установлены все необходимые компоненты для сборки CNTK в системе. Чтобы выполнить сборку и тестирование CNTK, выполните указанные здесь действия.