Сведения о вычислительном экземпляре Машинного обучения Azure

  • Статья

Вычислительный экземпляр Машинного обучения Azure — это полностью управляемая облачная рабочая станция для специалистов по анализу данных. У каждого вычислительного экземпляра есть только один владелец, хотя файлы можно использовать совместно между несколькими вычислительными экземплярами.

Вычислительные экземпляры позволяют легко приступить к разработке Машинное обучение Azure и предоставлять возможности управления и готовности предприятия для ИТ-администраторов.

Используйте вычислительный экземпляр в качестве полностью настроенной и управляемой среды разработки в облаке для машинного обучения. Его также можно использовать в качестве целевого объекта вычислений для заданий обучения и вывода результатов в процессе разработки и тестирования.

Для работы функции Jupyter вычислительного экземпляра убедитесь, что связь с веб-сокетом не отключена. Убедитесь, что сеть разрешает подключения через веб-сокеты к *.instances.azureml.net и *.instances.azureml.ms.

Важно!

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Предварительная версия предоставляется без соглашения об уровне обслуживания и не рекомендована для производственных рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Зачем использовать вычислительный экземпляр?

Вычислительный экземпляр — это полностью управляемая облачная рабочая станция, оптимизированная для среды разработки машинного обучения. Это обеспечивает следующие преимущества:

Ключевые преимущества Description
Продуктивность Можно создавать и развертывать модели с помощью интегрированных записных книжек и следующих инструментов в студии Машинного обучения Azure:
— Jupyter;
— JupyterLab;
— VS Code (предварительная версия);
Вычислительный экземпляр полностью интегрирован с рабочей областью и студией Машинного обучения Azure. В рабочей области можно обмениваться записными книжками и данными с другими специалистами по анализу данных.
Управляемость и безопасность Сократите воздействие на систему безопасности и обеспечьте соответствие корпоративным требованиям безопасности. Вычислительные экземпляры предоставляют надежные политики управления и защищенные сетевые конфигурации, такие как:

— автоматическая подготовка на основе шаблонов Resource Manager или пакета SDK для Машинного обучения Azure;
- Управление доступом на основе ролей в Azure (Azure RBAC).
- Поддержка виртуальной сети
— Политика Azure для отключения доступа по протоколу SSH.
— политика Azure для принудительного создания в виртуальной сети
— автоматическое завершение работы и автоматическое запуск на основе расписания
— Поддержка TLS 1.2.
Предварительная настройка для ML Сэкономьте время на задачах настройки благодаря предварительно настроенным, актуальным пакетам машинного обучения, платформам для глубокого обучения и драйверам GPU.
Полные возможности настройки Широкая поддержка типов виртуальных машин Azure, включая GPU, и сохраняемая низкоуровневая настройка, например установка пакетов и драйверов, позволяют без труда реализовывать сложные сценарии. Вы также можете использовать скрипты установки для автоматизации настройки.

Средства и среды

Вычислительный экземпляр Машинного обучения Azure позволяет создавать, обучать и развертывать модели в полностью интегрированной среде записных книжек в рабочей области.

Записные книжки можно запускать из рабочей области Машинное обучение Azure, Jupyter, JupyterLab или Visual Studio Code. Vs Code Desktop можно настроить для доступа к вычислительному экземпляру. Или используйте VS Code для Интернета непосредственно из браузера и без каких-либо необходимых установок или зависимостей.

Мы рекомендуем попробовать VS Code для Интернета, чтобы воспользоваться преимуществами простой интеграции и расширенной среды разработки, которая предоставляется. VS Code для Интернета предоставляет множество функций VS Code Desktop, включая поиск и синтаксис при просмотре и редактировании. Дополнительные сведения об использовании VS Code Desktop и VS Code для Интернета см. в статье "Запуск Visual Studio Code" с Машинное обучение Azure (предварительная версия) и удаленное подключение к вычислительному экземпляру (предварительная версия) в VS Code.

Можно установить пакеты и добавить ядра в вычислительный экземпляр.

В вычислительном экземпляре уже установлены следующие средства и среды:

Общие средства и среды Сведения
Драйверы CUDA
cuDNN
NVIDIA
Blob FUSE
Библиотека Intel MPI
Azure CLI
Образцы Машинного обучения Azure
Docker
Nginx
NCCL 2.0
Protobuf
Средства и среды R Сведения
Ядро R

При создании экземпляра можно добавить RStudio или Posit Workbench (ранее RStudio Workbench ).

Средства и среды PYTHON Сведения
Anaconda Python
Jupyter и расширения
Jupyterlab и расширения
пакет SDK Машинное обучение Azure
для Python из PyPI		 Включает azure-ai-ml и многие распространенные пакеты Azure. Чтобы просмотреть полный список,
откройте окно терминала в вычислительном экземпляре и запустите
conda list -n azureml_py310_sdkv2 ^azure
Другие пакеты PyPI jupytext
tensorboard
nbconvert
notebook
Pillow
Пакеты Conda cython
numpy
ipykernel
scikit-learn
matplotlib
tqdm
joblib
nodejs
Пакеты глубокого обучения PyTorch
TensorFlow
Keras
Horovod
MLFlow
pandas-ml
scrapbook
Пакеты ONNX keras2onnx
onnx
onnxconverter-common
skl2onnx
onnxmltools
Примеры Python для Машинного обучения Azure

Вычислительный экземпляр имеет Ubuntu в качестве базовой ОС.

Доступ к файлам

Записные книжки и скрипты Python хранятся в учетной записи хранения рабочей области по умолчанию в общей папке Azure. Эти файлы находятся в каталоге "Пользовательские файлы". Это хранилище упрощает обмен записными книжками между вычислительными экземплярами. Кроме того, учетная запись хранения позволяет безопасно сохранять записные книжки при завершении работы или удалении вычислительного экземпляра.

Учетная запись общей папки Azure в рабочей области подключается как диск в вычислительном экземпляре. Этот диск — это рабочий каталог по умолчанию для Jupyter, Jupyter Labs, RStudio и Posit Workbench. Это означает, что записные книжки и другие файлы, создаваемые в Jupyter, JupyterLab, VS Code для Web, RStudio или Posit, автоматически хранятся в общей папке и доступны для использования в других вычислительных экземплярах.

Файлы в общей папке доступны из всех вычислительных экземпляров в данной рабочей области. Любые изменения этих файлов в вычислительном экземпляре надежно сохраняются в общей папке.

Вы также можете клонировать последние образцы Машинного обучения Azure в папку в каталоге "Файлы пользователя" в общей папке рабочей области.

Запись небольших файлов на сетевые диски может выполняться медленнее, чем непосредственно на локальный диск вычислительного экземпляра. Если вы пишете много небольших файлов, попробуйте использовать каталог непосредственно в вычислительном /tmp экземпляре, например каталог. Обратите внимание, что эти файлы не будут доступны из других вычислительных экземпляров.

Не храните данные для обучения в общей папке с файлом записных книжек. Сведения о различных вариантах хранения данных см. в разделе "Доступ к данным в задании".

Можно использовать каталог /tmp в вычислительном экземпляре для временных данных. Кроме того, не записывайте большие файлы данных на диск ОС вычислительного экземпляра. Диск ОС на вычислительном экземпляре имеет емкость 128 ГБ. Кроме того, временные данные для обучения можно хранить на временном диске, подключенном к /mnt. Размер временного диска зависит от выбранного размера виртуальной машины. Он может вмещать больше данных, если выбрана виртуальная машина большего размера. Все устанавливаемые пакеты программного обеспечения сохраняются на диске операционной системы вычислительного экземпляра. Обратите внимание, что шифрование управляемых клиентом ключей в настоящее время не поддерживается для диска ОС. Диск операционной системы для вычислительного экземпляра шифруется с помощью управляемых корпорацией Майкрософт ключей.

Можно также подключать хранилища данных и наборы данных.

Создание

Выполните действия, описанные в статье "Создание ресурсов", которые необходимо приступить к созданию базового вычислительного экземпляра.

Дополнительные сведения см. в статье о создании нового вычислительного экземпляра.

Администратор может создать вычислительный экземпляр для других пользователей в рабочей области.

Вы также можете использовать скрипт установки для автоматического способа настройки и настройки вычислительного экземпляра.

Другие способы создания вычислительного экземпляра:

Квота выделенных ядер на регион на семейство ВМ и суммарная региональная квота, применяемая при создании вычислительного экземпляра, объединяется и используется совместно с квотой вычислительных кластеров Машинного обучения Azure. При остановке вычислительного экземпляра квота не освобождается, чтобы можно было перезапустить вычислительный экземпляр. Не остановите вычислительный экземпляр через терминал ОС, выполнив завершение работы sudo.

Вычислительный экземпляр поставляется с диском с ОС P10. Тип временного диска зависит от выбранного размера виртуальной машины. Сейчас изменить тип диска ОС нельзя.

Целевой объект вычислений

Вычислительные экземпляры можно использовать в качестве целевого объекта вычислений для обучения аналогично кластерам обучения Машинного обучения Azure. Но у вычислительного экземпляра есть только один узел, а у вычислительного кластера может быть больше узлов.

Вычислительный экземпляр:

  • Имеет очередь заданий.
  • Безопасно запускает задания в среде виртуальной сети, не требуя, чтобы предприятия открывали порт SSH. Задание выполняется в контейнерной среде и упаковывает зависимости модели в контейнер Docker.
  • Может выполнять несколько небольших заданий параллельно. Одно задание на виртуальный ЦП может выполняться параллельно, а остальные задания находятся в очереди.
  • Поддерживает распределенные задания обучения для нескольких GPU с одним узлом

Можно использовать вычислительный экземпляр в качестве локального целевого объекта развертывания для вывода в сценариях тестирования и отладки.

Совет

Размер диска ОС вычислительного экземпляра составляет 120 ГБ. Если на диске не хватает места и функционирование нарушилось, очистите не менее 5 ГБ пространства на диске ОС (подключенном к /) с помощью терминала вычислительного экземпляра, удалив файлы и папки, а затем выполните команду sudo reboot. Временный диск будет освобожден после перезагрузки; Не нужно очищать место на временном диске вручную. Для доступа к терминалу перейдите на страницу со списком вычислительных экземпляров или на страницу сведений о вычислительном экземпляре и щелкните ссылку Терминал. Чтобы проверить доступное дисковое пространство, выполните df -h в терминале. Перед выполнением sudo reboot освободите не менее 5 ГБ пространства. Не останавливайте и не перезапускайте вычислительный экземпляр с помощью Studio, пока в нем не будет освобождено 5 ГБ дискового пространства. Автоматическое завершение работы, включая запланированный запуск или остановку, а также завершение работы бездействия, не будет работать, если диск CI заполнен.

Следующие шаги