Настройка лаборатории для обучения обработке и анализу данных с использованием Python и Jupyter Notebook

Внимание

Поддержка служб лабораторий Azure прекратится 28 июня 2027 г. Дополнительные сведения см. в руководстве по выходу на пенсию.

В этой статье описывается, как настроить шаблон виртуальной машины в службах лабораторий Azure, включающих средства обучения учащихся для использования Записных книжек Jupyter. Вы также узнаете, как пользователи лаборатории могут подключаться к записным книжкам на виртуальных машинах.

Jupyter Notebooks — это проект с открытым исходным кодом, который позволяет легко объединять форматированный текст и исполняемый исходный код Python на одном холсте, известном как записная книжка. Запустите записную книжку, чтобы создать линейную запись входных и выходных данных. Эти выходные данные могут включать текст, таблицы данных, точечные диаграммы и многое другое.

Примечание.

Эта статья ссылается на возможности, доступные в планах лабораторий, которые заменили учетные записи лаборатории.

Предварительные условия

• Чтобы настроить эту лабораторию, вам потребуется доступ к подписке Azure. Обсудите с администратором организации, чтобы узнать, можно ли получить доступ к существующей подписке Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись перед началом работы.

Настройка параметров плана лаборатории

После того как у вас есть подписка Azure, вы можете создать план лаборатории в Службах лабораторий Azure. Дополнительные сведения о создании нового плана лаборатории см. в кратком руководстве по настройке ресурсов для создания лабораторий. Вы также можете использовать существующий лабораторный план.

В этой лаборатории в качестве базового образа виртуальной машины используется один из образов Виртуальной машины для анализа данных. Эти образы доступны в Azure Marketplace. Этот параметр позволяет создателям лаборатории выбрать изображение в качестве базового образа для своей лаборатории. Эти изображения необходимо включить в вашем плане лаборатории.

Выполните следующие действия, чтобы включить эти образы Azure Marketplace, доступные создателям лабораторий.

• Выберите один из следующих образов Azure Marketplace в зависимости от требований к операционной системе:

  • Виртуальная машина для обработки и анализа данных — Windows Server 2019/Windows Server 2022
  • Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

• Кроме того, создайте пользовательский образ виртуальной машины:

  Образы виртуальных машин для анализа данных в Azure Marketplace уже настроены с Jupyter Notebook. Эти изображения также включают другие средства разработки и моделирования для обработки и анализа данных. Если вам не нужны эти дополнительные средства и требуется упрощенная настройка только с записными книжками Jupyter, создайте пользовательский образ виртуальной машины. Пример см. в статье об установке JupyterHub в Azure.

  После создания пользовательского образа загрузите его в галерею образов, чтобы использовать с службами лабораторий Azure. Дополнительные сведения о использовании галереи вычислений в Службах лабораторий Azure.

Создание лаборатории

• Создайте лабораторию для вашего лабораторного плана:

  Инструкции по созданию лаборатории см. в руководстве по настройке лаборатории. Укажите следующие параметры лаборатории:

  Параметры лаборатории	Значение
  размер виртуальной машины;	Чтобы настроить базовый доступ к Jupyter Notebooks, выберите Small или Medium (Средний). Выберите Альтернативный Небольшой GPU (Вычисление) для вычислительно-интенсивных и сетево-интенсивных приложений, используемых на занятиях по искусственному интеллекту и глубокому обучению.
  Образ виртуальной машины	Выберите виртуальную машину для обработки и анализа данных — Windows Server 2019, виртуальную машину для обработки и анализа данных — Windows Server 2022 или виртуальную машину для обработки и анализа данных — Ubuntu.
  Параметры шаблона виртуальной машины	Выберите "Использовать виртуальную машину без настройки".

• При создании лаборатории в размере Alternative Small GPU (Compute)установите драйверы GPU.

  Этот процесс устанавливает последние драйверы NVIDIA и набор инструментов вычислительной унифицированной архитектуры (CUDA), которые необходимы для обеспечения высокопроизводительных вычислений на GPU. Дополнительные сведения см. в статье "Настройка лаборатории с виртуальными машинами GPU".

Шаблон конфигурации компьютера

После создания лаборатории создайте шаблон виртуальной машины на основе выбранного размера виртуальной машины и образа. Настройте шаблонную виртуальную машину, добавив всё, что вы хотите предоставить студентам для этого класса. Дополнительные сведения см. в статье "Создание шаблона и управление ими" в службах лабораторий Azure.

Образы виртуальных машин для науки о данных оснащены многими платформами и инструментами, необходимыми для данного типа занятий. Например, эти образы включают:

• Записные книжки Jupyter: веб-приложение, позволяющее специалистам по обработке и анализу данных принимать необработанные данные, выполнять вычисления и просматривать результаты в той же среде. Он выполняется локально на виртуальной машине шаблона.
• Visual Studio Code: интегрированная среда разработки (IDE), которая обеспечивает широкий интерактивный интерфейс при написании и тестировании записной книжки. Дополнительные сведения см. в статье "Работа с записными книжками Jupyter" в Visual Studio Code.

Виртуальная машина для обработки и анализа данных — образ Ubuntu подготовлен с сервером X2Go, чтобы пользователи лаборатории могли использовать графический рабочий стол.

Включение инструментов для использования GPU

Если вы используете Малый альтернативный GPU (вычисления), рекомендуется убедиться, что фреймворки и библиотеки для анализа данных настроены правильно для использования GPU. Может потребоваться установить другую версию драйверов NVIDIA и набора средств CUDA. Чтобы настроить графические процессоры, обратитесь к документации платформы или библиотеки.

Например, чтобы проверить, использует ли TensorFlow GPU, подключитесь к виртуальной машине шаблона и запустите следующий код Python-TensorFlow в Jupyter Notebook:

import tensorflow as tf
from tensorflow.python.client import device_lib

print(device_lib.list_local_devices())

Если выходные данные из этого кода выглядят следующим образом, TensorFlow не использует GPU:

[name: "/device:CPU:0"
device_type: "CPU"
memory_limit: 268435456
locality {
}
incarnation: 15833696144144374634
]

Продолжая работу с этим примером, смотрите поддержку GPU для TensorFlow для получения рекомендаций. Руководство TensorFlow охватывает следующие действия:

• Требуемая версия драйверов NVIDIA
• Требуемая версия набора средств CUDA
• Инструкции по установке библиотеки глубокой нейронной сети NVIDIA CUDA (cudDNN)

После выполнения действий TensorFlow по настройке GPU при повторном запуске тестового кода вы увидите результаты, аналогичные приведенным ниже выходным данным.

[name: "/device:CPU:0"
device_type: "CPU"
memory_limit: 268435456
locality {
}
incarnation: 15833696144144374634
, name: "/device:GPU:0"
device_type: "GPU"
memory_limit: 11154792128
locality {
  bus_id: 1
  links {
  }
}
incarnation: 2659412736190423786
physical_device_desc: "device: 0, name: NVIDIA Tesla K80, pci bus id: 0001:00:00.0, compute capability: 3.7"
]

Предоставление записных книжек для класса

Следующая задача — предоставить пользователям лаборатории записные книжки, которые вы хотите использовать. Записные книжки можно сохранить локально на виртуальной машине-шаблоне, чтобы каждый пользователь лаборатории мог иметь собственную копию.

Если вы хотите использовать примеры записных книжек из Машинного обучения Azure, узнайте, как настроить среду с помощью Jupyter Notebook.

Опубликуйте машину-шаблон

Чтобы сделать виртуальную машину лаборатории доступной для пользователей лаборатории, опубликуйте шаблон. Виртуальная машина лаборатории содержит все локальные средства и записные книжки, настроенные ранее.

Подключение к Записным книжкам Jupyter

В следующих разделах показаны различные способы подключения пользователей лаборатории к Jupyter Notebook на виртуальной машине лаборатории.

Использование Записных книжек Jupyter на виртуальной машине лаборатории

Пользователи лаборатории могут подключаться с локального компьютера к виртуальной машине лаборатории, а затем использовать Jupyter Notebook в виртуальной машине лаборатории.

При использовании виртуальной машины лаборатории под управлением Windows пользователи лаборатории могут подключаться к виртуальным машинам лаборатории через удаленный рабочий стол (RDP). Дополнительные сведения см. в статье о подключении к виртуальной машине лаборатории Windows.

При использовании виртуальной машины лаборатории под управлением Linux пользователи лаборатории могут подключаться к виртуальным машинам лаборатории через SSH или с помощью X2Go. Дополнительные сведения см. в статье о подключении к виртуальной машине лаборатории Linux.

SSH-туннель к серверу Jupyter на виртуальной машине

Для лабораторий на основе Linux вы также можете подключиться непосредственно с локального компьютера к серверу Jupyter на виртуальной машине лаборатории. Протокол SSH обеспечивает перенаправление портов между локальным компьютером и удаленным сервером. Это виртуальная машина лаборатории пользователя. Приложение, которое выполняется на определенном порту на сервере, туннелируется в порт сопоставления на локальном компьютере.

Выполните следующие действия, чтобы настроить туннель SSH между локальным компьютером пользователя и сервером Jupyter на виртуальной машине лаборатории:

1. Перейдите на веб-сайт Служб лабораторий Azure.

2. Убедитесь, что виртуальная машина лаборатории под управлением Linux запущена.

3. Нажмите на значок Подключение>Подключиться через SSH, чтобы получить команду для подключения SSH.

   Команда подключения SSH выглядит следующим образом:

   ssh -p 12345 student@ml-lab-00000000-0000-0000-0000-000000000000.eastus2.cloudapp.azure.com
   

   Узнайте больше о том, как подключиться к виртуальной машине Linux.

4. На локальном компьютере запустите терминал или командную строку и скопируйте в нее строку подключения SSH. Затем добавьте -L 8888:localhost:8888 в командную строку, которая создает туннель между портами.

   Последняя команда должна выглядеть следующим образом.

   ssh –L 8888:localhost:8888 -p 12345 student@ml-lab-00000000-0000-0000-0000-000000000000.eastus.cloudapp.azure.com
   

5. Нажмите клавишу ВВОД , чтобы выполнить команду.

6. При появлении запроса укажите пароль виртуальной машины лаборатории для подключения к виртуальной машине лаборатории.

7. При подключении к виртуальной машине запустите сервер Jupyter с помощью следующей команды:

   jupyter notebook
   

   Команда выводит URL-адрес сервера Jupyter в терминале. URL-адрес должен выглядеть следующим образом:

   http://localhost:8888/?token=8c09ecfc93e6a8cbedf9c66dffdae19670a64acc1d37
   

8. Чтобы подключиться к Jupyter Notebook и работать с ним, вставьте этот URL-адрес в браузер на локальном компьютере.

   Примечание.

   Visual Studio Code также обеспечивает отличный интерфейс редактирования Jupyter Notebook. Вы можете следовать инструкциям по подключению к удаленному серверу Jupyter и использовать тот же URL-адрес из предыдущего шага, чтобы подключиться из VS Code вместо браузера.

Связанный контент

Из этой статьи вы узнали, как создать лабораторию для класса Jupyter Notebooks и как пользователь может подключаться к своим записным книжкам на виртуальной машине лаборатории. Вы можете использовать аналогичную настройку для других курсов машинного обучения.

Теперь образ шаблона можно сделать доступным в лаборатории. Дополнительные сведения см. в статье "Публикация виртуальной машины шаблона".

Ознакомьтесь со следующими статьями, связанными с настройкой лаборатории:

• Установка квоты
• Настройка расписания
• Добавление пользователей
• Ссылки на регистрацию электронной почты для учащихся