Краткое руководство. Настройка Виртуальная машина для обработки и анализа данных для Linux (Ubuntu)

  • Статья

Получите и запустите ubuntu 20.04 Виртуальная машина для обработки и анализа данных (DSVM) и AZURE DSVM для PyTorch.

Необходимые компоненты

Для создания Виртуальная машина для обработки и анализа данных Ubuntu 20.04 или azure DSVM для PyTorch требуется подписка Azure. Воспользуйтесь бесплатной пробной версией Azure.

Примечание.

Бесплатные учетные записи Azure не поддерживают номера SKU виртуальных машин с поддержкой GPU.

Создание виртуальной машины Linux для обработки и анализа данных

В этих шагах описывается создание экземпляра Ubuntu 20.04 Виртуальная машина для обработки и анализа данных (DSVM) или AZURE DSVM для PyTorch:

  1. Переход на портал Azure. Вы можете получить запрос на вход в учетную запись Azure, если вы еще не вошли в систему.

  2. Найдите список виртуальных машин. Сначала введите "виртуальная машина для обработки и анализа данных", а затем выберите "Виртуальная машина для обработки и анализа данных- Ubuntu 20.04" или "Azure DSVM для PyTorch"

  3. В следующем окне нажмите кнопку "Создать"

  4. Необходимо перенаправиться в колонку "Создание виртуальной машины"

  5. Введите следующие сведения, чтобы настроить каждый шаг мастера:

    1. Основные сведения:

      • Подписка. Если у вас несколько подписок, выберите одну из них, на которой будет создан компьютер и выставлен счет. Вам необходимо иметь права на создание ресурсов для этой подписки.

      • Группа ресурсов: создайте новую группу или используйте существующую.

      • Имя виртуальной машины: введите имя виртуальной машины. Это имя используется в портал Azure.

      • Регион: выберите наиболее подходящий центр обработки данных. Для быстрого доступа к сети это центр обработки данных, который имеет большую часть ваших данных или ближе всего к вашему физическому расположению. Дополнительные сведения см. в регионах Azure.

      • Изображение. Не изменяйте значение по умолчанию.

      • Размер: этот параметр должен автоматически заполняться размером, подходящим для общих рабочих нагрузок. Дополнительные сведения см. в статье о размерах виртуальных машин Linux в Azure.

      • Тип проверки подлинности: для быстрого настройки выберите "Пароль".

        Примечание.

        Если вы планируете использовать JupyterHub, обязательно выберите "Пароль", так как JupyterHub не настроен для использования открытых ключей SSH.

      • Имя пользователя: введите имя администратора. Это имя пользователя используется для входа в виртуальную машину. Это имя пользователя не обязательно соответствует имени пользователя Azure. Не используйте прописные буквы.

        Внимание

        Если в имени пользователя используются прописные буквы, JupyterHub не будет работать и появится сообщение 500 — внутренняя ошибка сервера.

      • Пароль. Введите пароль, который будет использоваться для входа в виртуальную машину.

    2. Выберите Review + create (Просмотреть и создать).

    3. Просмотреть и создать

      • Убедитесь, что все сведения введены правильно.
      • Нажмите кнопку создания.

    Процесс подготовки должен занять около 5 минут. В портал Azure отображается состояние.

Как получить доступ к виртуальной машине для обработки и анализа Ubuntu

Вы можете получить доступ к DSVM Ubuntu одним из четырех способов.

  • SSH для сеансов терминала
  • xrdp для графических сеансов
  • X2Go для графических сеансов
  • JupyterHub и JupyterLab для записных книжек Jupyter Notebook.

SSH

Если вы настроили виртуальную машину с проверкой подлинности SSH, вы можете войти с помощью учетных данных учетной записи, созданных в разделе "Основы " шага 3 для интерфейса текстовой оболочки. Дополнительные сведения см. в статье о подключении к виртуальной машине Linux.

xrdp

xrdp — это стандартное средство для доступа к графическим сеансам Linux. Хотя дистрибутив не включает это средство по умолчанию, эти инструкции объясняют, как установить его.

X2Go

Примечание.

При тестировании клиент X2Go выполнялся лучше, чем переадресация X11. Мы рекомендуем использовать клиент X2Go для графического классического интерфейса.

Виртуальная машина Linux развертывается сразу с сервером X2Go, который готов к приему клиентских подключений. Для подключения к графическому рабочему столу виртуальной машины Linux выполните следующую процедуру на клиенте.

  1. Скачайте клиент X2Go для своей клиентской платформы отсюдаи установите его.

  2. Обратите внимание на общедоступный IP-адрес виртуальной машины. В портал Azure откройте виртуальную машину, созданную для поиска этих сведений.

    Снимок экрана: общедоступный IP-адрес виртуальной машины.

  3. Запустите клиент X2Go. Если окно "Новый сеанс" не отображается автоматически, перейдите к сеансу —> новый сеанс.

  4. В результирующем окне конфигурации введите следующие параметры конфигурации:

    • Вкладка сеанса:
      • Узел: введите IP-адрес виртуальной машины, который вы указали ранее.
      • Имя входа. Введите имя пользователя на виртуальной машине Linux.
      • Порт SSH: оставьте его в 22. Это значение по умолчанию.
      • Тип сеанса: измените значение на XFCE. В настоящее время виртуальная машина Linux поддерживает только рабочий стол XFCE.
    • Вкладка "Мультимедиа": здесь можно отключить поддержку звука и печати на клиенте, если они не нужны.
    • Общие папки: используйте эту вкладку, чтобы добавить каталог клиентского компьютера, который требуется подключить на виртуальной машине.

    Снимок экрана: параметры нового сеанса X2Go.

  5. Нажмите ОК.

  6. Выберите поле в правой области окна X2Go, чтобы открыть экран входа для виртуальной машины.

  7. Введите пароль для виртуальной машины.

  8. Нажмите ОК.

  9. Возможно, потребуется предоставить разрешение X2Go, чтобы обойти брандмауэр, чтобы завершить процесс подключения.

  10. Теперь вы увидите графический интерфейс для DSVM Ubuntu.

JupyterHub и JupyterLab

На Ubuntu DSVM работает JupyterHub, многопользовательский сервер Jupyter. Чтобы подключиться, выполните следующие действия:

  1. Обратите внимание на общедоступный IP-адрес виртуальной машины. Чтобы найти это значение, найдите и выберите виртуальную машину в портал Azure, как показано на этом снимке экрана:

    Снимок экрана: общедоступный IP-адрес виртуальной машины.

  2. На локальном компьютере откройте веб-браузер и перейдите к https:// your-vm-ip:8000, заменив "your-vm-ip" НА IP-адрес, который вы указали ранее.

  3. Браузер, вероятно, не позволит открывать страницу напрямую. Это может сказать вам, что возникла ошибка сертификата. DSVM обеспечивает безопасность самозаверяющего сертификата. Большинство браузеров позволяют выбрать после этого предупреждения. Во многих браузерах будет по-прежнему отображатся визуальное предупреждение о сертификате в рамках вашего сеанса в Интернете.

    Примечание.

    Если в браузере ERR_EMPTY_RESPONSE отображается сообщение об ошибке, убедитесь, что вы обращаетесь к компьютеру явным образом с помощью протокола HTTPS . HTTP или просто веб-адрес не работает для этого шага. Если вы вводите веб-адрес без https:// адреса в адресной строке, большинство браузеров по умолчанию httpбудут отображаться, и появится ошибка.

  4. Введите имя пользователя и пароль, используемые для создания виртуальной машины, и войдите, как показано на этом снимке экрана.

    Снимок экрана: экран входа в JupyterHub.

    Примечание.

    Если на этом этапе появится ошибка 500, вероятно, вы использовали прописные буквы в имени пользователя. Это известная особенность взаимодействия между концентратором JupyterHub и средством PAMAuthenticator, которое он использует. Если появится сообщение об ошибке "Не удается достичь этой страницы", скорее всего, требуется корректировка разрешений группы безопасности сети. На портале Azure найдите ресурс группы безопасности сети в группе ресурсов. Чтобы получить доступ к JupyterHub из общедоступного Интернета, необходимо открыть порт 8000. (На рисунке показано, что эта виртуальная машина настроена для JIT-доступа, что настоятельно рекомендуется. Дополнительные сведения см. в статье "Защита портов управления с помощью JIT-доступа".)

    Снимок экрана: значения конфигурации группы безопасности сети.

  5. Просмотрите доступные примеры записных книжек.

Кроме того, доступен JupyterLab, следующее поколение записных книжек Jupyter, и JupyterHub. Чтобы получить доступ к нему, войдите в JupyterHub и перейдите по URL-адресу https://your-vm-ip:8000/user/имени пользователя или лаборатории, заменив имя пользователя именем пользователя, выбранное при настройке виртуальной машины. Опять же, потенциальные ошибки сертификатов могут первоначально блокировать доступ к сайту.

Чтобы задать JupyterLab в качестве сервера записной книжки по умолчанию, добавьте следующую строку в /etc/jupyterhub/jupyterhub_config.py:

c.Spawner.default_url = '/lab'

Следующие шаги

  • В пошаговом руководстве по обработке и анализу данных в Виртуальная машина для обработки и анализа данных для Linux показано, как выполнять несколько распространенных задач обработки и анализа данных с подготовленной здесь DSVM Linux.
  • Ознакомьтесь с инструментами, которые описаны в этой статье, чтобы изучить различные средства обработки и анализа данных в DSVM. Кроме того, можно выполнить команду dsvm-more-info в оболочке на виртуальной машине, чтобы получить базовые сведения и ссылки на дополнительные сведения об инструментах, которые установлены на виртуальной машине.
  • Узнайте, как систематически создавать аналитические решения с помощью процесса Обработка и анализ данных команды.
  • В Коллекции решений ИИ Azure можно найти примеры для машинного обучения и анализа данных, в которых используются службы ИИ Azure.
  • Ознакомьтесь с соответствующей справочной документацией по этой виртуальной машине.