Что такое виртуальная машина для обработки и анализа данных Azure на Linux и Windows?

  • Статья

Виртуальная машина для обработки и анализа данных (DSVM) — это настроенный образ виртуальной машины на облачной платформе Azure, созданный специально для обработки и анализа данных. Он имеет множество популярных средств обработки и анализа данных, предварительно настроенных для перехода к созданию интеллектуальных приложений для расширенной аналитики.

DSVM можно использовать в следующих системах:

  • Windows Server 2019
  • Windows Server 2022
  • Ubuntu 20.04 LTS

Кроме того, мы рады предложить AZURE DSVM для PyTorch, который является образом Ubuntu 20.04 из Azure Marketplace, оптимизированным для больших распределенных рабочих нагрузок глубокого обучения. Он поставляется предварительно установленным и проверенным с помощью последней версии PyTorch, чтобы сократить затраты на настройку и ускорить время для значения. Она поставляется с различными функциями оптимизации (ONNX Runtime, DeepSpeed, MSCCL, ORTMoE, Fairscale, Nvidia Apex) и актуальной стеком с последними совместимыми версиями Ubuntu, Python, PyTorch, CUDA.

Сравнение со службой "Машинное обучение Azure"

DSVM — это настраиваемый образ виртуальной машины для Обработка и анализ данных, но Машинное обучение Azure — это сквозная платформа, которая включает:

  • Полностью управляемые вычислительные ресурсы
    • Экземпляры вычислений
    • Вычислительные кластеры для распределенных задач Машинного обучения
    • Кластеры вывода для оценки в реальном времени
  • Хранилища данных (например, большой двоичный объект, ADLS 2-го поколения, база данных SQL)
  • Отслеживание экспериментов
  • управление моделью;
  • Записные книжки
  • Среды (управление зависимостями conda и R)
  • Добавление меток
  • Конвейеры (автоматизированные комплексные рабочие процессы обработки и анализа данных)

Сравнение с Машинное обучение Azure вычислительными экземплярами

Вычислительные экземпляры службы "Машинное обучение Azure" — это полностью настроенный и управляемый образ виртуальной машины, тогда как DSVM — неуправляемая виртуальная машина.

Основные различия между этими:

Компонент Обработка и анализ данных
ВМ		 Машинное обучение Azure
Вычислительный экземпляр
Полная управляемость No Да
Поддержка языков Python, R, Julia, SQL, C#,
Java, Node.js, F#		 Python и R
Операционная система Ubuntu
Windows		 Ubuntu
Предварительно настроенный параметр GPU Да Да
Параметр "Вертикально увеличить масштаб" Да Да
Доступ по протоколу SSH Да Да
Доступ по протоколу RDP Да Нет
Встроенный
Размещенные записные книжки		 No
(требуется дополнительная настройка)		 Да
Встроенный единый вход Без
(требуется дополнительная настройка)		 Да
Встроенная совместная работа No Да
Предварительно установленные средства Jupyter(lab), VS Code,
Visual Studio, PyCharm, Juno,
Power BI Desktop, SSMS,
Microsoft Office 365, Apache Drill		 Jupyter (лаборатория)

Примеры вариантов использования

Ниже приведены некоторые распространенные варианты использования для клиентов DSVM.

Краткосрочные задачи экспериментирования и оценки

Вы можете использовать DSVM, чтобы оценить или изучить новые инструменты обработки и анализа данных, особенно путем перехода к нашим опубликованным примерам и пошаговым руководствам.

Глубокое обучение с использованием GPU

В DSVM модели обучения могут использовать алгоритмы глубокого обучения на оборудовании, основанном на графических процессорах (GPU). Используя преимущества масштабирования виртуальных машин платформы Azure, DSVM помогает использовать оборудование на основе GPU в облаке в соответствии с вашими потребностями. Вы можете переключиться на виртуальную машину на основе GPU при обучении больших моделей или выполняете высокоскоростные вычисления, не меняя диск операционной системы. Вы можете выбрать любой из SKU виртуальных машин серии N с поддержкой GPU и DSVM. Обратите внимание, что номера SKU виртуальных машин с поддержкой GPU не поддерживаются в бесплатных учетных записях Azure.

Выпуски DSVM windows предварительно установлены с драйверами GPU, платформами и версиями GPU платформ глубокого обучения. В выпусках для Linux глубокое обучение на GPU включено во все версии DSVM.

Вы также можете развернуть DSVM в версии для Ubuntu или Windows 2016 на виртуальной машине Azure, которая не основана на GPU. В этом случае все платформы глубокого обучения возвращаются в режим ЦП.

Дополнительные сведения о доступных платформах для глубокого обучения и искусственного интеллекта.

Обучение и образование в области обработки и анализа данных

Корпоративные инструкторы и преподаватели, обучающие классы по обработке и анализу данных, обычно предоставляют образ виртуальной машины. Этот образ гарантирует, что учащиеся будут иметь одинаковые настройки, а примеры программ — работать предсказуемо.

DSVM создает требуемую среду с согласованными настройками, что упрощает задачи поддержки и устраняет проблемы несовместимости. Для случаев, когда необходимо часто создавать такие среды, особенно в рамках коротких учебных курсов, характерно больше преимуществ.

Что входит в DSVM?

Полный список инструментов для DSVM на Windows и Linux смотрите здесь.

Следующие шаги

См. сведения в следующих статьях: