Что такое виртуальная машина для обработки и анализа данных Azure на Linux и Windows?
Виртуальная машина для обработки и анализа данных (DSVM) — это настраиваемый образ виртуальной машины, доступный на облачной платформе Azure, и он может обрабатывать обработку данных. Он имеет множество популярных средств обработки и анализа данных, предварительно настроенных для перехода к созданию интеллектуальных приложений для расширенной аналитики.
DSVM можно использовать в следующих системах:
- Windows Server 2019
- Windows Server 2022
- Ubuntu 20.04 LTS
Кроме того, мы предлагаем azure DSVM для PyTorch — образ Ubuntu 20.04 из Azure Marketplace, оптимизированный для больших распределенных рабочих нагрузок глубокого обучения. Этот предварительно установленный DSVM проверяется с помощью последней версии PyTorch, чтобы сократить затраты на настройку и ускорить время для значения. Он поставляется с различными функциями оптимизации:
- Среда выполнения ONNX
- DeepSpeed
- MSCCL
- ORTMoE
- Fairscale
- Nvidia Apex
- Актуальный стек с последними совместимыми версиями Ubuntu, Python, PyTorch и CUDA
Сравнение со службой "Машинное обучение Azure"
DSVM — это настраиваемый образ виртуальной машины для Обработка и анализ данных, но Машинное обучение Azure — это сквозная платформа, которая охватывает:
- Полностью управляемые вычислительные ресурсы
- Экземпляры вычислений
- Вычислительные кластеры для распределенных задач Машинного обучения
- Кластеры вывода для оценки в реальном времени
- Хранилища данных (например, большой двоичный объект, ADLS 2-го поколения, база данных SQL)
- Отслеживание экспериментов
- управление моделью;
- Записные книжки
- Среды (управление зависимостями conda и R)
- Добавление меток
- Конвейеры (автоматизированные комплексные рабочие процессы обработки и анализа данных)
Сравнение с Машинное обучение Azure вычислительными экземплярами
Машинное обучение Azure вычислительные экземпляры — это полностью настроенный и управляемый образ виртуальной машины, а DSVM — неуправляемая виртуальная машина.
Основные различия между DSVM и Машинное обучение Azure вычислительным экземпляром:
| Функция | Обработка и анализ данных ВМ |
Машинное обучение Azure Вычислительный экземпляр |
|---|---|---|
| Полная управляемость | No | Да |
| Поддержка языков | Python, R, Julia, SQL, C#, Java, Node.js, F# |
Python и R |
| Операционная система | Ubuntu Windows |
Ubuntu |
| Предварительно настроенный параметр GPU | Да | Да |
| Параметр "Вертикально увеличить масштаб" | Да | Да |
| Доступ по протоколу SSH | Да | Да |
| Доступ по протоколу RDP | Да | Нет |
| Встроенный Размещенные записные книжки |
No (требуется дополнительная настройка) |
Да |
| Встроенный единый вход | Без (требуется дополнительная настройка) |
Да |
| Встроенная совместная работа | No | Да |
| Предварительно установленные средства | Jupyter(lab), VS Code, Visual Studio, PyCharm, Juno, Power BI Desktop, SSMS, Microsoft Office 365, Apache Drill |
Jupyter (лаборатория) |
Примеры вариантов использования DSVM для клиентов
Краткосрочные задачи экспериментирования и оценки
DSVM может оценивать или изучать новые средства обработки и анализа данных. Попробуйте некоторые из опубликованных примеров и пошаговых руководств.
Глубокое обучение с использованием GPU
В DSVM модели обучения могут использовать алгоритмы глубокого обучения на оборудовании на основе графического модуля обработки (GPU). Если вы используете преимущества возможностей масштабирования виртуальных машин платформы Azure, DSVM помогает использовать оборудование на основе GPU в облаке в соответствии с вашими потребностями. Вы можете переключиться на виртуальную машину на основе GPU при обучении больших моделей или при необходимости высокоскоростных вычислений при сохранении того же диска ОС. Вы можете выбрать любой из номеров SKU виртуальных машин с поддержкой N серии GPU с помощью DSVM. Бесплатные учетные записи Azure не поддерживают номера SKU виртуальных машин с поддержкой GPU.
DsVM windows edition поставляется предварительно с драйверами GPU, платформами и версиями GPU платформ глубокого обучения. В выпусках для Linux глубокое обучение на GPU включено во все версии DSVM.
Вы также можете развернуть выпуски Ubuntu или Windows DSVM на виртуальной машине Azure, которая не основана на GPU. В этом случае все платформы глубокого обучения возвращаются в режим ЦП.
Дополнительные сведения о доступных платформах для глубокого обучения и искусственного интеллекта.
Обучение и образование в области обработки и анализа данных
Корпоративные инструкторы и преподаватели, обучающие классы по обработке и анализу данных, обычно предоставляют образ виртуальной машины. Изображение гарантирует, что учащиеся оба имеют согласованную настройку и что образцы работают прогнозируемо.
DSVM создает среду по запросу с согласованной настройкой, чтобы упростить проблемы поддержки и несовместимости. Для случаев, когда необходимо часто создавать такие среды, особенно в рамках коротких учебных курсов, характерно больше преимуществ.
Что такое DSVM?
Дополнительные сведения см. в этом полном списке средств на виртуальных машинах DSVMs Windows и Linux.
Следующие шаги
Дополнительные сведения см. в следующих ресурсах: