Какие средства включены в Виртуальную машину Azure для обработки и анализа данных?
Виртуальная машина для обработки и анализа данных — это простой способ исследовать данные и выполнять машинное обучение в облаке. Виртуальные машины для обработки и анализа данных предварительно настроены полной операционной системой, обновлениями для системы безопасности, драйверами, а также популярным программным обеспечением для обработки и анализа данных, а также разработки. Вы можете выбрать среду оборудования, начиная от недорогих ЦП-ориентированных машин, заканчивая очень мощными машинами с несколькими GPU, хранилищами NVMe и большими объемами памяти. На компьютерах с GPU установлены все драйверы, а все платформы машинного обучения соответствуют версии для совместимости с GPU. Кроме того, во все прикладные программы, поддерживающие GPU, включено ускорение.
Виртуальная машина для обработки и анализа данных предоставляется вместе с предварительно установленными инструментами для обработки и анализа данных.
Создание решений для глубокого и машинного обучения
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| CUDA, cuDNN, драйвер NVIDIA | ✅ | ✅ | ✅ |
CUDA, cuDNN, драйвер NVIDIA на DSVM |
| Horovod | ❌ | ❌ | ✅ | Horovod на DSVM |
| NVidia System Management Interface (nvidia-smi) | ✅ | ✅ | ✅ | nvidia-smi на DSVM |
| PyTorch | ✅ | ✅ | ✅ | PyTorch на DSVM |
| TensorFlow | ✅ | ✅ |
✅ | TensorFlow на DSVM |
| Инструменты, интегрирующиеся с Машинным обучением Azure (Python) | ✅ (пакет SDK для Python, примеры) |
✅ (пакет SDK для Python, примеры) |
✅ (пакет SDK для Python, CLI, примеры) |
Пакет SDK для Машинного обучения Azure |
| XGBoost | ✅ (поддержка CUDA) |
✅ (поддержка CUDA) |
✅ (поддержка CUDA) |
XGBoost на DSVM |
| Vowpal Wabbit | ✅ | ✅ | ✅ |
Vowpal Wabbit на DSVM |
| Weka | ❌ | ❌ | ❌ | |
| LightGBM | ❌ | ❌ | ✅ (поддержка GPU и MPI) |
|
| H2O | ❌ | ❌ | ✅ | |
| CatBoost | ❌ | ❌ | ✅ | |
| Intel MKL | ❌ | ❌ | ✅ | |
| OpenCV | ❌ | ❌ | ✅ | |
| Dlib | ❌ | ❌ | ✅ | |
| Docker | ✅ (Только контейнеры Windows) |
✅ (Только контейнеры Windows) |
✅ | |
| Nccl | ❌ | ❌ | ✅ | |
| Rattle | ❌ | ❌ | ❌ | |
| PostgreSQL | ❌ | ❌ | ✅ | |
| Среда выполнения ONNX | ❌ | ❌ | ✅ |
Хранение, извлечение и обработка данных
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| Реляционные базы данных | SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server на DSVM |
| Средства работы с базами данных | Среда SQL Server Management Studio SQL Server Integration Services bcp, sqlcmd |
Среда SQL Server Management Studio SQL Server Integration Services bcp, sqlcmd |
SQuirreL SQL (средство запроса), bcp, sqlcmd Драйверы ODBC и JDBC |
|
| Обозреватель службы хранилища Azure | ✅ |
✅ |
||
| Azure CLI | ✅ |
✅ |
✅ |
|
| AzCopy | ✅ |
✅ |
❌ | AzCopy на DSVM |
| Драйвер больших двоичных объектов FUSE | ❌ | ❌ | ❌ |
blobfuse на DSVM |
| Средство переноса данных Azure Cosmos DB | ✅ | ✅ | ❌ | Azure Cosmos DB в DSVM |
| Программы командной строки для Unix и Linux | ❌ | ❌ | ✅ | |
| Apache Spark 3.1 (изолированный экземпляр) | ✅ | ✅ | ✅ |
Программы на языках Python, R, Julia и Node.js
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| CRAN-R с предварительно установленными популярными пакетами | ✅ | ✅ | ✅ | |
| Anaconda Python с предустановленными популярными пакетами | ✅ | ✅ (Miniconda) |
✅ (Miniconda) |
|
| Julia (Julialang) | ✅ | ✅ | ✅ | |
| JupyterHub (многопользовательский сервер записной книжки) | ❌ | ❌ | ✅ | |
| JupyterLab (многопользовательский сервер записной книжки) | ✅ | ✅ | ✅ | |
| Node.js | ✅ | ✅ | ✅ | |
| Сервер Jupyter Notebook со следующими ядрами: | ✅ |
✅ |
✅ | Примеры записной книжки Jupyter |
| R | Примеры R Jupyter | |||
| Python | Примеры Python Jupyter | |||
| Julia | Примеры Julia Jupyter | |||
| PySpark | Примеры pySpark Jupyter |
Ubuntu 20.04 DSVM, Windows Server 2019 DSVM и WINDOWS Server 2022 DSVM имеют следующие ядра Jupyter:-
- Python3.8-default
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
- R
- Python 3.7 — Spark (локальный)
- Julia 1.6.0
- R Spark — HDInsight
- Scala Spark — HDInsight
- Python 3 Spark — HDInsight
Ubuntu 20.04 DSVM, Windows Server 2019 DSVM и WINDOWS Server 2022 DSVM имеют следующие среды conda:
- Python3.8-default
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
Использование предпочтительного редактора или интегрированной среды разработки
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| Notepad++ | ✅ |
✅ |
❌ |
|
| Nano | ✅ |
✅ |
❌ |
|
| Visual Studio 2019 Community Edition | ✅ |
✅ | ❌ | Visual Studio на DSVM |
| Visual Studio Code | ✅ |
✅ |
✅ |
Visual Studio Code на DSVM |
| PyCharm Community Edition | ✅ |
✅ |
✅ |
PyCharm на DSVM |
| IntelliJ IDEA | ❌ | ❌ | ✅ | |
| Vim | ❌ | ❌ | ✅ |
|
| Emacs | ❌ | ❌ | ✅ |
|
| Git и Git Bash | ✅ |
✅ |
✅ |
|
| OpenJDK 11 | ✅ |
✅ |
✅ |
|
| .NET Framework | ✅ |
✅ |
❌ | |
| Пакет Azure SDK | ✅ |
✅ | ✅ |
Упорядочение и представление результатов
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| Microsoft 365 (Word, Excel, PowerPoint) | ✅ | ✅ | ❌ | |
| Microsoft Teams | ✅ | ✅ | ❌ | |
| Power BI Desktop. | ✅ | ✅ |
❌ | |
| Браузер Microsoft Edge | ✅ | ✅ | ✅ |