Welche Tools sind in Azure Data Science Virtual Machine enthalten?
Data Science Virtual Machine stellt eine einfache Möglichkeit dar, Daten zu erkunden und maschinelles Lernen in der Cloud zu nutzen. Data Science Virtual Machine-Instanzen sind mit dem gesamten Betriebssystem, Sicherheitspatches, Treibern und gängiger Data Science- und Entwicklungssoftware vorkonfiguriert. Bei der Hardwareumgebung reicht das Spektrum von kostengünstigeren CPU-zentrischen Computern bis hin zu Hochleistungscomputern mit mehreren GPUs, NVMe-Speicher und umfangreichem Arbeitsspeicher. Bei Computern mit GPUs sind alle Treiber installiert, die Version aller Frameworks für maschinelles Lernen ist jeweils abgestimmt, um die GPU-Kompatibilität zu gewährleisten, und die Beschleunigung ist in jeder Anwendungssoftware mit GPU-Unterstützung aktiviert.
In Data Science Virtual Machine sind die nützlichsten Data Science-Tools vorinstalliert.
Erstellen von Lösungen für maschinelles Lernen und Deep Learning
Tool | DSVM unter Windows Server 2019 | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Hinweise zur Verwendung |
---|---|---|---|---|
CUDA-, cuDNN-, NVIDIA-Treiber | ✅ | ✅ | ✅ |
CUDA-, cuDNN- und NVIDIA-Treiber in DSVM |
Horovod | ❌ | ❌ | ✅ | Horovod in DSVM |
NVidia System Management Interface (nvidia-smi) | ✅ | ✅ | ✅ | nvidia-smi in DSVM |
PyTorch | ✅ | ✅ | ✅ | PyTorch in DSVM |
TensorFlow | ✅ | ✅ |
✅ | TensorFlow in DSVM |
Integration mit Azure Machine Learning (Python) | ✅ (Python SDK, Beispiele) |
✅ (Python SDK, Beispiele) |
✅ (Python SDK, CLI, Beispiele) |
Azure Machine Learning SDK |
XGBoost | ✅ (CUDA-Support) |
✅ (CUDA-Support) |
✅ (CUDA-Support) |
XGBoost in DSVM |
Vowpal Wabbit | ✅ | ✅ | ✅ |
Vowpal Wabbit in DSVM |
Weka | ❌ | ❌ | ❌ | |
LightGBM | ❌ | ❌ | ✅ (GPU-, MPI-Support) |
|
H2O | ❌ | ❌ | ✅ | |
CatBoost | ❌ | ❌ | ✅ | |
Intel MKL | ❌ | ❌ | ✅ | |
OpenCV | ❌ | ❌ | ✅ | |
Dlib | ❌ | ❌ | ✅ | |
Docker | ✅ (Nur Windows-Container) |
✅ (Nur Windows-Container) |
✅ | |
Nccl | ❌ | ❌ | ✅ | |
Rattle | ❌ | ❌ | ❌ | |
PostgreSQL | ❌ | ❌ | ✅ | |
ONNX-Runtime | ❌ | ❌ | ✅ |
Speichern, Abrufen und Bearbeiten von Daten
Tool | DSVM unter Windows Server 2019 | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Hinweise zur Verwendung |
---|---|---|---|---|
Relationale Datenbanken | SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server in DSVM |
Datenbanktools | SQL Server Management Studio SQL Server Integration Services bcp, sqlcmd |
SQL Server Management Studio SQL Server Integration Services bcp, sqlcmd |
SQuirreL SQL (Abfragetool), bcp, sqlcmd ODBC/JDBC-Treiber |
|
Azure Storage-Explorer | ✅ |
✅ |
||
Azure-Befehlszeilenschnittstelle | ✅ |
✅ |
✅ |
|
AzCopy | ✅ |
✅ |
❌ | AzCopy auf DSVM |
Blob-FUSE-Treiber | ❌ | ❌ | ❌ |
blobfuse in DSVM |
Azure Cosmos DB: Datenmigrationstool | ✅ | ✅ | ❌ | Azure Cosmos DB in DSVM |
Unix/Linux-Befehlszeilentools | ❌ | ❌ | ✅ | |
Apache Spark 3.1 (eigenständige Instanz) | ✅ | ✅ | ✅ |
Programm in Python, R, Julia und Node.js
Tool | DSVM unter Windows Server 2019 | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Hinweise zur Verwendung |
---|---|---|---|---|
CRAN-R mit beliebten vorinstallierten Paketen | ✅ | ✅ | ✅ | |
Anaconda Python mit beliebten vorinstallierten Paketen | ✅ | ✅ (Miniconda) |
✅ (Miniconda) |
|
Julia (Julialang) | ✅ | ✅ | ✅ | |
JupyterHub (Notebook-Server für mehrere Benutzer) | ❌ | ❌ | ✅ | |
JupyterLab (Notebook-Server für mehrere Benutzer) | ✅ | ✅ | ✅ | |
Node.js | ✅ | ✅ | ✅ | |
Jupyter Notebook-Server mit folgenden Kernels: | ✅ |
✅ |
✅ | Jupyter Notebook-Beispiele |
R | R Jupyter-Beispiele | |||
Python | Python Jupyter-Beispiele | |||
Julia | Julia Jupyter-Beispiele | |||
PySpark | pySpark Jupyter-Beispiele |
Ubuntu 20.04 DSVM, Windows Server 2019 DSVM und Windows Server 2022 DSVM haben die folgenden Jupyter Kernels:-
- Python3.8-default
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
- R
- Python 3.7 – Spark (lokal)
- Julia 1.6.0
- R Spark – HDInsight
- Scala Spark – HDInsight
- Python 3 Spark – HDInsight
Ubuntu 20.04 DSVM, Windows Server 2019 DSVM und Windows Server 2022 DSVM verfügen über die folgenden Conda-Umgebungen:-
- Python3.8-default
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
Verwenden Ihres bevorzugten Editors oder Ihrer bevorzugten IDE
Tool | DSVM unter Windows Server 2019 | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Hinweise zur Verwendung |
---|---|---|---|---|
Editor (Notepad++) | ✅ |
✅ |
❌ |
|
Nano | ✅ |
✅ |
❌ |
|
Visual Studio 2019 Community Edition | ✅ |
✅ | ❌ | Visual Studio in DSVM |
Visual Studio Code | ✅ |
✅ |
✅ |
Visual Studio Code in DSVM |
PyCharm Community Edition | ✅ |
✅ |
✅ |
PyCharm in DSVM |
IntelliJ IDEA | ❌ | ❌ | ✅ | |
Vim | ❌ | ❌ | ✅ |
|
Emacs | ❌ | ❌ | ✅ |
|
Git und Git Bash | ✅ |
✅ |
✅ |
|
OpenJDK 11 | ✅ |
✅ |
✅ |
|
.NET Framework | ✅ |
✅ |
❌ | |
Azure SDK | ✅ |
✅ | ✅ |
Organisieren und Präsentieren von Ergebnissen
Tool | DSVM unter Windows Server 2019 | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Hinweise zur Verwendung |
---|---|---|---|---|
Microsoft 365 (Word, Excel, PowerPoint) | ✅ | ✅ | ❌ | |
Microsoft Teams | ✅ | ✅ | ❌ | |
Power BI Desktop | ✅ | ✅ |
❌ | |
Microsoft Edge Browser | ✅ | ✅ | ✅ |