Заметки о выпуске Виртуальной машины для обработки и анализа данных Azure

  • Статья

В этой статье вы узнаете новости о выпусках Виртуальной машины для обработки и анализа данных Azure. Полный список включенных в нее средств и номера версий можно получить на этой странице.

В связи с быстро меняющимися потребностями и обновлениями пакетов мы планируем ежемесячно выпускать новые образы виртуальной машины для обработки и анализа данных Azure для Windows и Ubuntu.

Пользователи портала Azure всегда найдут последний образ, доступный для подготовки виртуальной машины для обработки и анализа данных. Для пользователей CLI или Azure Resource Manager (ARM) образы отдельных версий хранятся в течение 12 месяцев. По истечении этого периода определенная версия образа становится недоступной для подготовки.

Ознакомьтесь со списком известных проблем, чтобы получить сведения об известных ошибках и способах их устранения.

20 декабря 2023 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия 23.12.18

Основные изменения:

  • numpy version 1.22.3
  • pytz version 2022.6
  • torch version 1.12.0
  • certifi version 2023.7.2
  • azure-mgmt-network до версии 25.1.0.
  • scikit-learn version 1.0.2
  • scipy version 1.9.2
  • accuracy
  • pickle5
  • pillow version 10.1.0
  • experimental
  • ipykernel version 6.14.0
  • en_core_web_sm

18 декабря 2023 г.

Виртуальная машина для обработки и анализа данных — Windows 2019

Версия 23.12.11

Основные изменения:

  • SDK 1.54.0
  • numba
  • Scipy
  • azure-core до версии 1.29.4.
  • azure-identity до версии 1.14.0.
  • azure-storage-queue до версии 12.7.2.

5 декабря 2023 г.

Предложение DSVM для Обработка и анализ данных виртуальной машины — Windows 2022 теперь общедоступен в Marketplace.

Версия 23.11.23

Основные изменения:

  • SDK 1.54.0
  • numba
  • Scipy
  • azure-core до версии 1.29.4.
  • azure-identity до версии 1.14.0.
  • azure-storage-queue до версии 12.7.2.

26 июля 2023 г.

Новое предложение DSVM для виртуальной машины Обработка и анализ данных — Windows 2022 (предварительная версия) в настоящее время находится в Marketplace.

Версия 23.06.25

Основные изменения:

  • SDK 1.51.0

26 апреля 2023 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия 23.04.24

Основные изменения:

  • SDK 1.50.0
  • Dotnet обновлен до 6.0 пакета SDK
  • Функция GPU PyTorch исправлена в среде azureml_py38_PT_and_TF.
  • Blbfuse обновлен до blobfuse2

4 апреля 2023 г.

Виртуальная машина для обработки и анализа данных — Windows 2019

Версия: 23.03.31

Основные изменения:

  • SDK 1.49
  • Драйверы Cuda обновлены до 11.4
  • Функции GPU PyTorch, фиксированные в azureml_py38 средах и azureml_py28_PT_and_TF средах
  • Dotnet обновлено до 6.0

10 января 2023 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия: 23.01.06

Основные изменения:

  • Добавлен пакет R ranger
  • Закреплено pandas==1.1.5 и numpy==1.23.0 в azureml_py38 среде

30 ноября 2022 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия: 22.11.25

Основные изменения:

  • Azure Machine Learning SDK V2 Примеры включены
  • Ray до версии 2.0.0.
  • Добавлено clock, recipesR пакеты
  • azureml-core до версии 1.47.0.
  • azure-ai-ml до версии 1.1.1.

Виртуальная машина для обработки и анализа данных — Windows 2019

Версия: 22.11.27

Основные изменения:

  • Azure Machine Learning SDK V2 Примеры включены
  • RScirpt Выравнивание пути к среде
  • Ray пакет версии 2.0.0 , добавленный в azureml_py38 среды и azureml_py38_PT_TF среды.
  • azureml-core до версии 1.47.0.
  • azure-ai-ml до версии 1.1.1.

20 сентября 2022 г.

Объявление: начиная с 1 октября 2022 г. в Marketplace не будет доступен ubuntu 18 DSVM. Мы рекомендуем пользователям переходить на Ubuntu 20 DSVM, так как мы продолжаем отправлять обновления и исправления на нашей последней виртуальной машине Обработка и анализ данных — Ubuntu 20.04

Пользователи, использующие шаблон Azure Resource Manager (ARM) или масштабируемый набор виртуальных машин для развертывания компьютеров DSVM Ubuntu, должны настроить следующее:

ПРЕДЛОЖЕНИЕ номер SKU
ubuntu-2004 2004 для 1-го поколения или 2004-го поколения для размеров виртуальных машин 2-го поколения

Вместо:

ПРЕДЛОЖЕНИЕ номер SKU
ubuntu-1804 1804 для 1-го поколения или 1804-го поколения 2-го поколения для размеров виртуальных машин 2-го поколения

Примечание. По состоянию на обновление 2022 года существующие клиенты по-прежнему находятся в Ubuntu-18 DSVM. Однако план нерекомендуемого использования запланирован на декабрь 2022 года. Рекомендуется переключиться на DSVM Ubuntu-20 в самом раннем удобном режиме.

19 сентября 2022 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия 22.09.19

Основные изменения:

  • .NET Framework до версии 3.1.423.
  • Azure Cli до версии 2.40.0.
  • Intelijidea до версии 2022.2.2.
  • Браузер Microsoft Edge до версии 107.0.1379.1
  • Nodejs до версии v16.17.0.
  • Pycharm до версии 2022.2.1.

Обновления конкретной среды:

azureml_py38:

  • azureml-core до версии 1.45.0.

py38_default:

  • Jupyter Lab до версии 3.4.7.
  • azure-core до версии 1.25.1.
  • keras до версии 2.10.0.
  • tensorflow-gpu до версии 2.10.0.

12 сентября 2022 г.

Виртуальная машина для обработки и анализа данных — Windows 2019

Версия 22.09.06

Основные изменения:

  • Обновлен базовый образ уровня ОС.

16 августа 2022 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия 22.08.11

Основные изменения:

  • Версия Jupyterlab обновлена до 3.4.5.
  • matplotlib и azureml-mlflow добавлено в среду sdkv2.
  • Модуль порождения Jupyterhub перенастроен на корневую среду.

28 июля 2022 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия 22.07.19

Основные изменения:

  • Azure Cli обновлено до версии 2.38.0
  • Nodejs обновлено до версии v16.16.0
  • Scala обновлено до версии 2.12.15
  • Spark обновлено до версии 3.2.2
  • Записная книжка MMLSpark представила версию v0.10.0
  • 4 дополнительные библиотеки R: janitor, skimr, palmerpenguins и doParallel
  • Добавлена новая среда Машинное обучение Azureazureml_310_sdkv2

Виртуальная машина для обработки и анализа данных — Windows 2019

Версия 22.07.18

Основные изменения:

  • Обновлен общий уровень ОС.

11 июля 2022 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 18.04 и виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия 22.07.08

Основные изменения:

  • Исправлены незначительные ошибки.

28 июня 2022 г.

Виртуальная машина для обработки и анализа данных — Windows 2019 и Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия 22.06.10

Виртуальная машина для обработки и анализа данных — Ubuntu 18.04

Версия 22.06.13

Основные изменения:

  • Удалите программный инструмент Rstudio из образов DSVM.

17 мая 2022 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия 22.05.11

Основные изменения:

  • Обновлено log4j(v2) до версии 2.17.2

29 апреля 2022 г.

Виртуальная машина для обработки и анализа данных — Ubuntu 18.04 и виртуальная машина для обработки и анализа данных — Ubuntu 20.04

Версия 22.04.27

Основные изменения:

  • Исправление импорта расширений R Studio Plotly и summarytools.
  • Cudatoolkit и CUDNN обновлены до версии 13.1 и 2.8.1 соответственно.
  • Исправление Python 3.8 — Машинное обучение Azure выполнение записной книжки, закрепленное matplotlib к 0.11.03.2.1 пакетам и cycler пакетам в Azureml_py38 среде.

26 апреля 2022 г.

Виртуальная машина для обработки и анализа данных — Windows 2019

Версия: 22.04.21

Основные изменения:

  • Исправление расширения R Studio Plotly.
  • Обновлен путь среды Rscript для поддержки последней версии R Studio 4.1.3.

14 апреля 2022 г.

Сейчас в Marketplace доступно новое предложение DSVM для Виртуальной машины для обработки и анализа данных — Ubuntu 20.04.

Версия: 22.04.05

04 апреля 2022 г.

Новый образ для Виртуальной машины для обработки и анализа данных — Ubuntu 18.04

Версия: 22.04.01

Основные изменения:

  • Обновлена среда R — добавлены библиотеки: Cluster, Devtools Factoextra, GlueHere, Ottr, Paletteer, Patchwork, Plotly, Rmd2jupyter, Scales, Statip, Summarytools, Tidyverse, Tidymodels и Testthat.
  • Дальнейшее устранение уязвимости Log4j — хотя и не используются, мы переместили все log4j в версию v2, удалили старые файлы log4j jars1.0 и переместили jar-файлы log4j версии 2.0.
  • Azure CLI до версии 2.33.1.
  • Исправлена проблема с доступом к jupyterhub с помощью общедоступного IP-адреса.
  • Перепроектирование сред Conda — мы продолжаем выравнивание и уточнение сред Conda, чтобы мы создали:
    • azureml_py38: среда на основе Python 3.8 с предварительно установленным пакетом SDK Машинное обучение Azure, содержащим также среду AutoML
    • azureml_py38_PT_TF: дополнительная среда azureml_py38, предварительно установленная с TensorFlow и PyTorch.
    • py38_default: системная среда по умолчанию на основе Python 3.8.
    • Мы удалили среды azureml_py36_tensorflow, azureml_py36_pytorch, py38_tensorflow и py38_pytorch.

18 марта 2022 г.

Виртуальная машина для обработки и анализа данных — Windows 2019

Версия: 22.03.09

Основные изменения:

  • Обновлена среда R — добавлены библиотеки: Cluster, Devtools Factoextra, GlueHere, Ottr, Paletteer, Patchwork, Plotly, Rmd2jupyter, Scales, Statip, Summarytools, Tidyverse, Tidymodels и Testthat
  • Дальнейшее устранение уязвимости Log4j — хотя и не используются, мы переместили все log4j в версию v2, удалили старые jar-файлы log4j 1.0 и переместили jar-файлы log4j версии 2.0.
  • Azure CLI версии 2.33.1
  • Перепроектирование сред Conda — мы продолжаем выравнивание и уточнение сред Conda, чтобы мы создали:
    • azureml_py38: среда на основе Python 3.8 с предварительно установленным пакетом SDK Машинное обучение Azure, содержащим также среду AutoML
    • azureml_py38_PT_TF: дополнительная среда azureml_py38 с предустановленными последними версиями TensorFlow и PyTorch
    • py38_default: системная среда по умолчанию на основе Python 3.8
    • Мы удалили среды azureml_py36_tensorflow, azureml_py36_pytorch, py38_tensorflow и py38_pytorch.

9 марта 2022 г.

Виртуальная машина для обработки и анализа данных — Windows 2019

Версия: 21.12.03

Windows 2019 DSVM теперь будет поддерживаться в разделе "Издатель": microsoft-dsvm, "Идентификатор предложения": dsvm-win-2019, "Номер SKU или ИД плана": winserver-2019

Пользователям, использующим шаблон Azure Resource Manager (ARM) или масштабируемый набор виртуальных машин для развертывания машин DSVM на базе Windows, следует настроить SKU с winserver-2019 вместо server-2019, так как мы продолжим поставлять обновления для образов DSVM на базе Windows с новым номером SKU с марта 2022 г.

3 декабря 2021 г.

Новый образ для Windows Server 2019.

Версия: 21.12.03

Основные изменения:

  • Pytorch обновлен до версии 1.10.0
  • TensorFlow обновлен до версии 2.7.0
  • Исправление для среды sdk Машинное обучение Azure и AutoML
  • Обновление Безопасности Windows
  • Улучшение стабильности и исправление незначительных ошибок

4 ноября 2021 г.

Новый образ для Ubuntu 18.04.

Версия: 21.11.04

Основные изменения:

  • Версия .NET Framework изменена на 3.1.414
  • Версия Azcopy изменена на 10.13.0
  • Версия Azure CLI изменена на 2.30.0
  • Версия CUDA изменена на 11.5
  • Версия Docker изменена на 20.10.10
  • Версия Intellijidea изменена на 2021.2.3
  • Версия драйверов NVIDIA изменена на 470.103.01.
  • Версия NVIDIA SMI изменена на 470.103.01.
  • Версия Node.js изменена на v16.13.0
  • Версия Pycharm изменена на 2021.2.3
  • Версия VS Code изменена на 1.61.2
  • Конда
    • azureml_py36_automl
      • Версия azureml-core изменена на 1.35.0
    • py38_default
      • Версия Jupyter Lab / jupyterlab изменена на 3.2.1
      • Версия Jupyter Notebook / notebook изменена на 6.4.5
      • Версия сервера Jupyter / jupyter_server изменена на 1.11.2
      • Версия профилировщика Profiler с подключаемым модулем TensorBoard / torch-tb-profiler изменена на 0.3.1
      • Версия azure-core изменена на 1.19.1
      • Версия matplotlib изменена на 3.4.3
      • Версия mkl изменена на 2021.4.0
      • Версия onnx изменена на 1.10.2
      • Версия opencv-python изменена на 4.5.4.58
      • Версия pandas изменена на 1.3.4
      • Версия pytorch изменена на 1.10.0
      • Версия scikit-learn изменена на 1.0.1
      • Версия tensorflow-gpu изменена на 2.6.2

7 октября 2021 г.

Новый образ для Ubuntu 18.04.

Версия: 21.10.07

Основные изменения:

  • Версия pytorch изменена на 1.9.1
  • Версия Docker изменена на 20.10.9
  • Версия Intellijidea изменена на 2021.2.2
  • Версия Node.js изменена на v14.18.0
  • Версия Pycharm изменена на 2021.2.2
  • Версия VS Code изменена на 1.60.2
  • Исправлена среда AutoML (azureml_py36_automl)
  • Исправлена стабильность Обозревателя службы хранилища
  • Улучшение стабильности и исправление незначительных ошибок

11 августа 2021 г.

Новый образ для Windows Server 2019.

Версия: 21.08.11

Основные изменения:

  • Обновление Безопасности Windows
  • Обновление NVIDIA CuDNN до версии 8.1.0
  • Обновление Jupyter Lab до версии 3.0.16
  • Добавление MLFLow для отслеживания экспериментов
  • Улучшение стабильности и исправление незначительных ошибок

12 июля 2021 г.

Новый образ для Ubuntu 18.04.

Основные изменения:

  • Обновление до PyTorch 1.9.0
  • Обновление Azure CLI до версии 2.26.1
  • Обновление расширения Машинного обучения Azure CLI до версии 1.29.0
  • Обновление VS Code до версии 1.58.1
  • Улучшение стабильности и исправление незначительных ошибок

22 июня 2021 г.

Новый образ для Windows Server 2019.

Версия: 21.06.22

Основные изменения:

  • Обновление до PyTorch 1.9.0
  • Исправлена ошибка, из-за которой Git был недоступен

1 июня 2021 г.

Новый образ для Ubuntu 18.04.

Версия: 21.06.01

Основные изменения

  • Docker по умолчанию включен.
  • JupyterHub использует JupyterLab по умолчанию
  • Версии Python обновлены для исправления CVE-2020-15523.
  • IntelliJ IDEA обновлен до версии 2021.1 для исправления CVE-2021-25758.
  • PyCharm Community обновлен до 2021.1.
  • TensorFlow обновлен до версии 2.5.0.

С рабочего стола удалены несколько значков.

22 мая 2021 г.

Новый образ для Windows Server 2019.

Версия: 21.05.22

Выбранные обновления версии

  • CUDA 11.1
  • Python 3.8
  • PyTorch 1.8.1
  • TensorFlow 2.5.0
  • Spark 3.1.1
  • Java 11
  • R 4.1.0
  • Julia 1.0.5;
  • NodeJS 16.2.0
  • Visual Studio Code 1.56.2 вкл. расширение Машинное обучение Azure
  • PyCharm Community Edition 2021.1.1
  • Jupyter Lab 2.2.6
  • RStudio 1.4.1106
  • Visual Studio Community Edition 2019 (версия 16.9.6)
  • Azure CLI 2.23.0
  • Обозреватель службы хранилища 1.19.1
  • AzCopy 10.10.0
  • Power BI Desktop 2.93.641.0 64 бит (май 2021 г.)
  • Azure Data Studio 1.28.0
  • Браузер Microsoft Edge

Удалены браузер Firefox, Apache Drill и Microsoft Integration Runtime.
Темный режим, изменены значки на рабочем столе, изменены обои рабочего стола.

12 мая 2021 г.

Новый образ для Ubuntu 18.04.

Выбранные обновления версии

  • CUDA 11.3, cuDNN 8, NCCL2
  • Python 3.8
  • R 4.0.5
  • Spark 3.1 incl. mmlspark, соединители к BLOB-объектам служба хранилища, Data Lake, Azure Cosmos DB
  • Java 11 (OpenJDK)
  • Jupyter Lab 3.0.14
  • PyTorch 1.8.1, включая torchaudio torchtext torchvision, torch-tb-profiler
  • TensorFlow 2.4.1 вкл. TensorBoard
  • dask 2021.01.0
  • VS.Code 1.56
  • Azure Data Studio 1.22.1
  • Azure CLI 2.23.0
  • Обозреватель службы хранилища Azure 1.19.1
  • azcopy 10.10
  • Браузер Microsoft Edge (бета)

Добавлен Docker. Для сохранения ресурсов служба Docker не запускается по умолчанию. Чтобы запустить службу docker, выполните следующие команды командной строки: 
sudo systemctl start docker

Примечание.

Если на компьютере установлены GPU, можно использовать GPU в контейнерах, добавив в команду Docker параметр --gpus.

Например, выполнение

sudo docker run --gpus all -it --rm -v local_dir:container_dir nvcr.io/nvidia/pytorch:18.04-py3

запустит контейнер Ubuntu 18.04 с предварительно установленным PyTorch и всеми GPU. Он также делает локальную папку local_dir доступной в контейнере в container_dir.

24 февраля 2020 г.

Теперь доступны образы виртуальных машин для обработки и анализа данных для ОС Ubuntu 18.04 и Windows 2019.

8 октября 2019 г.

Обновления программного обеспечения в DSVM Windows

  • Обозреватель службы хранилища Azure 1.10.1
  • Power BI Desktop 2.73.55xx
  • Firefox 69.0.2
  • PyCharm 19.2.3
  • RStudio 1.2.50xx

Изменен браузер по умолчанию для Windows

Ранее в качестве браузера по умолчанию настраивался Internet Explorer. Теперь пользователям предлагается выбрать браузер по умолчанию при первом входе в систему.