Databricks Runtime 4.1 ML (неподдерживаемый)

Databricks Runtime 4.1 ML предоставляет готовую среду для Машинного обучения и обработки и анализа данных. Она содержит много популярных библиотек, включая TensorFlow, Keras и XGBoost. Она также поддерживает распределенное обучение TensorFlow с использованием Horovod.

Примечание.

Этот выпуск устарел до 17 января 2019 г. Мы рекомендуем использовать более новую версию Databricks Runtime ML с учетом того, какие версии библиотек вы хотите использовать.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и Машинное обучение в Databricks.

Примечание.

Выпуски Databricks Runtime ML получают все сервисные обновления базового выпуска Databricks Runtime. Список всех обновлений обслуживания см. в разделе "Обновления обслуживания" для среды выполнения Databricks (архивировано).

Библиотеки

В основе Databricks Runtime 4.1 ML лежит Databricks Runtime 4.1. Сведения о новых возможностях Databricks Runtime 4.1 см. в заметках о выпуске Databricks Runtime 4.1 (неподдерживаемых). Помимо обновлений библиотек, существовавших в Databricks Runtime 4.1, в Databricks Runtime 4.1 ML также добавлены новые библиотеки для поддержки машинного обучения. Некоторые из них также включены в базовый выпуск Databricks Runtime 4.1, что будет отдельно отмечено.

Категория	Библиотеки
Распределенное глубокое обучение.	Распределенное обучение с использованием Horovod и Spark * HorovodEstimator * horovod 0.12.1 * openmpi 3.0.0 * paramiko 2.4.1 * cloudpickle 0.5.2 Распределенный прогноз TensorFlow и Keras: * spark-deep-learning 1.0 pre-release * tensorframes 0.3.0
Глубокое обучение	[Keras]: * keras 2.1.5 * h5py 2.7.1 TensorFlow. * (Кластеры ЦП) tensorflow 1.7.1 * (Кластеры ЦП) tensorflow-gpu 1.7.1 Библиотеки GPU: * CUDA 9.0 (также устанавливается в базовый выпуск Databricks Runtime) * cuDNN 7.0 (также устанавливается в базовый выпуск Databricks Runtime) * NCCL 2.0.5-3
XGBoost	* XGBoost4j 0.8-spark2.3-s_2.11
Другие библиотеки машинного обучения	* numpy 1.14.2 (также устанавливается в базовый выпуск Databricks Runtime; версия может отличаться) * scikit-learn 0.18.1 (также устанавливается в базовый выпуск Databricks Runtime) * scipy (также устанавливается в базовый выпуск Databricks Runtime)