Databricks Runtime 4.1 ML (stöds inte)

  • Artikel

Databricks Runtime 4.1 ML tillhandahåller en färdig miljö för maskininlärning och datavetenskap. Den innehåller flera populära bibliotek, inklusive TensorFlow, Keras och XGBoost. Den stöder även distribuerad TensorFlow-träning med Horovod.

Kommentar

Den här versionen är inaktuell den 17 januari 2019. Vi rekommenderar att du använder en nyare version av Databricks Runtime ML, beroende på vilka biblioteksversioner du vill använda.

Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och Machine Learning på Databricks.

Kommentar

Databricks Runtime ML-versioner hämtar alla underhållsuppdateringar till basversionen av Databricks Runtime. En lista över alla underhållsuppdateringar finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).

Bibliotek

Databricks Runtime 4.1 ML bygger på Databricks Runtime 4.1. Information om nyheter i Databricks Runtime 4.1 finns i viktig information om Databricks Runtime 4.1 (stöds inte). Förutom de nya funktionerna i Databricks Runtime 4.1 innehåller Databricks Runtime 4.1 ML följande bibliotek som stöd för maskininlärning. Några av dessa ingår också i bas-Databricks Runtime 4.1 och noteras som sådana.

Kategori Bibliotek
Distribuerad djupinlärning Distribuerad träning med Horovod och Spark:

* HorovodEstimator
* horovod 0.12.1
* openmpi 3.0.0
* paramiko 2.4.1
* cloudpickle 0.5.2

Distribuerad TensorFlow- och Keras-förutsägelse:

* spark-deep-learning 1.0 förhandsversion
* tensorframes 0.3.0
Djupinlärning [Keras]:

* keras 2.1.5
* h5py 2.7.1

TensorFlow:

* (CPU-kluster) tensorflow 1.7.1
* (GPU-kluster) tensorflow-gpu 1.7.1

GPU-bibliotek :

* CUDA 9.0 (även installerad i base Databricks Runtime)
* cuDNN 7.0 (även installerad i base Databricks Runtime)
* NCCL 2.0.5-3
XGBoost * XGBoost4j 0.8-spark2.3-s_2.11
Andra maskininlärningsbibliotek * numpy 1.14.2 (även installerad i base Databricks Runtime; version kan skilja sig åt)
* scikit-learn 0.18.1 (även installerat i databricks-baskörning)
* scipy (installeras även i databricks-baskörningen)