Condividi tramite

Databricks Runtime 5.0 ML (EoS)

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note di rilascio di Databricks Runtime.

Databricks ha rilasciato questa versione a novembre 2018.

Databricks Runtime 5.0 ML è un ambiente pronto all'uso per l'esecuzione di processi di Machine Learning e data science. Contiene molte librerie popolari, tra cui TensorFlow, Keras e XGBoost. È inoltre supportato il training TensorFlow distribuito con Horovod.

Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Databricks Runtime ML, vedere IA e Machine Learning in Databricks.

Nuove funzionalità

Databricks Runtime 5.0 ML è basato su Databricks Runtime 5.0. Per informazioni sulle novità di Databricks Runtime 5.0, vedere le note sulla versione di Databricks Runtime 5.0 (EoS). Oltre alle nuove funzionalità di Databricks Runtime 5.0, Databricks Runtime 5.0 ML include le nuove funzionalità seguenti:

Nota

Le versioni di Databricks Runtime ML recuperano tutti gli aggiornamenti di manutenzione per la versione di base di Databricks Runtime. Per un elenco di tutti gli aggiornamenti di manutenzione, vedere Aggiornamenti di manutenzione per Databricks Runtime (archiviato).

Ambiente di sistema

La differenza tra l'ambiente di sistema in Databricks Runtime 5.0 e quello in Databricks Runtime 5.0 ML è:

  • Python: 2.7.15 per cluster Python 2 e 3.6.5 per cluster Python 3.
  • Per i cluster GPU, le librerie GPU NVIDIA seguenti:
    • Autista Tesla 396.44
    • CUDA 9.2
    • CUDNN 7.2.1

Librerie

Le differenze nelle librerie incluse in Databricks Runtime 5.0 e quelle incluse in Databricks Runtime 5.0 ML sono elencate in questa sezione.

Librerie Python

Databricks Runtime 5.0 ML usa Conda per la gestione dei pacchetti Python. Di seguito è riportato l'elenco completo dei pacchetti e delle versioni Python forniti installati con Gestione pacchetti Conda.

Biblioteca Versione Biblioteca Versione Biblioteca Versione
absl-py 0.6.1 argparse 1.4.0 asn1crypto 0.24.0
Astor 0.7.1 backports-abc 0,5 backports.functools-lru-cache 1,5
backports.weakref 1.0.post1 bcrypt 3.1.4 candeggiare 2.1.3
bot 2.48.0 boto3 1.7.62 botocore 1.10.62
certificato 2018.04.16 cffi 1.11.5 chardet 3.0.4
cloudpickle (libreria Python per la serializzazione degli oggetti) 0.5.3 colorama 0.3.9 configparser (analizzatore di configurazione) 3.5.0
criptografia 2.2.2 ciclatore 0.10.0 Cython, un linguaggio di programmazione 0.28.2
decoratore 4.3.0 docutils 0.14 punti di ingresso 0.2.3
enum34 1.1.6 et-xmlfile 1.0.1 funcsig 1.0.2
functools32 3.2.3-2 fusepy 2.0.4 contratti future 3.2.0
Gast 0.2.0 grpcio 1.12.1 h5py 2.8.0
Horovod 0.15.0 html5lib 1.0.1 IDNA 2.6
indirizzo IP 1.0.22 ipython 5.7.0 ipython_genutils 0.2.0
jdcal 1.4 Jinja2 2.10 jmespath 0.9.3
jsonschema 2.6.0 jupyter-client 5.2.3 jupyter-core 4.4.0
Keras 2.2.4 Keras-Applications 1.0.6 Keras-Preprocessing 1.0.5
kiwisolver 1.0.1 linecache2 1.0.0 llvmlite 0.23.1
lxml 4.2.1 Markdown 3.0.1 MarkupSafe 1.0
matplotlib 2.2.2 Mistune 0.8.3 mleap 0.8.1
finto 2.0.0 msgpack 0.5.6 nbconvert 5.3.1
nbformat 4.4.0 naso 1.3.7 nose-exclude 0.5.0
nmbalo 0.38.0+0.g2a2b772fc.dirty numpy 1.14.3 olefile 0.45.1
openpyxl 2.5.3 Panda 0.23.0 pandocfilters 1.4.2
paramiko 2.4.1 pathlib2 2.3.2 capro espiatorio 0.5.0
pbr 5.1.0 pexpect 4.5.0 pickleshare (libreria di software Python) 0.7.4
Cuscino 5.1.0 seme 10.0.1 filo 3.11
prompt-toolkit 1.0.15 protobuf 3.6.1 psycopg2 2.7.5
ptyprocess 0.5.2 pyarrow 0.8.0 pyasn1 0.4.4
pycparser (un parser scritto in Python) 2.18 Pygments 2.2.0 PyNaCl 1.3.0
pyOpenSSL 18.0.0 pyparsing 2.2.0 PySocks 1.6.8
Pitone 2.7.15 python-dateutil (libreria Python per la gestione delle date) 2.7.3 pytz 2018.4
PyYAML 3.12 pyzmq 17.0.0 richieste 2.18.4
s3transfer 0.1.13 scandir 1.7 scikit-learn 0.19.1
scipy 1.1.0 Seaborn 0.8.1 setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 39.1.0
simplegeneric 0.8.1 singledispatch (funzionalità di sovraccarico di funzioni in Python) 3.4.0.3 sei 1.11.0
statsmodels 0.9.0 subprocesso32 3.5.3 TensorBoard 1.10.0
TensorFlow 1.10.0 termcolor 1.1.0 percorso di prova 0.3.1
tornado 5.0.2 traceback2 1.4.0 traitlets (una libreria per la configurazione dei parametri nei programmi Python) 4.3.2
unittest2 1.1.0 urllib3 1.22 virtualenv 16.0.0
wcwidth (funzione per determinare la larghezza dei caratteri) 0.1.7 codifiche web 0.5.1 Attrezzo 0.14.1
ruota 0.31.1 avvolto 1.10.11 wsgiref 0.1.2

I pacchetti Spark seguenti includono anche i moduli Python:

Pacchetto Spark Modulo Python Versione
tensorframe tensorframe 0.5.0-s_2.11
GraphFrames GraphFrames 0.6.0-db3-spark2.4
Spark-Deep Learning sparkdl 1.3.0-db2-spark2.4

Librerie R

Le librerie R sono identiche alle librerie R in Databricks Runtime 5.0.

Librerie Java e Scala (cluster Scala 2.11)

Oltre alle librerie Java e Scala in Databricks Runtime 5.0, Databricks Runtime 5.0 ML contiene i file JAR seguenti:

L'ID del gruppo ID di artefatto Versione
com.databricks Spark-Deep Learning 1.3.0-db2-spark2.4
org.tensorframes tensorframe 0.5.0-s_2.11
org.graphframes graphframes_2.11 0.6.0-db3-spark2.4
org.tensorflow libtensorflow 1.10.0
org.tensorflow libtensorflow_jni 1.10.0
org.tensorflow spark-tensorflow-connector_2.11 1.10.0-spark2.4-001
org.tensorflow TensorFlow 1.10.0
ml.dmlc xgboost4j 0.80
ml.dmlc xgboost4j-spark 0.80
ml.combust.mleap mleap-databricks-runtime_2.11 0.13.0-SNAPSHOT
  • Last updated on