Aracılığıyla paylaş


Databricks Runtime 5.1 ML (desteklenmiyor)

Databricks bu görüntüyü Aralık 2018'de yayımladı.

Databricks Runtime 5.1 ML, Databricks Runtime 5.1 'i (desteklenmeyen) temel alan makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. ML için Databricks Runtimes TensorFlow, PyTorch, Keras ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Horovod kullanarak dağıtılmış TensorFlow eğitimini de destekler.

Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.

Yeni özellikler

Databricks Runtime 5.1 ML, Databricks Runtime 5.1'in üzerine kurulmuştur. Databricks Runtime 5.1'deki yenilikler hakkında bilgi için bkz . Databricks Runtime 5.1 (desteklenmeyen) sürüm notları. Databricks Runtime 5.1 ML, Kitaplıklardaki mevcut kitaplıklara yönelik güncelleştirmelere ek olarak aşağıdaki yeni özellikleri içerir:

Not

Databricks Runtime ML sürümleri, temel Databricks Runtime sürümündeki tüm bakım güncelleştirmelerini alır. Tüm bakım güncelleştirmelerinin listesi için bkz . Databricks Runtime için bakım güncelleştirmeleri (arşivlenmiş).

Sistem ortamı

Databricks Runtime 5.1 ve Databricks Runtime 5.1 ML'deki sistem ortamındaki fark:

  • Python: Python 2 kümeleri için 2.7.15 ve Python 3 kümeleri için 3.6.5.
  • DBUtils: Databricks Runtime 5.1 ML, Kitaplık yardımcı programı (dbutils.library) (eski) içermez.
  • GPU kümeleri için aşağıdaki NVIDIA GPU kitaplıkları:
    • Tesla sürücüsü 396.44
    • CUDA 9.2
    • CUDNN 7.2.1

Kitaplık

Databricks Runtime 5.1'deki kitaplıklardaki ve Databricks Runtime 5.1 ML'deki kitaplıklardaki farklılıklar bu bölümde listelenmiştir.

Python kitaplıkları

Databricks Runtime 5.1 ML, Python paket yönetimi için Conda kullanır. Sonuç olarak, önceden yüklenmiş Python kitaplıklarında Databricks Runtime ile karşılaştırıldığında önemli değişiklikler vardır. Conda paket yöneticisi kullanılarak yüklenen sağlanan Python paketlerinin ve sürümlerinin tam listesi aşağıda verilmiştir.

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 0.6.1 argparse 1.4.0 asn1crypto 0.24.0
Astor 0.7.1 backports-abc 0,5 backports.functools-lru-cache 1.5
backports.weakref 1.0.post1 bcrypt 3.1.4 Çamaşır suyu 2.1.3
Boto 2.48.0 boto3 1.7.62 botocore 1.10.62
sertifikalı 2018.04.16 cffi 1.11.5 chardet 3.0.4
cloudpickle 0.5.3 colorama 0.3.9 yapılandırmaparser 3.5.0
Şifreleme 2.2.2 Cycler 0.10.0 Cython 0.28.2
Dekoratör 4.3.0 docutils 0,14 Entrypoints 0.2.3
enum34 1.1.6 et-xmlfile 1.0.1 funcsigs 1.0.2
functools32 3.2.3-2 fusepy 2.0.4 Vadeli 3.2.0
Gast 0.2.0 grpcio 1.12.1 h5py 2.8.0
horovod 0.15.0 html5lib 1.0.1 ıdna 2,6
ıpaddress 1.0.22 ipython 5.7.0 ipython_genutils 0.2.0
jdcal 1.4 Jinja2 2.10 jmespath 0.9.3
jsonschema 2.6.0 jupyter-client 5.2.3 jupyter-core 4.4.0
Keras 2.2.4 Keras Uygulamaları 1.0.6 Keras-Preprocessing 1.0.5
kiwisolver 1.0.1 linecache2 1.0.0 llvmlite 0.23.1
lxml 4.2.1 Markdown 3.0.1 İşaretlemeyi Kasa 1.0
matplotlib 2.2.2 yanlış 0.8.3 mleap 0.8.1
Sahte 2.0.0 msgpack 0.5.6 nbconvert 5.3.1
nbformat 4.4.0 Burun 1.3.7 burun dışlama 0.5.0
numba 0.38.0+0.g2a2b772fc.dirty numpy 1.14.3 olefile 0.45.1
openpyxl 2.5.3 pandas 0.23.0 pandocfilters 1.4.2
paramiko 2.4.1 pathlib2 2.3.2 Patsy 0.5.0
pbr 5.1.1 pexpect 4.5.0 pickleshare 0.7.4
Yastık 5.1.0 Pip 10.0.1 Kat 3.11
prompt-toolkit 1.0.15 protobuf 3.6.1 psycopg2 2.7.5
ptyprocess 0.5.2 serçe 0.8.0 pyasn1 0.4.4
pycparser 2.18 Pygments 2.2.0 PyNaCl 1.3.0
pyOpenSSL 18.0.0 pyparsing 2.2.0 PySocks 1.6.8
Python 2.7.15 python-dateutil 2.7.3 pytz 2018.4
PyYAML 3.12 pyzmq 17.0.0 istekler 2.18.4
s3transfer 0.1.13 scandir 1.7 scikit-learn 0.19.1
scipy 1.1.0 Sinan 0.8.1 kurulum araçları 39.1.0
simplegeneric 0.8.1 singledispatch 3.4.0.3 Altı 1.11.0
statsmodeller 0.9.0 altişlem32 3.5.3 tensorboard 1.12.0
tensorboardX 1.4 tensorflow 1.12.0 termcolor 1.1.0
test yolu 0.3.1 Meşale 0.4.1 torchvision 0.2.1
Kasırga 5.0.2 traceback2 1.4.0 traitlets 4.3.2
unittest2 1.1.0 urllib3 1.22 virtualenv 16.0.0
wcwidth 0.1.7 webencodings 0.5.1 Werkzeug 0.14.1
Tekerlek 0.31.1 kaydırma 1.10.11 wsgiref 0.1.2

Ayrıca, aşağıdaki Spark paketleri Python modüllerini içerir:

Spark Paketi Python Modülü Sürüm
tensorframes tensorframes 0.6.0-s_2.11
graf çerçeveleri graf çerçeveleri 0.6.0-db3-spark2.4
spark-deep-learning sparkdl 1.4.0-db2-spark2.4

R kitaplıkları

R kitaplıkları Databricks Runtime 5.1'deki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.11 kümesi)

Databricks Runtime 5.1'deki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 5.1 ML aşağıdaki JAR'leri içerir:

Grup Kimliği Yapıt Kimliği Sürüm
com.databricks spark-deep-learning 1.4.0-db2-spark2.4
org.tensorframes tensorframes 0.6.0-s_2.11
org.graphframes graphframes_2.11 0.6.0-db3-spark2.4
org.tensorflow libtensorflow 1.12.0
org.tensorflow libtensorflow_jni 1.12.0
org.tensorflow spark-tensorflow-connector_2.11 1.12.0
org.tensorflow tensorflow 1.12.0
ml.dmlc xgboost4j 0,81
ml.dmlc xgboost4j-spark 0,81
ml.combust.mleap mleap-databricks-runtime_2.11 0.13.0