Aracılığıyla paylaş

Databricks Runtime 5.2 ML

  • Makale

Databricks bu görüntüyü Ocak 2019'da yayımladı.

Databricks Runtime 5.2 ML, Databricks Runtime 5.2 'yi (desteklenmeyen) temel alan makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. ML için Databricks Runtime TensorFlow, PyTorch, Keras ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Horovod kullanarak dağıtılmış TensorFlow eğitimini de destekler.

Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.

Yeni özellikler

Databricks Runtime 5.2 ML, Databricks Runtime 5.2'nin üzerine kurulmuştur. Databricks Runtime 5.2'deki yenilikler hakkında bilgi için bkz . Databricks Runtime 5.2 (desteklenmeyen) sürüm notları. Databricks Runtime 5.2 ML, kitaplık güncelleştirmelerine ek olarak aşağıdaki yeni özellikleri de sunar:

  • GraphFrames artık Databricks'in performans iyileştirmeleri ile Pregel API'sini (Python) destekliyor.
  • HorovodRunner ekler:
    • Bir GPU kümesinde eğitim işlemleri, çok GPU'lu örnek türlerinin desteğini basitleştirmek için çalışan düğümleri yerine GPU'lara eşlenir. Bu yerleşik destek, özel kod olmadan çok GPU'lu bir makinedeki tüm GPU'lara dağıtmanıza olanak tanır.
    • HorovodRunner.run() şimdi ilk eğitim işleminden döndürülen değeri döndürür.

Not

Databricks Runtime ML sürümleri, temel Databricks Runtime sürümündeki tüm bakım güncelleştirmelerini alır. Tüm bakım güncelleştirmelerinin listesi için bkz . Databricks Runtime için bakım güncelleştirmeleri (arşivlenmiş).

Sistem ortamı

Databricks Runtime 5.2 ML'deki sistem ortamı Databricks Runtime 5.2'den aşağıdaki gibi farklıdır:

  • Python: Python 2 kümeleri için 2.7.15 ve Python 3 kümeleri için 3.6.5.
  • DBUtils: Databricks Runtime 5.2 ML, Kitaplık yardımcı programı (dbutils.library) (eski) içermez.
  • GPU kümeleri için aşağıdaki NVIDIA GPU kitaplıkları:
    • Tesla sürücüsü 396.44
    • CUDA 9.2
    • CUDNN 7.2.1

Kitaplık

Aşağıdaki bölümlerde Databricks Runtime 5.2 ML'de bulunan ve Databricks Runtime 5.2'de bulunan kitaplıklardan farklı kitaplıklar listelenmiştir.

Python kitaplıkları

Databricks Runtime 5.2 ML, Python paket yönetimi için Conda kullanır. Sonuç olarak, Databricks Runtime ile karşılaştırıldığında önceden yüklenmiş Python kitaplıklarında önemli farklılıklar vardır. Conda paket yöneticisi kullanılarak yüklenen sağlanan Python paketlerinin ve sürümlerinin tam listesi aşağıda verilmiştir.

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 0.6.1 argparse 1.4.0 asn1crypto 0.24.0
Astor 0.7.1 backports-abc 0,5 backports.functools-lru-cache 1.5
backports.weakref 1.0.post1 bcrypt 3.1.5 Çamaşır suyu 2.1.3
Boto 2.48.0 boto3 1.7.62 botocore 1.10.62
sertifikalı 2018.04.16 cffi 1.11.5 chardet 3.0.4
cloudpickle 0.5.3 colorama 0.3.9 yapılandırmaparser 3.5.0
Şifreleme 2.2.2 Cycler 0.10.0 Cython 0.28.2
Dekoratör 4.3.0 docutils 0,14 Entrypoints 0.2.3
enum34 1.1.6 et-xmlfile 1.0.1 funcsigs 1.0.2
functools32 3.2.3-2 fusepy 2.0.4 Vadeli 3.2.0
Gast 0.2.0 grpcio 1.12.1 h5py 2.8.0
horovod 0.15.2 html5lib 1.0.1 ıdna 2,6
ıpaddress 1.0.22 ipython 5.7.0 ipython_genutils 0.2.0
jdcal 1.4 Jinja2 2.10 jmespath 0.9.3
jsonschema 2.6.0 jupyter-client 5.2.3 jupyter-core 4.4.0
Keras 2.2.4 Keras Uygulamaları 1.0.6 Keras-Preprocessing 1.0.5
kiwisolver 1.0.1 linecache2 1.0.0 llvmlite 0.23.1
lxml 4.2.1 Markdown 3.0.1 İşaretlemeyi Kasa 1.0
matplotlib 2.2.2 yanlış 0.8.3 mleap 0.8.1
Sahte 2.0.0 msgpack 0.5.6 nbconvert 5.3.1
nbformat 4.4.0 Burun 1.3.7 burun dışlama 0.5.0
numba 0.38.0+0.g2a2b772fc.dirty numpy 1.14.3 olefile 0.45.1
openpyxl 2.5.3 pandas 0.23.0 pandocfilters 1.4.2
paramiko 2.4.1 pathlib2 2.3.2 Patsy 0.5.0
pbr 5.1.1 pexpect 4.5.0 pickleshare 0.7.4
Yastık 5.1.0 Pip 10.0.1 Kat 3.11
prompt-toolkit 1.0.15 protobuf 3.6.1 psycopg2 2.7.5
ptyprocess 0.5.2 serçe 0.8.0 pyasn1 0.4.4
pycparser 2.18 Pygments 2.2.0 PyNaCl 1.3.0
pyOpenSSL 18.0.0 pyparsing 2.2.0 PySocks 1.6.8
Python 2.7.15 python-dateutil 2.7.3 pytz 2018.4
PyYAML 3.12 pyzmq 17.0.0 istekler 2.18.4
s3transfer 0.1.13 scandir 1.7 scikit-learn 0.19.1
scipy 1.1.0 Sinan 0.8.1 kurulum araçları 39.1.0
simplegeneric 0.8.1 singledispatch 3.4.0.3 Altı 1.11.0
statsmodeller 0.9.0 altişlem32 3.5.3 tensorboard 1.12.2
tensorboardX 1.4 tensorflow 1.12.0 termcolor 1.1.0
test yolu 0.3.1 Meşale 0.4.1 torchvision 0.2.1
Kasırga 5.0.2 traceback2 1.4.0 traitlets 4.3.2
unittest2 1.1.0 urllib3 1.22 virtualenv 16.0.0
wcwidth 0.1.7 webencodings 0.5.1 Werkzeug 0.14.1
Tekerlek 0.31.1 kaydırma 1.10.11 wsgiref 0.1.2

Ayrıca, aşağıdaki Spark paketleri Python modüllerini içerir:

Spark Paketi Python Modülü Sürüm
graf çerçeveleri graf çerçeveleri 0.7.0-db1-spark2.4
spark-deep-learning sparkdl 1.5.0-db1-spark2.4
tensorframes tensorframes 0.6.0-s_2.11

R kitaplıkları

R kitaplıkları, Databricks Runtime 5.2'deki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.11 kümesi)

Databricks Runtime 5.2'deki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 5.2 ML aşağıdaki JAR'leri içerir:

Grup Kimliği Yapıt Kimliği Sürüm
com.databricks spark-deep-learning 1.5.0-db1-spark2.4
com.typesafe.akka akka-actor_2.11 2.3.11
ml.combust.mleap mleap-databricks-runtime_2.11 0.13.0
ml.dmlc xgboost4j 0,81
ml.dmlc xgboost4j-spark 0,81
org.graphframes graphframes_2.11 0.7.0-db1-spark2.4
org.tensorflow libtensorflow 1.12.0
org.tensorflow libtensorflow_jni 1.12.0
org.tensorflow spark-tensorflow-connector_2.11 1.12.0
org.tensorflow tensorflow 1.12.0
org.tensorframes tensorframes 0.6.0-s_2.11