Databricks Runtime 5.2 ML
Databricks bu görüntüyü Ocak 2019'da yayımladı.
Databricks Runtime 5.2 ML, Databricks Runtime 5.2 (EoS) tabanlı makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. ML için Databricks Runtime TensorFlow, PyTorch, Keras ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Horovod kullanarak dağıtılmış TensorFlow eğitimini de destekler.
Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.
Yeni özellikler
Databricks Runtime 5.2 ML, Databricks Runtime 5.2'nin üzerine kurulmuştur. Databricks Runtime 5.2'deki yenilikler hakkında bilgi için bkz . Databricks Runtime 5.2 (EoS) sürüm notları. Databricks Runtime 5.2 ML, kitaplık güncelleştirmelerine ek olarak aşağıdaki yeni özellikleri de sunar:
- GraphFrames artık Databricks'in performans iyileştirmeleri ile Pregel API'sini (Python) destekliyor.
- HorovodRunner ekler:
- Bir GPU kümesinde eğitim işlemleri, çok GPU'lu örnek türlerinin desteğini basitleştirmek için çalışan düğümleri yerine GPU'lara eşlenir. Bu yerleşik destek, özel kod olmadan çok GPU'lu bir makinedeki tüm GPU'lara dağıtmanıza olanak tanır.
HorovodRunner.run()
şimdi ilk eğitim işleminden döndürülen değeri döndürür.
Not
Databricks Runtime ML sürümleri, temel Databricks Runtime sürümündeki tüm bakım güncelleştirmelerini alır. Tüm bakım güncelleştirmelerinin listesi için bkz . Databricks Runtime için bakım güncelleştirmeleri (arşivlenmiş).
Sistem ortamı
Databricks Runtime 5.2 ML'deki sistem ortamı Databricks Runtime 5.2'den aşağıdaki gibi farklıdır:
- Python: Python 2 kümeleri için 2.7.15 ve Python 3 kümeleri için 3.6.5.
- DBUtils: Databricks Runtime 5.2 ML, Kitaplık yardımcı programı (dbutils.library) (eski) içermez.
- GPU kümeleri için aşağıdaki NVIDIA GPU kitaplıkları:
- Tesla sürücüsü 396.44
- CUDA 9.2
- CUDNN 7.2.1
Kitaplık
Aşağıdaki bölümlerde Databricks Runtime 5.2 ML'de bulunan ve Databricks Runtime 5.2'de bulunan kitaplıklardan farklı kitaplıklar listelenmiştir.
Python kitaplıkları
Databricks Runtime 5.2 ML, Python paket yönetimi için Conda kullanır. Sonuç olarak, Databricks Runtime ile karşılaştırıldığında önceden yüklenmiş Python kitaplıklarında önemli farklılıklar vardır. Conda paket yöneticisi kullanılarak yüklenen sağlanan Python paketlerinin ve sürümlerinin tam listesi aşağıda verilmiştir.
Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
---|---|---|---|---|---|
absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
backports.weakref | 1.0.post1 | bcrypt | 3.1.5 | çamaşır suyu | 2.1.3 |
boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
sertifikalı | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
cloudpickle | 0.5.3 | colorama | 0.3.9 | yapılandırmaparser | 3.5.0 |
şifreleme | 2.2.2 | bisikletçi | 0.10.0 | Cython | 0.28.2 |
dekoratör | 4.3.0 | docutils | 0,14 | giriş noktaları | 0.2.3 |
enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
functools32 | 3.2.3-2 | fusepy | 2.0.4 | Vadeli | 3.2.0 |
Gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
horovod | 0.15.2 | html5lib | 1.0.1 | idna | 2,6 |
ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
Keras | 2.2.4 | Keras Uygulamaları | 1.0.6 | Keras-Preprocessing | 1.0.5 |
kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
matplotlib | 2.2.2 | yanlış | 0.8.3 | mleap | 0.8.1 |
sahte | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
nbformat | 4.4.0 | burun | 1.3.7 | burun dışlama | 0.5.0 |
numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
Yastık | 5.1.0 | Pip | 10.0.1 | Kat | 3.11 |
prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
ptyprocess | 0.5.2 | serçe | 0.8.0 | pyasn1 | 0.4.4 |
pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
PyYAML | 3.12 | pyzmq | 17.0.0 | istekler | 2.18.4 |
s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
scipy | 1.1.0 | seaborn | 0.8.1 | kurulum araçları | 39.1.0 |
simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | Altı | 1.11.0 |
statsmodeller | 0.9.0 | altişlem32 | 3.5.3 | tensorboard | 1.12.2 |
tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
test yolu | 0.3.1 | meşale | 0.4.1 | torchvision | 0.2.1 |
hortum | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
tekerlek | 0.31.1 | kaydırma | 1.10.11 | wsgiref | 0.1.2 |
Ayrıca, aşağıdaki Spark paketleri Python modüllerini içerir:
Spark Paketi | Python Modülü | Sürüm |
---|---|---|
graf çerçeveleri | graf çerçeveleri | 0.7.0-db1-spark2.4 |
spark-deep-learning | sparkdl | 1.5.0-db1-spark2.4 |
tensorframes | tensorframes | 0.6.0-s_2.11 |
R kitaplıkları
R kitaplıkları, Databricks Runtime 5.2'deki R Kitaplıklarıyla aynıdır.
Java ve Scala kitaplıkları (Scala 2.11 kümesi)
Databricks Runtime 5.2'deki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 5.2 ML aşağıdaki JAR'leri içerir:
Grup Kimliği | Yapıt Kimliği | Sürüm |
---|---|---|
com.databricks | spark-deep-learning | 1.5.0-db1-spark2.4 |
com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
ml.dmlc | xgboost4j | 0,81 |
ml.dmlc | xgboost4j-spark | 0,81 |
org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
org.tensorflow | libtensorflow | 1.12.0 |
org.tensorflow | libtensorflow_jni | 1.12.0 |
org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
org.tensorflow | tensorflow | 1.12.0 |
org.tensorframes | tensorframes | 0.6.0-s_2.11 |