Databricks Runtime 5.0 ML (desteklenmiyor)
Databricks bu görüntüyü Kasım 2018'de yayımladı.
Databricks Runtime 5.0 ML, makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. TensorFlow, Keras ve XGBoost gibi birçok popüler kitaplık içerir. Horovod kullanarak dağıtılmış TensorFlow eğitimini de destekler.
Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.
Yeni özellikler
Databricks Runtime 5.0 ML, Databricks Runtime 5.0'ın üzerine kurulmuştur. Databricks Runtime 5.0'daki yenilikler hakkında bilgi için bkz . Databricks Runtime 5.0 (desteklenmeyen) sürüm notları. Databricks Runtime 5.0'daki yeni özelliklere ek olarak, Databricks Runtime 5.0 ML aşağıdaki yeni özellikleri içerir:
- Horovod kullanarak dağıtılmış derin öğrenme eğitim işlerini çalıştırmak için HorovodRunner .
- Paket yönetimi için Conda desteği.
- MLeap tümleştirmesi.
- GraphFrames tümleştirmesi.
Dekont
Databricks Runtime ML sürümleri, temel Databricks Runtime sürümündeki tüm bakım güncelleştirmelerini alır. Tüm bakım güncelleştirmelerinin listesi için bkz . Databricks Runtime için bakım güncelleştirmeleri (arşivlenmiş).
Sistem ortamı
Databricks Runtime 5.0 ve Databricks Runtime 5.0 ML'deki sistem ortamındaki fark:
- Python: Python 2 kümeleri için 2.7.15 ve Python 3 kümeleri için 3.6.5.
- GPU kümeleri için aşağıdaki NVIDIA GPU kitaplıkları:
- Tesla sürücüsü 396.44
- CUDA 9.2
- CUDNN 7.2.1
Kitaplıklar
Databricks Runtime 5.0 ve Databricks Runtime 5.0 ML'de bulunan kitaplıklardaki farklılıklar bu bölümde listelenmiştir.
Python kitaplıkları
Databricks Runtime 5.0 ML, Python paket yönetimi için Conda kullanır. Conda paket yöneticisi kullanılarak yüklenen sağlanan Python paketlerinin ve sürümlerinin tam listesi aşağıda verilmiştir.
| Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | Çamaşır suyu | 2.1.3 |
| Boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| sertifikalı | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | yapılandırmaparser | 3.5.0 |
| Şifreleme | 2.2.2 | Cycler | 0.10.0 | Cython | 0.28.2 |
| Dekoratör | 4.3.0 | docutils | 0,14 | Entrypoints | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Vadeli | 3.2.0 |
| Gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.0 | html5lib | 1.0.1 | ıdna | 2,6 |
| ıpaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras Uygulamaları | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | İşaretlemeyi Kasa | 1.0 |
| matplotlib | 2.2.2 | yanlış | 0.8.3 | mleap | 0.8.1 |
| Sahte | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | Burun | 1.3.7 | burun dışlama | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| pbr | 5.1.0 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Yastık | 5.1.0 | Pip | 10.0.1 | Kat | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | serçe | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | istekler | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | Sinan | 0.8.1 | kurulum araçları | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | Altı | 1.11.0 |
| statsmodeller | 0.9.0 | altişlem32 | 3.5.3 | tensorboard | 1.10.0 |
| tensorflow | 1.10.0 | termcolor | 1.1.0 | test yolu | 0.3.1 |
| Kasırga | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| Tekerlek | 0.31.1 | kaydırma | 1.10.11 | wsgiref | 0.1.2 |
Ayrıca, aşağıdaki Spark paketleri Python modüllerini içerir:
| Spark Paketi | Python Modülü | Sürüm |
|---|---|---|
| tensorframes | tensorframes | 0.5.0-s_2.11 |
| graf çerçeveleri | graf çerçeveleri | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.3.0-db2-spark2.4 |
R kitaplıkları
R kitaplıkları Databricks Runtime 5.0'da R Kitaplıklarıyla aynıdır.
Java ve Scala kitaplıkları (Scala 2.11 kümesi)
Databricks Runtime 5.0'daki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 5.0 ML aşağıdaki JAR'leri içerir:
| Grup Kimliği | Yapıt Kimliği | Sürüm |
|---|---|---|
| com.databricks | spark-deep-learning | 1.3.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.5.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.10.0 |
| org.tensorflow | libtensorflow_jni | 1.10.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.10.0-spark2.4-001 |
| org.tensorflow | tensorflow | 1.10.0 |
| ml.dmlc | xgboost4j | 0.80 |
| ml.dmlc | xgboost4j-spark | 0.80 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0-SNAPSHOT |