Databricks Runtime 5.1 ML (desteklenmiyor)
Databricks bu görüntüyü Aralık 2018'de yayımladı.
Databricks Runtime 5.1 ML, Databricks Runtime 5.1 'i (desteklenmeyen) temel alan makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. ML için Databricks Runtimes TensorFlow, PyTorch, Keras ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Horovod kullanarak dağıtılmış TensorFlow eğitimini de destekler.
Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.
Yeni özellikler
Databricks Runtime 5.1 ML, Databricks Runtime 5.1'in üzerine kurulmuştur. Databricks Runtime 5.1'deki yenilikler hakkında bilgi için bkz . Databricks Runtime 5.1 (desteklenmeyen) sürüm notları. Databricks Runtime 5.1 ML, Kitaplıklardaki mevcut kitaplıklara yönelik güncelleştirmelere ek olarak aşağıdaki yeni özellikleri içerir:
Not
Databricks Runtime ML sürümleri, temel Databricks Runtime sürümündeki tüm bakım güncelleştirmelerini alır. Tüm bakım güncelleştirmelerinin listesi için bkz . Databricks Runtime için bakım güncelleştirmeleri (arşivlenmiş).
Sistem ortamı
Databricks Runtime 5.1 ve Databricks Runtime 5.1 ML'deki sistem ortamındaki fark:
- Python: Python 2 kümeleri için 2.7.15 ve Python 3 kümeleri için 3.6.5.
- DBUtils: Databricks Runtime 5.1 ML, Kitaplık yardımcı programı (dbutils.library) (eski) içermez.
- GPU kümeleri için aşağıdaki NVIDIA GPU kitaplıkları:
- Tesla sürücüsü 396.44
- CUDA 9.2
- CUDNN 7.2.1
Kitaplık
Databricks Runtime 5.1'deki kitaplıklardaki ve Databricks Runtime 5.1 ML'deki kitaplıklardaki farklılıklar bu bölümde listelenmiştir.
Python kitaplıkları
Databricks Runtime 5.1 ML, Python paket yönetimi için Conda kullanır. Sonuç olarak, önceden yüklenmiş Python kitaplıklarında Databricks Runtime ile karşılaştırıldığında önemli değişiklikler vardır. Conda paket yöneticisi kullanılarak yüklenen sağlanan Python paketlerinin ve sürümlerinin tam listesi aşağıda verilmiştir.
| Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | Çamaşır suyu | 2.1.3 |
| Boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| sertifikalı | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | yapılandırmaparser | 3.5.0 |
| Şifreleme | 2.2.2 | Cycler | 0.10.0 | Cython | 0.28.2 |
| Dekoratör | 4.3.0 | docutils | 0,14 | Entrypoints | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Vadeli | 3.2.0 |
| Gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.0 | html5lib | 1.0.1 | ıdna | 2,6 |
| ıpaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras Uygulamaları | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | İşaretlemeyi Kasa | 1.0 |
| matplotlib | 2.2.2 | yanlış | 0.8.3 | mleap | 0.8.1 |
| Sahte | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | Burun | 1.3.7 | burun dışlama | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Yastık | 5.1.0 | Pip | 10.0.1 | Kat | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | serçe | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | istekler | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | Sinan | 0.8.1 | kurulum araçları | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | Altı | 1.11.0 |
| statsmodeller | 0.9.0 | altişlem32 | 3.5.3 | tensorboard | 1.12.0 |
| tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
| test yolu | 0.3.1 | Meşale | 0.4.1 | torchvision | 0.2.1 |
| Kasırga | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| Tekerlek | 0.31.1 | kaydırma | 1.10.11 | wsgiref | 0.1.2 |
Ayrıca, aşağıdaki Spark paketleri Python modüllerini içerir:
| Spark Paketi | Python Modülü | Sürüm |
|---|---|---|
| tensorframes | tensorframes | 0.6.0-s_2.11 |
| graf çerçeveleri | graf çerçeveleri | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.4.0-db2-spark2.4 |
R kitaplıkları
R kitaplıkları Databricks Runtime 5.1'deki R Kitaplıklarıyla aynıdır.
Java ve Scala kitaplıkları (Scala 2.11 kümesi)
Databricks Runtime 5.1'deki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 5.1 ML aşağıdaki JAR'leri içerir:
| Grup Kimliği | Yapıt Kimliği | Sürüm |
|---|---|---|
| com.databricks | spark-deep-learning | 1.4.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| ml.dmlc | xgboost4j | 0,81 |
| ml.dmlc | xgboost4j-spark | 0,81 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |