Databricks Runtime 5.3 ML (desteklenmiyor)
Databricks bu görüntüyü Nisan 2019'da yayımladı.
Databricks Runtime 5.3 ML, Databricks Runtime 5.3 (desteklenmeyen) tabanlı makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. ML için Databricks Runtime TensorFlow, PyTorch, Keras ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Horovod kullanarak dağıtılmış derin öğrenme eğitimini de destekler.
Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.
Yeni özellikler
Databricks Runtime 5.3 ML, Databricks Runtime 5.3'ün üzerine kurulmuştur. Databricks Runtime 5.3'teki yenilikler hakkında bilgi için bkz . Databricks Runtime 5.3 (desteklenmeyen) sürüm notları. Databricks Runtime 5.3 ML, kitaplık güncelleştirmelerine ek olarak aşağıdaki yeni özellikleri de sunar:
MLflow + Apache Spark MLlib tümleştirmesi: Databricks Runtime 5.3 ML, PySpark ayarlama algoritmaları ve
TrainValidationSplitkullanılarak uygun modeller için MLflow çalıştırmalarınınCrossValidatorotomatik olarak günlüğe kaydedilmesini destekler.Önemli
Bu özellik, Özel Önizleme sürümündedir. Etkinleştirme hakkında bilgi edinmek için Azure Databricks satış temsilcinize başvurun.
Aşağıdaki kitaplıkları en son sürüme yükseltir:
Databricks ML Modeli Dışarı Aktarma API'si kullanım dışı bırakıldı. Azure Databricks bunun yerine MLlib model türlerinin daha geniş bir kapsamını sağlayan MLeap kullanılmasını önerir. Daha fazla bilgi için bkz . MLeap ML modeli dışarı aktarma.
Not
Ayrıca Databricks Runtime 5.3, derin öğrenme iş yükleri için yüksek performanslı G/Ç sağlayan her çalışandan paylaşılan depolama konumuna file:/dbfs/mlveri yükleme, model denetim noktası oluşturma ve günlüğe kaydetme için iyileştirilmiş yeni bir FUSE bağlaması içerir. Bkz . Makine öğrenmesi ve derin öğrenme için veri yükleme.
Bakım güncelleştirmeleri
Bkz . Databricks Runtime 5.4 ML bakım güncelleştirmeleri.
Sistem ortamı
Databricks Runtime 5.3 ML'deki sistem ortamı, Databricks Runtime 5.3'ten aşağıdaki gibi farklıdır:
- Python: Python 2 kümeleri için 2.7.15 ve Python 3 kümeleri için 3.6.5.
- DBUtils: Databricks Runtime 5.3 ML, Kitaplık yardımcı programı (dbutils.library) (eski) içermez.
- GPU kümeleri için aşağıdaki NVIDIA GPU kitaplıkları:
- Tesla sürücüsü 396.44
- CUDA 9.2
- CUDNN 7.2.1
Kitaplık
Aşağıdaki bölümlerde Databricks Runtime 5.3 ML'de bulunan ve Databricks Runtime 5.3'teki kitaplıklardan farklı kitaplıklar listelenmiştir.
Üst katman kitaplıkları
Databricks Runtime 5.3 ML aşağıdaki üst katman kitaplıklarını içerir:
Python kitaplıkları
Databricks Runtime 5.3 ML, Python paket yönetimi için Conda kullanır. Sonuç olarak, Databricks Runtime ile karşılaştırıldığında önceden yüklenmiş Python kitaplıklarında önemli farklılıklar vardır. Conda paket yöneticisi kullanılarak yüklenen sağlanan Python paketlerinin ve sürümlerinin tam listesi aşağıda verilmiştir.
| Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
|---|---|---|---|---|---|
| absl-py | 0.7.0 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.6 | Çamaşır suyu | 2.1.3 |
| Boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| sertifikalı | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | yapılandırmaparser | 3.5.0 |
| Şifreleme | 2.2.2 | Cycler | 0.10.0 | Cython | 0.28.2 |
| Dekoratör | 4.3.0 | docutils | 0,14 | Entrypoints | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Vadeli | 3.2.0 |
| Gast | 0.2.2 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.16.0 | html5lib | 1.0.1 | ıdna | 2,6 |
| ıpaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras Uygulamaları | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | İşaretlemeyi Kasa | 1.0 |
| matplotlib | 2.2.2 | yanlış | 0.8.3 | mleap | 0.8.1 |
| Sahte | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | Burun | 1.3.7 | burun dışlama | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Yastık | 5.1.0 | Pip | 10.0.1 | Kat | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psutil | 5.6.0 |
| psycopg2 | 2.7.5 | ptyprocess | 0.5.2 | serçe | 0.12.1 |
| pyasn1 | 0.4.5 | pycparser | 2.18 | Pygments | 2.2.0 |
| PyNaCl | 1.3.0 | pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 |
| PySocks | 1.6.8 | Python | 2.7.15 | python-dateutil | 2.7.3 |
| pytz | 2018.4 | PyYAML | 3.12 | pyzmq | 17.0.0 |
| istekler | 2.18.4 | s3transfer | 0.1.13 | scandir | 1.7 |
| scikit-learn | 0.19.1 | scipy | 1.1.0 | Sinan | 0.8.1 |
| kurulum araçları | 39.1.0 | simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 |
| Altı | 1.11.0 | statsmodeller | 0.9.0 | altişlem32 | 3.5.3 |
| tensorboard | 1.12.2 | tensorboardX | 1.6 | tensorflow | 1.12.0 |
| termcolor | 1.1.0 | test yolu | 0.3.1 | Meşale | 0.4.1 |
| torchvision | 0.2.1 | Kasırga | 5.0.2 | traceback2 | 1.4.0 |
| traitlets | 4.3.2 | unittest2 | 1.1.0 | urllib3 | 1.22 |
| virtualenv | 16.0.0 | wcwidth | 0.1.7 | webencodings | 0.5.1 |
| Werkzeug | 0.14.1 | Tekerlek | 0.31.1 | kaydırma | 1.10.11 |
| wsgiref | 0.1.2 |
Ayrıca, aşağıdaki Spark paketleri Python modüllerini içerir:
| Spark Paketi | Python Modülü | Sürüm |
|---|---|---|
| graf çerçeveleri | graf çerçeveleri | 0.7.0-db1-spark2.4 |
| spark-deep-learning | sparkdl | 1.5.0-db1-spark2.4 |
| tensorframes | tensorframes | 0.6.0-s_2.11 |
R kitaplıkları
R kitaplıkları Databricks Runtime 5.3'teki R Kitaplıklarıyla aynıdır.
Java ve Scala kitaplıkları (Scala 2.11 kümesi)
Databricks Runtime 5.3'teki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 5.3 ML aşağıdaki JAR'leri içerir:
| Grup Kimliği | Yapıt Kimliği | Sürüm |
|---|---|---|
| com.databricks | spark-deep-learning | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0,81 |
| ml.dmlc | xgboost4j-spark | 0,81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |