Databricks Runtime 5.1 ML (stöds inte)
Databricks släppte den här bilden i december 2018.
Databricks Runtime 5.1 ML tillhandahåller en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 5.1 (stöds inte). Databricks Runtimes för ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch, Keras och XGBoost. Den stöder även distribuerad TensorFlow-träning med Horovod.
Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och Machine Learning på Databricks.
Nya funktioner
Databricks Runtime 5.1 ML bygger på Databricks Runtime 5.1. Information om nyheter i Databricks Runtime 5.1 finns i viktig information om Databricks Runtime 5.1 (stöds inte). Förutom uppdateringarna av befintliga bibliotek i bibliotek innehåller Databricks Runtime 5.1 ML följande nya funktioner:
- PyTorch för att skapa djupinlärningsnätverk.
Kommentar
Databricks Runtime ML-versioner hämtar alla underhållsuppdateringar till basversionen av Databricks Runtime. En lista över alla underhållsuppdateringar finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).
Systemmiljö
Skillnaden i systemmiljö i Databricks Runtime 5.1 och i Databricks Runtime 5.1 ML är:
- Python: 2.7.15 för Python 2-kluster och 3.6.5 för Python 3-kluster.
- DBUtils: Databricks Runtime 5.1 ML innehåller inte biblioteksverktyget (dbutils.library) (äldre).
- Följande NVIDIA GPU-bibliotek för GPU-kluster:
- Tesla-förare 396,44
- CUDA 9.2
- CUDNN 7.2.1
Bibliotek
Skillnaderna i biblioteken som ingår i Databricks Runtime 5.1 och de som ingår i Databricks Runtime 5.1 ML visas i det här avsnittet.
Python-bibliotek
Databricks Runtime 5.1 ML använder Conda för Python-pakethantering. Det innebär att det finns stora ändringar i förinstallerade Python-bibliotek jämfört med Databricks Runtime. Följande är den fullständiga listan över tillhandahållna Python-paket och versioner som installerats med Conda-pakethanteraren.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | Bcrypt | 3.1.4 | Blekmedel | 2.1.3 |
| Boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| Certifi | 2018.04.16 | Cffi | 1.11.5 | Chardet | 3.0.4 |
| cloudpickle | 0.5.3 | Colorama | 0.3.9 | configparser | 3.5.0 |
| Kryptografi | 2.2.2 | Apparat | 0.10.0 | Cython | 0.28.2 |
| Dekoratör | 4.3.0 | Docutils | 0,14 | entrypoints | 0.2.3 |
| uppräkning 34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Terminer | 3.2.0 |
| Gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.0 | html5lib | 1.0.1 | idna | 2,6 |
| Ip | 1.0.22 | Ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-förbearbetning | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| Lxml | 4.2.1 | Markdown | 3.0.1 | Markering Valv | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| Mock | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | Näsa | 1.3.7 | näsa-exkludera | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | Numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | Pandas | 0.23.0 | pandocfilter | 1.4.2 |
| Paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| Pbr | 5.1.1 | Pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Kudde | 5.1.0 | Pip | 10.0.1 | Ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| Pyopenssl | 18.0.0 | Pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | begäranden | 2.18.4 |
| s3transfer | 0.1.13 | Scandir | 1,7 | scikit-learn | 0.19.1 |
| Scipy | 1.1.0 | seaborn | 0.8.1 | Setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | Sex | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.12.0 |
| tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
| testpath | 0.3.1 | Fackla | 0.4.1 | torchvision | 0.2.1 |
| Tornado | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | Virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| Hjul | 0.31.1 | wrapt | 1.10.11 | Wsgiref | 0.1.2 |
Dessutom innehåller följande Spark-paket Python-moduler:
| Spark-paket | Python-modul | Version |
|---|---|---|
| tensorframes | tensorframes | 0.6.0-s_2.11 |
| graphframes | graphframes | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.4.0-db2-spark2.4 |
R-bibliotek
R-biblioteken är identiska med R-bibliotek på Databricks Runtime 5.1.
Java- och Scala-bibliotek (Scala 2.11-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 5.1 innehåller Databricks Runtime 5.1 ML följande JAR:er:
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.databricks | spark-deep-learning | 1.4.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| ml.dmlc | xgboost4j | 0,81 |
| ml.dmlc | xgboost4j-spark | 0,81 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |