Databricks Runtime 5.3 ML (niet ondersteund)

  • Artikel

Databricks heeft deze afbeelding uitgebracht in april 2019.

Databricks Runtime 5.3 ML biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 5.3 (niet ondersteund). Databricks Runtime voor ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch, Keras en XGBoost. Het biedt ook ondersteuning voor gedistribueerde deep learning-training met behulp van Horovod.

Zie AI en Machine Learning op Databricks voor meer informatie, waaronder instructies voor het maken van een Databricks Runtime ML-cluster.

Nieuwe functies

Databricks Runtime 5.3 ML is gebouwd op Databricks Runtime 5.3. Zie de releaseopmerkingen van Databricks Runtime 5.3 (niet-ondersteund) voor informatie over wat er nieuw is in Databricks Runtime 5.3. Naast bibliotheekupdates introduceert Databricks Runtime 5.3 ML de volgende nieuwe functies:

  • MLflow + Apache Spark MLlib-integratie: Databricks Runtime 5.3 ML ondersteunt automatische logboekregistratie van MLflow-uitvoeringen voor modellen die geschikt zijn voor pySpark-afstemmingsalgoritmen CrossValidator en TrainValidationSplit.

    Belangrijk

    Deze functie is beschikbaar als beperkte preview. Neem contact op met uw Azure Databricks-vertegenwoordiger voor meer informatie over het inschakelen ervan.

  • Hiermee worden de volgende bibliotheken bijgewerkt naar de nieuwste versie:

    • PyArrow van 0.8.0 tot 0.12.1: BinaryType wordt ondersteund door op pijl gebaseerde conversie en kan worden gebruikt in PandasUDF.
    • Horovod van 0.15.2 tot 0.16.0.
    • TensorboardX van 1.4 tot 1.6.

De Databricks ML Model Export-API is afgeschaft. Azure Databricks raadt aan in plaats daarvan MLeap te gebruiken, wat een bredere dekking biedt van MLlib-modeltypen. Meer informatie vindt u bij het exporteren van MLeap ML-modellen.

Notitie

Daarnaast bevat Databricks Runtime 5.3 een nieuwe FUSE-koppeling die is geoptimaliseerd voor het laden van gegevens, modelcontrolepunten en logboekregistratie van elke werkrol naar een gedeelde opslaglocatie file:/dbfs/ml, die I/O met hoge prestaties biedt voor deep learning-workloads. Zie Gegevens laden voor machine learning en deep learning.

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 5.4 ML.

Systeemomgeving

De systeemomgeving in Databricks Runtime 5.3 ML verschilt als volgt van Databricks Runtime 5.3:

Bibliotheken

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 5.3 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 5.3.

Bibliotheken met de hoogste laag

Databricks Runtime 5.3 ML bevat de volgende bibliotheken met de hoogste laag:

Python-bibliotheken

Databricks Runtime 5.3 ML maakt gebruik van Conda voor Python-pakketbeheer. Als gevolg hiervan zijn er grote verschillen in vooraf geïnstalleerde Python-bibliotheken in vergelijking met Databricks Runtime. Hier volgt een volledige lijst met opgegeven Python-pakketten en -versies die zijn geïnstalleerd met Conda Package Manager.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 0.7.0 argparse 1.4.0 asn1crypto 0.24.0
Astor 0.7.1 backports-abc 0,5 backports.functools-lru-cache 1.5
backports.weakref 1.0.post1 Bcrypt 3.1.6 Bleekmiddel 2.1.3
Boto 2.48.0 boto3 1.7.62 botocore 1.10.62
certifi 2018.04.16 Cffi 1.11.5 Chardet 3.0.4
cloudpickle 0.5.3 colorama 0.3.9 configparser 3.5.0
Cryptografie 2.2.2 cycler 0.10.0 Cython 0.28.2
Decorator 4.3.0 Docutils 0,14 invoerpunten 0.2.3
enum34 1.1.6 et-xmlfile 1.0.1 funcsigs 1.0.2
functools32 3.2.3-2 fusepy 2.0.4 Futures 3.2.0
gast 0.2.2 grpcio 1.12.1 h5py 2.8.0
horovod 0.16.0 html5lib 1.0.1 idna 2.6
ipaddress 1.0.22 Ipython 5.7.0 ipython_genutils 0.2.0
jdcal 1.4 Jinja2 2.10 jmespath 0.9.3
jsonschema 2.6.0 jupyter-client 5.2.3 jupyter-core 4.4.0
Keras 2.2.4 Keras-Applications 1.0.6 Keras-Preprocessing 1.0.5
kiwisolver 1.0.1 linecache2 1.0.0 llvmlite 0.23.1
Lxml 4.2.1 Markdown 3.0.1 MarkupSafe 1.0
matplotlib 2.2.2 mistune 0.8.3 mleap 0.8.1
Mock 2.0.0 msgpack 0.5.6 nbconvert 5.3.1
nbformat 4.4.0 Neus 1.3.7 neus-uitsluiten 0.5.0
numba 0.38.0+0.g2a2b772fc.dirty Numpy 1.14.3 olefile 0.45.1
openpyxl 2.5.3 Pandas 0.23.0 pandocfilters 1.4.2
Paramiko 2.4.1 pathlib2 2.3.2 Patsy 0.5.0
Pbr 5.1.1 Pexpect 4.5.0 pickleshare 0.7.4
Kussen 5.1.0 Pip 10.0.1 Ply 3.11
prompt-toolkit 1.0.15 protobuf 3.6.1 psutil 5.6.0
psycopg2 2.7.5 ptyprocess 0.5.2 pyarrow 0.12.1
pyasn1 0.4.5 pycparser 2.18 Pygments 2.2.0
PyNaCl 1.3.0 Pyopenssl 18.0.0 Pyparsing 2.2.0
PySocks 1.6.8 Python 2.7.15 python-dateutil 2.7.3
pytz 2018.4 PyYAML 3.12 pyzmq 17.0.0
requests 2.18.4 s3transfer 0.1.13 scandir 1,7
scikit-learn 0.19.1 Scipy 1.1.0 seaborn 0.8.1
Setuptools 39.1.0 simplegeneric 0.8.1 singledispatch 3.4.0.3
Zes 1.11.0 statsmodels 0.9.0 subproces32 3.5.3
tensorboard 1.12.2 tensorboardX 1.6 tensorflow 1.12.0
termcolor 1.1.0 testpath 0.3.1 Fakkel 0.4.1
torchvision 0.2.1 Tornado 5.0.2 traceback2 1.4.0
traitlets 4.3.2 unittest2 1.1.0 urllib3 1.22
Virtualenv 16.0.0 wcwidth 0.1.7 webencodings 0.5.1
Werkzeug 0.14.1 Wiel 0.31.1 wrapt 1.10.11
Wsgiref 0.1.2

Daarnaast bevatten de volgende Spark-pakketten Python-modules:

Spark-pakket Python-module Versie
graphframes graphframes 0.7.0-db1-spark2.4
spark-deep learning sparkdl 1.5.0-db1-spark2.4
tensorframes tensorframes 0.6.0-s_2.11

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 5.3.

Java- en Scala-bibliotheken (Scala 2.11-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 5.3 bevat Databricks Runtime 5.3 ML de volgende JAR's:

Groeps-id Artefact-id Versie
com.databricks spark-deep learning 1.5.0-db1-spark2.4
com.typesafe.akka akka-actor_2.11 2.3.11
ml.combust.mleap mleap-databricks-runtime_2.11 0.13.0
ml.dmlc xgboost4j 0.81
ml.dmlc xgboost4j-spark 0.81
org.graphframes graphframes_2.11 0.7.0-db1-spark2.4
org.tensorflow libtensorflow 1.12.0
org.tensorflow libtensorflow_jni 1.12.0
org.tensorflow spark-tensorflow-connector_2.11 1.12.0
org.tensorflow tensorflow 1.12.0
org.tensorframes tensorframes 0.6.0-s_2.11