Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie voor alle ondersteunde Databricks Runtime-versies de Databricks Runtime-releaseopmerkingen over versies en compatibiliteit.
Databricks Runtime 11.0 voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 11.0 (EoS). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.
Zie AI en machine learning op Databricks voor meer informatie, inclusief instructies voor het maken van een Databricks Runtime ML-cluster.
Nieuwe functies en verbeteringen
Databricks Runtime 11.0 ML is gebouwd op Databricks Runtime 11.0. Zie de releaseopmerkingen van Databricks Runtime 11.0, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 11.0 (EoS ).
Verbeteringen aan AutoML
AutoML ondersteunt nu hogere samplingfracties voor betere prestaties op grote gegevenssets. Zie Voorbeelden van grote gegevenssets voor meer informatie.
Systeemomgeving
De systeemomgeving in Databricks Runtime 11.0 ML verschilt als volgt van Databricks Runtime 11.0:
-
DBUtils: Databricks Runtime ML bevat geen bibliotheekhulpprogramma (dbutils.library) (verouderd).
Gebruik opdrachten
%pipin plaats daarvan. Zie Notebook-scoped Python libraries (Notebook-scoped Python-bibliotheken) voor meer informatie. - Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Bibliotheken
In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 11.0 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 11.0.
In deze sectie:
- Topklasse bibliotheken
- Python-bibliotheken
- R-bibliotheken
- Java- en Scala-bibliotheken (Scala 2.12-cluster)
Bibliotheken van topniveau
Databricks Runtime 11.0 ML bevat de volgende vooraanstaande bibliotheken
- GraphFrames
- Horovod en HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Python-bibliotheken
Databricks Runtime 11.0 ML maakt gebruik van Virtualenv voor Python-pakketbeheer en bevat veel populaire ML-pakketten.
Naast de pakketten die zijn opgegeven in de volgende secties, bevat Databricks Runtime 11.0 ML ook de volgende pakketten:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.4.1
- automl 1.10
Python-bibliotheken op CPU-clusters
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1,10 |
| kenmerken | 21.2.0 | terugbellen | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| bcrypt | 3.2.2 | bleekmiddel | 4.0.0 | gelukzaligheid | 0.7.7 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.1.0 |
| catalogus | 2.0.7 | certificaat | 2021.10.8 | cffiffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | klikken | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| Converteer datum | 2.4.0 | cryptografie | 3.4.8 | wielrijder | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime (automatische machine learning omgeving van Databricks) | 0.2.8 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| foutopsporing | 1.4.1 | decorateur | 5.1.0 | defusedxml | 0.7.1 |
| dille | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.4 |
| distro-info | 0.23opgegeven1 | invoerpunten | 0,3 | kortstondig | 4.1.3 |
| facettenoverzicht | 1.0.0 | fasttext | 0.9.2 | bestandsvergrendeling | 3.3.1 |
| Flacon | 1.1.2 | FlatBuffers | 2.0 | fsspec | 2021.8.1 |
| toekomst | 0.18.2 | gast | 0.5.3 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | Google-authenticatie | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| Google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.3 |
| vakantie | 0,13 | horovod (Russische volksdans) | 0.24.3 | htmlmin | 0.1.12 |
| huggingface-hub | 0.6.0 | IDNA | 3.2 | ImageHash | 4.2.1 |
| onevenwichtig leren | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate (ISO-datum) | 0.6.1 | hetisgevarlijk | 2.0.1 | Jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client (softwarepakket voor Jupyter-notebooks) | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Keras | 2.8.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| koreaans-maankalender | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.1 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | Lunarkalender | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| ontstemd | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.26.0 |
| multimethode | 1.8 | murmurhash | 1.0.7 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | Natural Language Toolkit (nltk) | 3.6.5 | notitieboek | 6.4.5 |
| numba | 0.55.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | verpakking | 21,0 | Pandas | 1.3.4 |
| pandas-profilering | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | ziekte | 0.6.1 | Patsy | 0.5.2 |
| petastorm | 0.11.4 | pexpect | 4.8.0 | "Phik" | 0.12.2 |
| pickleshare | 0.7.5 | Kussen | 8.4.0 | pit | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.6.0 | pmdarima | 1.8.5 |
| vooraf geslagen | 3.0.6 | prometheus-client | 0.11.0 | prompt-hulpmiddelenpakket | 3.0.20 |
| profeet | 1.0.1 | protocolbuffers | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 |
| pycparser | 2,20 | pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) | 1.8.2 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) | 2.8.2 |
| python-bewerker | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6,0 | pyzmq | 22.2.1 | regex | 2021.8.3 |
| verzoeken | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| RSA | 4.8 | s3transfer | 0.5.2 | sacremoses | 0.0.53 |
| scikit-learn | 0.24.2 | Scipy (een wetenschappelijke bibliotheek voor Python) | 1.7.1 | geboren op zee | 0.11.2 |
| Send2Trash | 1.8.0 | setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) | 58.0.4 | setuptools-git | 1.2 |
| Shap | 0.40.0 | simplejson | 3.17.6 | Zes | 1.16.0 |
| snijmachine | 0.0.7 | intelligent openen | 5.2.1 | smmap | 5.0.0 |
| spatie | 3.2.3 | spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | Serieus? | 2.4.3 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tabuleren | 0.8.9 |
| Vastgelopen-in-Unicode | 0.1.0 | vasthoudendheid | 8.0.1 | Tensorbord | 2.8.0 |
| tensorboard-data-server (gegevensserver) | 0.6.1 | tensorboard-plugin-profiel | 2.5.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.8.0 | tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 |
| termcolor | 1.1.0 | voltooid | 0.9.4 | testpath | 0.5.0 |
| tf-estimator-nightly | 2.8.0.dev2021122109 | thinc | 8.0.15 | threadpoolctl | 2.2.0 |
| tokenisatoren | 0.12.1 | fakkel | 1.11.0+cpu | fakkelvisie | 0.12.0+cpu |
| tornado | 6.1 | tqdm | 4.62.3 | Traitlets (Python library voor het configureren van Python-objecten) | 5.1.0 |
| transformatoren | 4.17.0 | Typer | 0.4.1 | typen-extensies | 3.10.0.2 |
| ujson (een Python-bibliotheek voor snelle JSON-verwerking) | 4.0.2 | upgrades zonder toezicht | 0,1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | Visies | 0.7.4 | wasabi | 0.9.1 |
| wcwidth | 0.2.5 | Webencoderingen | 0.5.1 | websocket-client | 1.3.1 |
| gereedschap | 2.0.2 | wiel | 0.37.0 | widgetsnbextension | 3.6.0 |
| gewikkeld | 1.12.1 | xgboost | 1.5.2 | ritssluiting | 3.6.0 |
Python-bibliotheken op GPU-clusters
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1,10 |
| kenmerken | 21.2.0 | terugbellen | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| bcrypt | 3.2.2 | bleekmiddel | 4.0.0 | gelukzaligheid | 0.7.7 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.1.0 |
| catalogus | 2.0.7 | certificaat | 2021.10.8 | cffiffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | klikken | 8.0.3 |
| cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
| Converteer datum | 2.4.0 | cryptografie | 3.4.8 | wielrijder | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime (automatische machine learning omgeving van Databricks) | 0.2.8 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| foutopsporing | 1.4.1 | decorateur | 5.1.0 | defusedxml | 0.7.1 |
| dille | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.4 |
| distro-info | 0.23opgegeven1 | invoerpunten | 0,3 | kortstondig | 4.1.3 |
| facettenoverzicht | 1.0.0 | fasttext | 0.9.2 | bestandsvergrendeling | 3.3.1 |
| Flacon | 1.1.2 | FlatBuffers | 2.0 | fsspec | 2021.8.1 |
| toekomst | 0.18.2 | gast | 0.5.3 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | Google-authenticatie | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| Google-pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.3 |
| vakantie | 0,13 | horovod (Russische volksdans) | 0.24.3 | htmlmin | 0.1.12 |
| huggingface-hub | 0.6.0 | IDNA | 3.2 | ImageHash | 4.2.1 |
| onevenwichtig leren | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate (ISO-datum) | 0.6.1 | hetisgevarlijk | 2.0.1 | Jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client (softwarepakket voor Jupyter-notebooks) | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Keras | 2.8.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| koreaans-maankalender | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.1 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | Lunarkalender | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| ontstemd | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.26.0 |
| multimethode | 1.8 | murmurhash | 1.0.7 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | Natural Language Toolkit (nltk) | 3.6.5 | notitieboek | 6.4.5 |
| numba | 0.55.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | verpakking | 21,0 | Pandas | 1.3.4 |
| pandas-profilering | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | ziekte | 0.6.1 | Patsy | 0.5.2 |
| petastorm | 0.11.4 | pexpect | 4.8.0 | "Phik" | 0.12.2 |
| pickleshare | 0.7.5 | Kussen | 8.4.0 | pit | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.6.0 | pmdarima | 1.8.5 |
| vooraf geslagen | 3.0.6 | prompt-hulpmiddelenpakket | 3.0.20 | profeet | 1.0.1 |
| protocolbuffers | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 | pycparser | 2,20 |
| pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) | 1.8.2 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) | 2.8.2 | python-bewerker | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6,0 |
| pyzmq | 22.2.1 | regex | 2021.8.3 | verzoeken | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | RSA | 4.8 |
| s3transfer | 0.5.2 | sacremoses | 0.0.53 | scikit-learn | 0.24.2 |
| Scipy (een wetenschappelijke bibliotheek voor Python) | 1.7.1 | geboren op zee | 0.11.2 | Send2Trash | 1.8.0 |
| setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) | 58.0.4 | setuptools-git | 1.2 | Shap | 0.40.0 |
| simplejson | 3.17.6 | Zes | 1.16.0 | snijmachine | 0.0.7 |
| intelligent openen | 5.2.1 | smmap | 5.0.0 | spatie | 3.2.3 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | Serieus? | 2.4.3 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tabuleren | 0.8.9 | Vastgelopen-in-Unicode | 0.1.0 |
| vasthoudendheid | 8.0.1 | Tensorbord | 2.8.0 | tensorboard-data-server (gegevensserver) | 0.6.1 |
| tensorboard-plugin-profiel | 2.5.0 | tensorboard-plugin-wit | 1.8.1 | TensorFlow | 2.8.0 |
| tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 | termcolor | 1.1.0 |
| voltooid | 0.9.4 | testpath | 0.5.0 | tf-estimator-nightly | 2.8.0.dev2021122109 |
| thinc | 8.0.15 | threadpoolctl | 2.2.0 | tokenisatoren | 0.12.1 |
| fakkel | 1.11.0+cu113 | fakkelvisie | 0.12.0+cu113 | tornado | 6.1 |
| tqdm | 4.62.3 | Traitlets (Python library voor het configureren van Python-objecten) | 5.1.0 | transformatoren | 4.17.0 |
| Typer | 0.4.1 | typen-extensies | 3.10.0.2 | ujson (een Python-bibliotheek voor snelle JSON-verwerking) | 4.0.2 |
| upgrades zonder toezicht | 0,1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| Visies | 0.7.4 | wasabi | 0.9.1 | wcwidth | 0.2.5 |
| Webencoderingen | 0.5.1 | websocket-client | 1.3.1 | gereedschap | 2.0.2 |
| wiel | 0.37.0 | widgetsnbextension | 3.6.0 | gewikkeld | 1.12.1 |
| xgboost | 1.5.2 | ritssluiting | 3.6.0 |
Spark-pakketten met Python-modules
| Spark-pakket | Pythonmodule | Versie |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
R-bibliotheken
De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 11.0.
Java- en Scala-bibliotheken (Scala 2.12-cluster)
Naast Java- en Scala-bibliotheken in Databricks Runtime 11.0 bevat Databricks Runtime 11.0 ML de volgende JAR's:
CPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.26.0 |
| org.mlflow | mlflow-spark | 1.26.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.26.0 |
| org.mlflow | mlflow-spark | 1.26.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |