Databricks Runtime 12.0 voor Machine Learning (niet ondersteund)
Databricks Runtime 12.0 voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 12.0 (niet ondersteund). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.
Zie AI en Machine Learning op Databricks voor meer informatie, waaronder instructies voor het maken van een Databricks Runtime ML-cluster.
Nieuwe functies en verbeteringen
Databricks Runtime 12.0 ML is gebouwd op Databricks Runtime 12.0. Zie de releaseopmerkingen van Databricks Runtime 12.0, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 12.0 (niet-ondersteund ).
Verbeteringen aan Databricks AutoML
- Prognosemodellen kunnen nu desgewenst landvakanties bevatten.
- Prognoses ondersteunen nu maandelijkse, kwartaal- en jaarlijkse frequenties.
- AutoML kan nu grotere gegevenssets gebruiken voor training. AutoML wijst automatisch meer CPU-kernen toe voor grote gegevenssets.
Zie Wat is AutoML voor meer informatie over Databricks AutoML.
MLflow 2.0
Databricks Runtime 12.0 ML bevat MLflow 2.0. MLflow 2.0 bouwt voort op de sterke platformbasis van MLflow en bevat uitgebreide gebruikersfeedback om data science-werkstromen te vereenvoudigen en innovatieve, eersteklas hulpprogramma's voor MLOps te leveren. Functies en verbeteringen omvatten extensies voor MLflow-recepten (voorheen MLflow-pijplijnen), zoals AutoML, afstemming van hyperparameters en classificatieondersteuning, evenals gemoderniseerde integraties met het ML-ecosysteem, een gestroomlijnde MLflow Tracking UI, een vernieuwing van kern-API's in de platformonderdelen van MLflow en meer. Zie de documentatie van MLflow 2.0 voor meer informatie of bekijk het blogbericht.
scikit-learn 1.0
Databricks Runtime ML 12.0 bevat scikit-learn versie 1.0. Raadpleeg de scikit-learndocumentatie voor meer informatie over wijzigingen met deze scikit-learn-release.
Systeemomgeving
De systeemomgeving in Databricks Runtime 12.0 ML verschilt als volgt van Databricks Runtime 12.0:
- DBUtils: Databricks Runtime ML bevat geen bibliotheekhulpprogramma (dbutils.library) (verouderd).
Gebruik
%pipin plaats daarvan opdrachten. Zie Notebook-scoped Python libraries (Notebook-scoped Python-bibliotheken) voor meer informatie. - Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 12.0 ML bevat XGBoost 1.6.2, die geen ONDERSTEUNING biedt voor GPU-clusters met rekencapaciteit 5.2 en lager.
Bibliotheken
In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 12.0 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 12.0.
In deze sectie:
- Bibliotheken met de hoogste laag
- Python-bibliotheken
- R-bibliotheken
- Java- en Scala-bibliotheken (Scala 2.12-cluster)
Bibliotheken met de hoogste laag
Databricks Runtime 12.0 ML bevat de volgende bibliotheken in de bovenste laag:
- GraphFrames
- Horovod en HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python-bibliotheken
Databricks Runtime 12.0 ML maakt gebruik van Virtualenv voor Python-pakketbeheer en bevat veel populaire ML-pakketten.
Naast de pakketten die in de volgende secties zijn opgegeven, bevat Databricks Runtime 12.0 ML ook de volgende pakketten:
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- automl 1.14.1
Als u de Databricks Runtime ML Python-omgeving in uw lokale virtuele Python-omgeving wilt reproduceren, downloadt u het requirements-12.0.txt-bestand en voert u het uitpip install -r requirements-12.0.txt. Met deze opdracht worden alle opensourcebibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden er geen bibliotheken geïnstalleerd die zijn ontwikkeld door Databricks, zoals databricks-automl, databricks-feature-storeof de Databricks-fork van hyperopt.
Python-bibliotheken op CPU-clusters
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindingen | 21.2.0 |
| Astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| attrs | 21.4.0 | azure-core | 1.26.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 | Bcrypt | 3.2.0 |
| beautifulsoup4 | 4.11.1 | zwart | 22.3.0 | Bleekmiddel | 4.1.0 |
| blis | 0.7.9 | boto3 | 1.21.32 | botocore | 1.24.32 |
| cachetools | 4.2.2 | Catalogus | 2.0.8 | category-encoders | 2.5.1.post0 |
| certifi | 2021.10.8 | Cffi | 1.15.0 | Chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klikken | 8.0.4 | cloudpickle | 2.0.0 |
| cmdstanpy | 1.0.8 | confection | 0.0.3 | configparser | 5.2.0 |
| convertdate | 2.4.0 | Cryptografie | 3.4.8 | cycler | 0.11.0 |
| cymem | 2.0.7 | Cython | 0.29.28 | databricks-automl-runtime | 0.2.13 |
| databricks-cli | 0.17.3 | databricks-feature-store | 0.8.0 | dbl-tempo | 0.1.12 |
| dbus-python | 1.2.16 | foutopsporing | 1.5.1 | Decorator | 5.1.1 |
| defusedxml | 0.7.1 | Dille | 0.3.4 | diskcache | 5.4.0 |
| distlib | 0.3.6 | invoerpunten | 0,4 | kortstondige tijd | 4.1.3 |
| Uitvoeren | 0.8.3 | facets-overview | 1.0.0 | fastjsonschema | 2.16.2 |
| fasttext | 0.9.2 | filelock | 3.6.0 | Flask | 1.1.2 |
| flatbuffers | 22.10.26 | Fonttools | 4.25.0 | fsspec | 2022.2.0 |
| Toekomst | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 1.33.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.42.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.6.0 | hijri-converter | 2.2.4 |
| Vakantie | 0,16 | horovod | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub | 0.11.0 | idna | 3.3 | ImageHash | 4.3.1 |
| onevenwichtig leren | 0.8.1 | importlib-metadata | 4.11.3 | ipykernel | 6.15.3 |
| Ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | Jedi | 0.18.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.1.0 |
| joblibspark | 0.5.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.10.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.2 |
| koreaans-maankalender | 0.3.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.3 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.4 | MarkupSafe | 2.0.1 |
| matplotlib | 3.5.1 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 2.0.1 |
| multimethod | 1.8 | murmurhash | 1.0.9 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.13 | nbconvert | 6.4.4 | nbformat | 5.3.0 |
| nest-asyncio | 1.5.5 | Networkx | 2.7.1 | nltk | 3.7 |
| notebook | 6.4.8 | numba | 0.55.1 | Numpy | 1.21.5 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | Verpakking | 21.3 |
| Pandas | 1.4.2 | pandas-profilering | 3.3.0 | pandocfilters | 1.5.0 |
| Paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.9.0 |
| pathy | 0.6.1 | Patsy | 0.5.2 | petastorm | 0.11.4 |
| Pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kussen | 9.0.1 | Pip | 21.2.4 | platformdirs | 2.5.4 |
| plotly | 5.6.0 | pmdarima | 2.0.1 | vooraf geslagen | 3.0.8 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | Profeet | 1.1.1 |
| protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.1 |
| pycparser | 2.21 | pydantic | 1.9.2 | Pygments | 2.11.2 |
| Pygobject | 3.36.0 | PyJWT | 2.6.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.32 | Pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| pytz | 2021.3 | Pywavelets | 1.3.0 | PyYAML | 6,0 |
| pyzmq | 22.3.0 | Regex | 2022.3.15 | requests | 2.27.1 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | Rsa | 4.7.2 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | Scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | Setuptools | 61.2.0 |
| setuptools-git | 1.2 | Shap | 0.41.0 | Simplejson | 3.17.6 |
| Zes | 1.16.0 | Slicer | 0.0.7 | slim openen | 5.1.0 |
| smmap | 5.0.0 | soepsieve | 2.3.1 | spatie | 3.4.1 |
| spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.5 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | Tabulate | 0.8.9 |
| tangled-up-in-unicode | 0.2.0 | Vasthoudendheid | 8.0.1 | tensorboard | 2.10.0 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.10.0 | tensorflow-estimator | 2.10.0 | tensorflow-io-gcs-filesystem | 0.28.0 |
| termcolor | 2.1.1 | terminado | 0.13.1 | testpath | 0.5.0 |
| thinc | 8.1.5 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tokenizers | 0.13.2 | tomli | 1.2.2 | Fakkel | 1.12.1+cpu |
| torchvision | 0.13.1+cpu | Tornado | 6.1 | tqdm | 4.64.0 |
| traitlets | 5.1.1 | Transformers | 4.23.1 | Typer | 0.4.2 |
| typing_extensions | 4.1.1 | upgrades zonder toezicht | 0,1 | urllib3 | 1.26.9 |
| Virtualenv | 20.8.0 | Visioenen | 0.7.5 | Wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 0.58.0 |
| Werkzeug | 2.0.3 | Wiel | 0.37.1 | widgetsnbextension | 3.6.1 |
| wrapt | 1.12.1 | zipp | 3.7.0 |
Python-bibliotheken op GPU-clusters
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindingen | 21.2.0 |
| Astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| attrs | 21.4.0 | azure-core | 1.26.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 | Bcrypt | 3.2.0 |
| beautifulsoup4 | 4.11.1 | zwart | 22.3.0 | Bleekmiddel | 4.1.0 |
| blis | 0.7.9 | boto3 | 1.21.32 | botocore | 1.24.32 |
| cachetools | 4.2.2 | Catalogus | 2.0.8 | category-encoders | 2.5.1.post0 |
| certifi | 2021.10.8 | Cffi | 1.15.0 | Chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klikken | 8.0.4 | cloudpickle | 2.0.0 |
| cmdstanpy | 1.0.8 | confection | 0.0.3 | configparser | 5.2.0 |
| convertdate | 2.4.0 | Cryptografie | 3.4.8 | cycler | 0.11.0 |
| cymem | 2.0.7 | Cython | 0.29.28 | databricks-automl-runtime | 0.2.13 |
| databricks-cli | 0.17.3 | databricks-feature-store | 0.8.0 | dbl-tempo | 0.1.12 |
| dbus-python | 1.2.16 | foutopsporing | 1.5.1 | Decorator | 5.1.1 |
| defusedxml | 0.7.1 | Dille | 0.3.4 | diskcache | 5.4.0 |
| distlib | 0.3.6 | invoerpunten | 0,4 | kortstondige tijd | 4.1.3 |
| Uitvoeren | 0.8.3 | facets-overview | 1.0.0 | fastjsonschema | 2.16.2 |
| fasttext | 0.9.2 | filelock | 3.6.0 | Flask | 1.1.2 |
| flatbuffers | 22.10.26 | Fonttools | 4.25.0 | fsspec | 2022.2.0 |
| Toekomst | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth | 1.33.0 | google-auth-oauthlib | 0.4.6 |
| google-pasta | 0.2.0 | grpcio | 1.42.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.6.0 | hijri-converter | 2.2.4 |
| Vakantie | 0,16 | horovod | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub | 0.11.0 | idna | 3.3 | ImageHash | 4.3.1 |
| onevenwichtig leren | 0.8.1 | importlib-metadata | 4.11.3 | ipykernel | 6.15.3 |
| Ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | Jedi | 0.18.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.1.0 |
| joblibspark | 0.5.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keras | 2.10.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.2 |
| koreaans-maankalender | 0.3.1 | langcodes | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.3 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.4 | MarkupSafe | 2.0.1 |
| matplotlib | 3.5.1 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 2.0.1 |
| multimethod | 1.8 | murmurhash | 1.0.9 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.13 | nbconvert | 6.4.4 | nbformat | 5.3.0 |
| nest-asyncio | 1.5.5 | Networkx | 2.7.1 | nltk | 3.7 |
| notebook | 6.4.8 | numba | 0.55.1 | Numpy | 1.21.5 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | Verpakking | 21.3 |
| Pandas | 1.4.2 | pandas-profilering | 3.3.0 | pandocfilters | 1.5.0 |
| Paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.9.0 |
| pathy | 0.6.1 | Patsy | 0.5.2 | petastorm | 0.11.4 |
| Pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Kussen | 9.0.1 | Pip | 21.2.4 | platformdirs | 2.5.4 |
| plotly | 5.6.0 | pmdarima | 2.0.1 | vooraf geslagen | 3.0.8 |
| prompt-toolkit | 3.0.20 | Profeet | 1.1.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.10.1 | pycparser | 2.21 |
| pydantic | 1.9.2 | Pygments | 2.11.2 | Pygobject | 3.36.0 |
| PyJWT | 2.6.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.32 | Pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-editor | 1.0.4 | pytz | 2021.3 |
| Pywavelets | 1.3.0 | PyYAML | 6,0 | pyzmq | 22.3.0 |
| Regex | 2022.3.15 | requests | 2.27.1 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | Rsa | 4.7.2 | s3transfer | 0.5.0 |
| scikit-learn | 1.0.2 | Scipy | 1.7.3 | seaborn | 0.11.2 |
| Send2Trash | 1.8.0 | Setuptools | 61.2.0 | setuptools-git | 1.2 |
| Shap | 0.41.0 | Simplejson | 3.17.6 | Zes | 1.16.0 |
| Slicer | 0.0.7 | slim openen | 5.1.0 | smmap | 5.0.0 |
| soepsieve | 2.3.1 | spatie | 3.4.1 | spacy-legacy | 3.0.10 |
| spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
| srsly | 2.4.5 | ssh-import-id | 5.10 | stack-data | 0.2.0 |
| statsmodels | 0.13.2 | Tabulate | 0.8.9 | tangled-up-in-unicode | 0.2.0 |
| Vasthoudendheid | 8.0.1 | tensorboard | 2.10.0 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.10.0 |
| tensorflow-estimator | 2.10.0 | tensorflow-io-gcs-filesystem | 0.28.0 | termcolor | 2.1.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | thinc | 8.1.5 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizers | 0.13.2 |
| tomli | 1.2.2 | Fakkel | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| Tornado | 6.1 | tqdm | 4.64.0 | traitlets | 5.1.1 |
| Transformers | 4.23.1 | Typer | 0.4.2 | typing_extensions | 4.1.1 |
| upgrades zonder toezicht | 0,1 | urllib3 | 1.26.9 | Virtualenv | 20.8.0 |
| Visioenen | 0.7.5 | Wasabi | 0.10.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.0.3 |
| Wiel | 0.37.1 | widgetsnbextension | 3.6.1 | wrapt | 1.12.1 |
| zipp | 3.7.0 |
R-bibliotheken
De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 12.0.
Java- en Scala-bibliotheken (Scala 2.12-cluster)
Naast Java- en Scala-bibliotheken in Databricks Runtime 12.0 bevat Databricks Runtime 12.0 ML de volgende JAR's:
CPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 2.0.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-clusters
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 2.0.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |