Databricks Runtime 13.3 LTS voor Machine Learning

  • Artikel

Databricks Runtime 13.3 LTS voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 13.3 LTS. Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.

Zie AI en Machine Learning op Databricks voor meer informatie, waaronder instructies voor het maken van een Databricks Runtime ML-cluster.

Nieuwe functies en verbeteringen

Databricks Runtime 13.3 LTS ML is gebaseerd op Databricks Runtime 13.3 LTS. Zie de releaseopmerkingen van Databricks Runtime 13.3 LTS, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 13.3 LTS .

Wijzigingen in Databricks Feature Store

  • Databricks Runtime 13.3 LTS ML bevat Feature Store-client v0.14.0. Met clientversie 0.14.0 en hoger moet u tijdstempelsleutelkolommen opgeven in het primary_keys argument. Tijdstempelsleutels maken deel uit van de 'primaire sleutels' die elke rij in de functietabel uniek identificeren.
  • U kunt nu functiewaarden uitsluiten met tijdstempels vóór een opgegeven tijd uit de trainingsset. Zie Een tijdslimiet instellen voor historische functiewaarden voor meer informatie.
  • Machine learning-functies kunnen nu op aanvraag op deductietijd worden berekend. Functieberekeningslogica, modellen en gegevens worden allemaal beheerd door Unity Catalog. Hierdoor kunnen modellen functies berekenen met behulp van invoer die alleen beschikbaar zijn tijdens deductietijd, zoals de huidige locatie van een gebruiker. Zie Compute-functies op aanvraag met behulp van door de gebruiker gedefinieerde Python-functies voor meer informatie.

Systeemomgeving

De systeemomgeving in Databricks Runtime 13.3 LTS ML verschilt als volgt van Databricks Runtime 13.3 LTS:

Databricks Runtime 13.3 LTS ML bevat XGBoost 1.7.3, die geen ONDERSTEUNING biedt voor GPU-clusters met rekencapaciteit 5.2 en lager.

Het miniconda-pakket is verwijderd uit Databricks Runtime 13.0 ML en hoger.

Bibliotheken

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 13.3 LTS ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 13.3 LTS.

In deze sectie:

Bibliotheken met de hoogste laag

Databricks Runtime 13.3 LTS ML bevat de volgende bibliotheken met de hoogste laag:

Python-bibliotheken

Databricks Runtime 13.3 LTS ML maakt gebruik van Virtualenv voor Python-pakketbeheer en bevat veel populaire ML-pakketten.

Naast de pakketten die zijn opgegeven in de volgende secties, bevat Databricks Runtime 13.3 LTS ML ook de volgende pakketten:

  • hyperopt 0.2.7+db3
  • sparkdl-3.0.0_db1
  • automl 1.20.0

Als u de Databricks Runtime ML Python-omgeving in uw lokale virtuele Python-omgeving wilt reproduceren, downloadt u het requirements-13.3.txt-bestand en voert u het uitpip install -r requirements-13.3.txt. Met deze opdracht worden alle opensourcebibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden er geen bibliotheken geïnstalleerd die zijn ontwikkeld door Databricks, zoals databricks-automl, databricks-feature-storeof de Databricks-fork van hyperopt.

Python-bibliotheken op CPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 Versnellen 0.20.3 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 Astor 0.8.1
asttokens 2.2.1 astunparse 1.6.3 asynchrone time-out 4.0.2
attrs 21.4.0 audioread 3.0.0 azure-core 1.28.0
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 Bcrypt 3.2.0 beautifulsoup4 4.11.1
zwart 22.6.0 Bleekmiddel 4.1.0 knipperen 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.28
cachetools 4.2.4 Catalogus 2.0.9 category-encoders 2.6.1
certifi 2022.9.14 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 confection 0.1.0 configparser 5.2.0
convertdate 2.4.0 Cryptografie 37.0.1 cycler 0.11.0
cymem 2.0.7 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.17 databricks-cli 0.17.7 databricks-feature-store 0.14.0
databricks-sdk 0.1.6 dataclasses-json 0.5.13 gegevenssets 2.13.1
dbl-tempo 0.1.23 dbus-python 1.2.18 foutopsporing 1.6.0
Decorator 5.1.1 defusedxml 0.7.1 Dille 0.3.4
diskcache 5.6.1 distlib 0.3.7 docstring-to-markdown 0,12
invoerpunten 0,4 kortstondige tijd 4.1.4 evaluate 0.4.0
Uitvoeren 1.2.0 facets-overview 1.0.3 fastapi 0.98.0
fastjsonschema 2.18.0 fasttext 0.9.2 filelock 3.6.0
Flask 1.1.2+db1 flatbuffers 23.5.26 Fonttools 4.25.0
geblokkeerde lijst 1.4.0 fsspec 2022.7.1 Toekomst 0.18.2
gast 0.4.0 gitdb 4.0.10 GitPython 3.1.27
google-api-core 2.8.2 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-cloud-core 2.3.3 google-cloud-storage 2.10.0 google-crc32c 1.5.0
google-pasta 0.2.0 google-resumable-media 2.5.0 googleapis-common-protos 1.56.4
greenlet 1.1.1 grpcio 1.48.1 grpcio-status 1.48.1
gunicorn 20.1.0 gviz-api 1.10.0 h11 0.14.0
h5py 3.7.0 Vakantie 0.27.1 horovod 0.28.1
htmlmin 0.1.12 httplib2 0.20.2 httptools 0.6.0
huggingface-hub 0.16.4 idna 3.3 ImageHash 4.3.1
onevenwichtig leren 0.10.1 importlib-metadata 4.11.3 importlib-resources 6.0.0
ipykernel 6.17.1 Ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.11.0
Keyring 23.5.0 kiwisolver 1.4.2 langchain 0.0.217
langchainplus-sdk 0.0.20 langcodes 3.3.0 Launchpadlib 1.10.16
lazr.restfulclient 0.14.4 Lazr.uri 1.0.6 lazy_loader 0,3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.38.0 LunarCalendar 0.0.9 Mako 1.2.0
Markdown 3.3.4 MarkupSafe 2.0.1 Marshmallow 3.20.1
matplotlib 3.5.2 matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 2.5.0
more-itertools 8.10.0 msgpack 1.0.5 multidict 6.0.4
multimethod 1.9.1 meerdere processen 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 Networkx 2.8.4
Ninja 1.11.1 nltk 3.7 nodeenv 1.8.0
notebook 6.4.12 numba 0.55.1 numexpr 2.8.4
Numpy 1.21.5 oauthlib 3.2.0 openai 0.27.8
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 Verpakking 21.3
Pandas 1.4.4 pandocfilters 1.5.0 Paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.2
Patsy 0.5.2 petastorm 0.12.1 Pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Kussen 9.2.0
Pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 Pooch 1.7.0
vooraf geslagen 3.0.8 prometheus-client 0.14.1 prompt-toolkit 3.0.36
Profeet 1.1.4 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
Pyflakes 3.0.1 Pygments 2.11.2 Pygobject 3.42.1
PyJWT 2.3.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 Pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
python-dotenv 1.0.0 python-editor 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
Pywavelets 1.3.0 PyYAML 6,0 pyzmq 23.2.0
Regex 2022.7.9 requests 2.28.1 requests-oauthlib 1.3.1
Reacties 0.18.0 Touw 1.7.0 Rsa 4.9
s3transfer 0.6.0 safetensors 0.3.1 scikit-learn 1.1.1
Scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 zinstransformatoren 2.2.2 zinsstuk 0.1.99
Setuptools 63.4.1 Shap 0.41.0 Simplejson 3.17.6
Zes 1.16.0 Slicer 0.0.7 slim openen 5.2.1
smmap 5.0.0 sniffio 1.2.0 soundfile 0.12.1
soepsieve 2.3.1 soxr 0.3.5 spatie 3.5.3
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
Sqlalchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5,11 stack-data 0.6.2 starlette 0.27.0
statsmodels 0.13.2 Tabulate 0.8.10 tangled-up-in-unicode 0.2.0
Vasthoudendheid 8.1.0 tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.1
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0 termcolor 2.3.0
terminado 0.13.1 testpath 0.6.0 thinc 8.1.10
threadpoolctl 2.2.0 tiktoken 0.4.0 tokenize-rt 4.2.1
tokenizers 0.13.3 tomli 2.0.1 Fakkel 1.13.1+cpu
torchvision 0.14.1+cpu Tornado 6.1 tqdm 4.64.1
traitlets 5.1.1 Transformers 4.30.2 typeguard 2.13.3
Typer 0.7.0 typen-inspecteren 0.9.0 typing_extensions 4.3.0
ujson 5.4.0 upgrades zonder toezicht 0,1 urllib3 1.26.11
uvicorn 0.23.1 uvloop 0.17.0 Virtualenv 20.16.3
Visioenen 0.7.5 Wadllib 1.3.6 Wasabi 1.1.2
watchfiles 0.19.0 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 websockets 11.0.3 Werkzeug 2.0.3
whatthepatch 1.0.2 Wiel 0.37.1 widgetsnbextension 3.6.1
wordcloud 1.9.2 wrapt 1.14.1 xgboost 1.7.6
xxhash 3.2.0 yapf 0.31.0 yarl 1.9.2
ydata-profilering 4.2.0 zipp 3.8.0

Python-bibliotheken op GPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 Versnellen 0.20.3 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 Astor 0.8.1
asttokens 2.2.1 astunparse 1.6.3 asynchrone time-out 4.0.2
attrs 21.4.0 audioread 3.0.0 azure-core 1.28.0
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 Bcrypt 3.2.0 beautifulsoup4 4.11.1
zwart 22.6.0 Bleekmiddel 4.1.0 knipperen 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.28
cachetools 4.2.4 Catalogus 2.0.9 category-encoders 2.6.1
certifi 2022.9.14 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 confection 0.1.0 configparser 5.2.0
convertdate 2.4.0 Cryptografie 37.0.1 cycler 0.11.0
cymem 2.0.7 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.17 databricks-cli 0.17.7 databricks-feature-store 0.14.0
databricks-sdk 0.1.6 dataclasses-json 0.5.13 gegevenssets 2.13.1
dbl-tempo 0.1.23 dbus-python 1.2.18 foutopsporing 1.6.0
Decorator 5.1.1 defusedxml 0.7.1 Dille 0.3.4
diskcache 5.6.1 distlib 0.3.7 docstring-to-markdown 0,12
einops 0.6.1 invoerpunten 0,4 kortstondige tijd 4.1.4
evaluate 0.4.0 Uitvoeren 1.2.0 facets-overview 1.0.3
fastapi 0.98.0 fastjsonschema 2.18.0 fasttext 0.9.2
filelock 3.6.0 flash-attn 1.0.7 Flask 1.1.2+db1
flatbuffers 23.5.26 Fonttools 4.25.0 geblokkeerde lijst 1.4.0
fsspec 2022.7.1 Toekomst 0.18.2 gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-api-core 2.8.2
google-auth 1.33.0 google-auth-oauthlib 0.4.6 google-cloud-core 2.3.3
google-cloud-storage 2.10.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.5.0 googleapis-common-protos 1.56.4 greenlet 1.1.1
grpcio 1.48.1 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h11 0.14.0 h5py 3.7.0
Vakantie 0.27.1 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 httptools 0.6.0 huggingface-hub 0.16.4
idna 3.3 ImageHash 4.3.1 onevenwichtig leren 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.0 ipykernel 6.17.1
Ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 Keyring 23.5.0
kiwisolver 1.4.2 langchain 0.0.217 langchainplus-sdk 0.0.20
langcodes 3.3.0 Launchpadlib 1.10.16 lazr.restfulclient 0.14.4
Lazr.uri 1.0.6 lazy_loader 0,3 libclang 15.0.6.1
librosa 0.10.0 lightgbm 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 Marshmallow 3.20.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
mleap 0.20.0 mlflow-skinny 2.5.0 more-itertools 8.10.0
msgpack 1.0.5 multidict 6.0.4 multimethod 1.9.1
meerdere processen 0.70.12.2 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.5.0
nest-asyncio 1.5.5 Networkx 2.8.4 Ninja 1.11.1
nltk 3.7 nodeenv 1.8.0 notebook 6.4.12
numba 0.55.1 numexpr 2.8.4 Numpy 1.21.5
oauthlib 3.2.0 openai 0.27.8 openapi-schema-pydantic 1.2.4
opt-einsum 3.3.0 Verpakking 21.3 Pandas 1.4.4
pandocfilters 1.5.0 Paramiko 2.9.2 parso 0.8.3
pathspec 0.9.0 pathy 0.10.2 Patsy 0.5.2
petastorm 0.12.1 Pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Kussen 9.2.0 Pip 22.2.2
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
pmdarima 2.0.3 Pooch 1.7.0 vooraf geslagen 3.0.8
prompt-toolkit 3.0.36 Profeet 1.1.4 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
Pygobject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 Pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-dotenv 1.0.0 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 Pywavelets 1.3.0 PyYAML 6,0
pyzmq 23.2.0 Regex 2022.7.9 requests 2.28.1
requests-oauthlib 1.3.1 Reacties 0.18.0 Touw 1.7.0
Rsa 4.9 s3transfer 0.6.0 safetensors 0.3.1
scikit-learn 1.1.1 Scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 zinstransformatoren 2.2.2
zinsstuk 0.1.99 Setuptools 63.4.1 Shap 0.41.0
Simplejson 3.17.6 Zes 1.16.0 Slicer 0.0.7
slim openen 5.2.1 smmap 5.0.0 sniffio 1.2.0
soundfile 0.12.1 soepsieve 2.3.1 soxr 0.3.5
spatie 3.5.3 spacy-legacy 3.0.12 spacy-loggers 1.0.4
spark-tensorflow-distributor 1.0.0 Sqlalchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.7 ssh-import-id 5,11 stack-data 0.6.2
starlette 0.27.0 statsmodels 0.13.2 Tabulate 0.8.10
tangled-up-in-unicode 0.2.0 Vasthoudendheid 8.1.0 tensorboard 2.11.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1
tensorflow 2.11.1 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0
termcolor 2.3.0 terminado 0.13.1 testpath 0.6.0
thinc 8.1.10 threadpoolctl 2.2.0 tiktoken 0.4.0
tokenize-rt 4.2.1 tokenizers 0.13.3 tomli 2.0.1
Fakkel 1.13.1+cu117 torchvision 0.14.1+cu117 Tornado 6.1
tqdm 4.64.1 traitlets 5.1.1 Transformers 4.30.2
typeguard 2.13.3 Typer 0.7.0 typen-inspecteren 0.9.0
typing_extensions 4.3.0 ujson 5.4.0 upgrades zonder toezicht 0,1
urllib3 1.26.11 uvicorn 0.23.1 uvloop 0.17.0
Virtualenv 20.16.3 Visioenen 0.7.5 Wadllib 1.3.6
Wasabi 1.1.2 watchfiles 0.19.0 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 websockets 11.0.3
Werkzeug 2.0.3 whatthepatch 1.0.2 Wiel 0.37.1
widgetsnbextension 3.6.1 wordcloud 1.9.2 wrapt 1.14.1
xgboost 1.7.6 xxhash 3.2.0 yapf 0.31.0
yarl 1.9.2 ydata-profilering 4.2.0 zipp 3.8.0

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 13.3 LTS.

Java- en Scala-bibliotheken (Scala 2.12-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 13.3 LTS bevat Databricks Runtime 13.3 LTS ML de volgende JAR's:

CPU-clusters

Groeps-id Artefact-id Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-clusters

Groeps-id Artefact-id Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0