Megosztás a következőn keresztül:


Databricks Runtime 14.3 LTS machine learninghez

A Databricks Runtime 14.3 LTS for Machine Learning használatra kész környezetet biztosít a Databricks Runtime 14.3 LTS-en alapuló gépi tanuláshoz és adatelemzéshez. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.

Feljegyzés

Az LTS azt jelenti, hogy ez a verzió hosszú távú támogatás alatt áll. Lásd: Databricks Runtime LTS-verzió életciklusa.

Tipp.

A támogatás megszűnését (EoS) elérő Databricks Runtime-verziók kibocsátási megjegyzéseit a databricks runtime kiadási megjegyzéseiben találhatja meg. Az EoS Databricks Runtime-verziók ki lettek állítva, és előfordulhat, hogy nem frissülnek.

Új funkciók és fejlesztések

A Databricks Runtime 14.3 LTS ML a Databricks Runtime 14.3 LTS-en alapul. A Databricks Runtime 14.3 LTS újdonságairól, beleértve az Apache Spark MLlib-t és a SparkR-t, tekintse meg a Databricks Runtime 14.3 LTS kibocsátási megjegyzéseit.

Rendszerkörnyezet

A Databricks Runtime 14.3 LTS ML rendszerkörnyezete eltér a Databricks Runtime 14.3 LTS-től az alábbiak szerint:

  • GPU-fürtök esetén a Databricks Runtime ML a következő NVIDIA GPU-kódtárakat tartalmazza:
    • CUDA 11.8
    • cuDNN 8.9.0.131-1
    • NCCL 2.15.5
    • TensorRT 8.5.3-1

A Databricks Runtime 14.3 LTS ML tartalmazza az XGBoost 1.7.6-ot, amely nem támogatja az 5.2-es és újabb számítási képességgel rendelkező GPU-fürtöket.

Kódtárak

Az alábbi szakaszok a Databricks Runtime 14.3 LTS ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 14.3 LTS-ben szereplő kódtáraktól.

Ebben a szakaszban:

Felső szintű kódtárak

A Databricks Runtime 14.3 LTS ML a következő legfelső szintű kódtárakat tartalmazza:

Python-kódtárak

A Databricks Runtime 14.3 LTS ML Python-csomagkezeléshez használható virtualenv , és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 14.3 LTS ML a következő csomagokat is tartalmazza:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.24.0

A Databricks Runtime ML Python-környezet helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-14.3.txt fájlt, és futtassa pip install -r requirements-14.3.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskód kódtárat, de nem telepíti a Databricks által fejlesztett kódtárakat, például databricks-automla databricks-feature-storeDatabricks elágazásáthyperopt.

Python-kódtárak CPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 gyorsít 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 aszinkron időtúllépés 4.0.3
attrs 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 azure-storage-file-datalake 12.14.0
backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
fekete 22.6.0 fehérítő 4.1.0 villogó 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 katalógus 2.0.10 kategóriakódolók 2.6.3
minősítés 2022.12.7 cffi 1.15.1 karakterkészlet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 Comm 0.1.2
édesség 0.1.4 configparser 5.2.0 contourpy 1.0.5
kriptográfia 39.0.1 biciklista 0.11.0 cymem 2.0.8
Cython 0.29.32 dacite 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 databricks-feature-engineering 0.2.0 databricks-sdk 0.1.6
dataclasses-json 0.6.3 adatkészletek 2.15.0 dbl-tempo 0.1.26
dbus-python 1.2.18 hibakeresés 1.6.7 lakberendező 5.1.1
deepspeed 0.12.4 defusedxml 0.7.1 kapor 0.3.6
diskcache 5.6.3 distlib 0.3.7 docstring-to-markdown 0,11
belépési pontok 0,4 evaluate 0.4.1 Végrehajtó 0.8.3
aspektusok áttekintése 1.1.1 fastjsonschema 2.19.1 gyorsszöveg 0.9.2
filelock 3.9.0 Flask 2.2.5 flatbuffers 23.5.26
betűtípusok 4.25.0 frozenlist 1.4.1 fsspec 2023.6.0
jövő 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 google-hitelesítés 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 google-cloud-storage 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.7.0
googleapis-common-protos 1.62.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 szünidő 0,38
horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 idna 3.4 ImageHash 4.3.1
kiegyensúlyozatlan tanulás 0.11.0 importlib-metadata 4.11.3 importlib-resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0 keras 2.14.0
kulcstartó 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 langcode-k 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Makó 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
mályvacukor 3.20.2 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.9.2 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 többdimenziós 6.0.4 multimethod 1.10
többprocesszoros 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
nindzsa 1.11.1.1 nltk 3.7 nodeenv 1.8.0
jegyzetfüzet 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 csomagolás 23.2 pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare 0.7.5
Párna 9.4.0 mag 22.3.1 platformdirs 2.5.2
ábrázolás 5.9.0 pluggy 1.0.0 pmdarima 2.0.4
Kuvasz 1.4.0 előre meg van nyitható 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.36 próféta 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
kérelmek 2.28.1 requests-oauthlib 1.3.1 Válaszok 0.18.0
kötél 1.7.0 Rsa 4.9 s3transfer 0.6.2
széfek 0.4.1 scikit-learn 1.1.1 scipy 1.10.0
tengeri 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
mondat-átalakítók 2.2.2 mondatrész 0.1.99 setuptools 65.6.3
shap 0.44.0 simplejson 3.17.6 Hat 1.16.0
uborkaszeletelő 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 soundfile 0.12.1 levessieve 2.3.2.post1
soxr 0.3.7 spacy 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5,11
veremadatok 0.2.0 stanio 0.3.0 statsmodels 0.13.5
sympy 1.11.1 táblázatos 0.8.10 tangled-up-in-unicode 0.2.0
Kitartás 8.1.0 tensorboard 2.14.1 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.14.0 tensorflow-cpu 2.14.1 tensorflow-estimator 2.14.0
tensorflow-io-gcs-fájlrendszer 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizers 0.15.0
tomli 2.0.1 fáklya 2.0.1+cpu torchvision 0.15.2+cpu
tornádó 6.1 tqdm 4.64.1 árulók 5.7.1
Transformers 4.36.1 typeguard 2.13.3 Typer 0.9.0
gépelés-vizsgálat 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
felügyelet nélküli frissítések 0,1 urllib3 1.26.14 virtualenv 20.16.7
Látomások 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
wcwidth 0.2.5 menyét 0.3.4 webencodings 0.5.1
websocket-client 0.58.0 Werkzeug 2.2.2 whatthepatch 1.0.2
kerék 0.38.4 widgetsnbextension 3.6.1 wordcloud 1.9.3
wrapt 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.4 ydata-profilkészítés 4.2.0
zipp 3.11.0

Python-kódtárak GPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 gyorsít 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 aszinkron időtúllépés 4.0.3
attrs 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 azure-storage-file-datalake 12.14.0
backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
fekete 22.6.0 fehérítő 4.1.0 villogó 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 katalógus 2.0.10 kategóriakódolók 2.6.3
minősítés 2022.12.7 cffi 1.15.1 karakterkészlet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.28.1 cmdstanpy 1.2.0
Comm 0.1.2 édesség 0.1.4 configparser 5.2.0
contourpy 1.0.5 kriptográfia 39.0.1 biciklista 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 databricks-feature-engineering 0.2.0
databricks-sdk 0.1.6 dataclasses-json 0.6.3 adatkészletek 2.15.0
dbl-tempo 0.1.26 dbus-python 1.2.18 hibakeresés 1.6.7
lakberendező 5.1.1 deepspeed 0.12.4 defusedxml 0.7.1
kapor 0.3.6 diskcache 5.6.3 distlib 0.3.7
docstring-to-markdown 0,11 einopok 0.7.0 belépési pontok 0,4
evaluate 0.4.1 Végrehajtó 0.8.3 aspektusok áttekintése 1.1.1
fastjsonschema 2.19.1 gyorsszöveg 0.9.2 filelock 3.9.0
flash-attn 2.3.6 Flask 2.2.5 flatbuffers 23.5.26
betűtípusok 4.25.0 frozenlist 1.4.1 fsspec 2023.6.0
jövő 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 google-hitelesítés 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 google-cloud-storage 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.7.0
googleapis-common-protos 1.62.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 szünidő 0,38
horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 idna 3.4 ImageHash 4.3.1
kiegyensúlyozatlan tanulás 0.11.0 importlib-metadata 4.11.3 importlib-resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0 keras 2.14.0
kulcstartó 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 langcode-k 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 Világít 17.0.6 llvmlite 0.39.1
lxml 4.9.1 Makó 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 mályvacukor 3.20.2 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.9.2 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 többdimenziós 6.0.4
multimethod 1.10 többprocesszoros 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 nindzsa 1.11.1.1 nltk 3.7
nodeenv 1.8.0 jegyzetfüzet 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 csomagolás 23.2
pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 Patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.4
pickleshare 0.7.5 Párna 9.4.0 mag 22.3.1
platformdirs 2.5.2 ábrázolás 5.9.0 pluggy 1.0.0
pmdarima 2.0.4 Kuvasz 1.4.0 előre meg van nyitható 3.0.9
prompt-toolkit 3.0.36 próféta 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
kérelmek 2.28.1 requests-oauthlib 1.3.1 Válaszok 0.18.0
kötél 1.7.0 Rsa 4.9 s3transfer 0.6.2
széfek 0.4.1 scikit-learn 1.1.1 scipy 1.10.0
tengeri 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
mondat-átalakítók 2.2.2 mondatrész 0.1.99 setuptools 65.6.3
shap 0.44.0 simplejson 3.17.6 Hat 1.16.0
uborkaszeletelő 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 soundfile 0.12.1 levessieve 2.3.2.post1
soxr 0.3.7 spacy 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5,11
veremadatok 0.2.0 stanio 0.3.0 statsmodels 0.13.5
sympy 1.11.1 táblázatos 0.8.10 tangled-up-in-unicode 0.2.0
Kitartás 8.1.0 tensorboard 2.14.1 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.14.0 tensorflow 2.14.1 tensorflow-estimator 2.14.0
tensorflow-io-gcs-fájlrendszer 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizers 0.15.0
tomli 2.0.1 fáklya 2.0.1+cu118 torchvision 0.15.2+cu118
tornádó 6.1 tqdm 4.64.1 árulók 5.7.1
Transformers 4.36.1 Triton 2.0.0 typeguard 2.13.3
Typer 0.9.0 gépelés-vizsgálat 0.9.0 typing_extensions 4.4.0
ujson 5.4.0 felügyelet nélküli frissítések 0,1 urllib3 1.26.14
virtualenv 20.16.7 Látomások 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 wcwidth 0.2.5 menyét 0.3.4
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.2.2
whatthepatch 1.0.2 kerék 0.38.4 widgetsnbextension 3.6.1
wordcloud 1.9.3 wrapt 1.14.1 xgboost 1.7.6
xxhash 3.4.1 yapf 0.33.0 yarl 1.9.4
ydata-profilkészítés 4.2.0 zipp 3.11.0

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 14.3 LTS R-kódtáraival .

Java- és Scala-kódtárak (Scala 2.12-fürt)

A Databricks Runtime 14.3 LTS Java- és Scala-kódtárai mellett a Databricks Runtime 14.3 LTS ML a következő JARs-eket tartalmazza:

CPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0