Megosztás a következőn keresztül:

Databricks Runtime 14.0 for Machine Tanulás (nem támogatott)

  • Cikk

A Databricks Runtime 14.0 for Machine Tanulás a Databricks Runtime 14.0-n (nem támogatott) alapuló, használatra kész környezetet biztosít a gépi tanuláshoz és az adatelemzéshez. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.

További információkért, beleértve a Databricks Runtime ML-fürt létrehozásának utasításait, tekintse meg a Databricks migrálási és gépi Tanulás.

Új funkciók és fejlesztések

A Databricks Runtime 14.0 ML a Databricks Runtime 14.0-ra épül. A Databricks Runtime 14.0 újdonságairól , beleértve az Apache Spark MLlib és a SparkR újdonságait, tekintse meg a Databricks Runtime 14.0 (nem támogatott) kibocsátási megjegyzéseit.

Rendszerkörnyezet

A Databricks Runtime 14.0 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 14.0-tól:

A Databricks Runtime 14.0 ML tartalmazza az XGBoost 1.7.6-ot, amely nem támogatja az 5.2-es és újabb számítási képességgel rendelkező GPU-fürtöket.

A Databricks Runtime ML korábbi verzióiban szereplő alábbi csomagok el lettek távolítva a Databricks Runtime 14.0 ML-ben:

  • miniconda
  • MLeap

Kódtárak

Az alábbi szakaszok a Databricks Runtime 14.0 ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 14.0-s részeitől.

Ebben a szakaszban:

Felső szintű kódtárak

A Databricks Runtime 14.0 ML a következő legfelső szintű kódtárakat tartalmazza:

Python-kódtárak

A Databricks Runtime 14.0 ML a Virtualenv-t használja a Python-csomagkezeléshez, és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 14.0 ML a következő csomagokat is tartalmazza:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.21.1

A Databricks Runtime ML Python-környezetének a helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-14.0.txt fájlt, és futtassa pip install -r requirements-14.0.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskód kódtárat, de nem telepíti a Databricks által fejlesztett kódtárakat, például databricks-automla databricks-feature-storeDatabricks elágazásáthyperopt.

Python-kódtárak CPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 Felgyorsítása 0.21.0 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 aszinkron időtúllépés 4.0.3
attrs 22.1.0 audioread 3.0.0 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
Fekete 22.6.0 Fehérítő 4.1.0 villogó 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.1 Katalógus 2.0.9 kategóriakódolók 2.6.1
minősítés 2022.12.7 cffi 1.15.1 karakterkészlet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 Comm 0.1.2 édesség 0.1.1
configparser 5.2.0 contourpy 1.0.5 konvertálás 2.4.0
Titkosítás 39.0.1 cycler 0.11.0 cymem 2.0.7
Cython 0.29.32 dacite 1.8.1 databricks-automl-runtime 0.2.18
databricks-cli 0.17.7 databricks-feature-store 0.14.1 databricks-sdk 0.1.6
dataclasses-json 0.5.14 adatkészletek 2.14.1 dbl-tempo 0.1.23
dbus-python 1.2.18 hibakeresés 1.6.7 Dekoratőr 5.1.1
deepspeed 0.10.0 defusedxml 0.7.1 Kapros 0.3.6
diskcache 5.6.1 distlib 0.3.7 docstring-to-markdown 0,11
belépési pontok 0,4 ephem 4.1.4 evaluate 0.4.0
Végrehajtó 0.8.3 aspektusok áttekintése 1.1.1 fastapi 0.98.0
fastjsonschema 2.18.0 gyorsszöveg 0.9.2 filelock 3.9.0
Flask 2.2.5 flatbuffers 23.5.26 betűtípusok 4.25.0
frozenlist 1.4.0 fsspec 2022.11.0 Jövőben 0.18.3
Gast 0.4.0 GCC futtatókörnyezeti kódtár 1.10.0 gitdb 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 google-hitelesítés 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3 google-cloud-storage 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.5.0
googleapis-common-protos 1.60.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h11 0.14.0 h5py 3.7.0 hjson 3.1.0
Ünnepek 0,28 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 httptoolok 0.6.0 huggingface-hub 0.14.1
idna 3.4 ImageHash 4.3.1 kiegyensúlyozatlan tanulás 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.1 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0 keras 2.13.1
Kulcstartó 23.5.0 kiwisolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 langcode-k 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.39.1 LunarCalendar 0.0.9 lxml 4.9.1
Makó 1.2.0 Markdown 3.4.1 Korrektúra Széf 2.1.1
Fehérmályva 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 mlflow-skinny 2.5.0
more-itertools 8.10.0 mpmath 1.2.1 msgpack 1.0.5
többdimenziós 6.0.4 multimethod 1.9.1 többprocesszoros 0.70.14
murmurhash 1.0.9 mypy-extensions 0.4.3 nbclassic 0.5.2
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 2.8.4 Ninja 1.11.1
nltk 3.7 nodeenv 1.8.0 jegyzetfüzet 6.5.2
notebook_shim 0.2.2 numba 0.56.4 numexpr 2.8.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.27.8
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 Csomagolás 22,0
pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 pathy 0.10.2
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Párna 9.4.0
Pip 22.3.1 platformdirs 2.5.2 ábrázolás 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 Kuvasz 1.4.0
előre meg van nyitható 3.0.8 prometheus-client 0.14.1 prompt-toolkit 3.0.36
Próféta 1.1.4 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-dotenv 1.0.0 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 Regex 2022.7.9 kérelmek 2.28.1
requests-oauthlib 1.3.1 Válaszok 0.18.0 Kötél 1.7.0
Rsa 4.9 s3transfer 0.6.2 széfek 0.3.2
scikit-learn 1.1.1 tengeri 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 mondat-átalakítók 2.2.2 mondatrész 0.1.99
setuptools 65.6.3 shap 0.41.0 simplejson 3.17.6
Hat 1.16.0 Szeletelő 0.0.7 smart-open 5.2.1
smmap 5.0.0 sniffio 1.2.0 soundfile 0.12.1
levessieve 2.3.2.post1 soxr 0.3.6 spacy 3.5.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5,11 veremadatok 0.2.0 starlette 0.27.0
statsmodels 0.13.5 sympy 1.11.1 táblázatos 0.8.10
tangled-up-in-unicode 0.2.0 Kitartás 8.1.0 tensorboard 2.13.0
tensorboard-data-server 0.7.1 tensorboard-plugin-profile 2.13.0 tensorflow-cpu 2.13.0
tensorflow-estimator 2.13.0 tensorflow-io-gcs-fájlrendszer 0.33.0 termcolor 2.3.0
terminado 0.17.1 thinc 8.1.12 threadpoolctl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizers 0.13.3 tomli 2.0.1 Fáklya 2.0.1+cpu
torchvision 0.15.2+cpu Tornádó 6.1 tqdm 4.64.1
árulók 5.7.1 Transformers 4.31.0 typeguard 2.13.3
Typer 0.9.0 gépelés-vizsgálat 0.9.0 typing_extensions 4.4.0
ujson 5.4.0 felügyelet nélküli frissítések 0,1 urllib3 1.26.14
uvicorn 0.23.2 uvloop 0.17.0 virtualenv 20.16.7
Látomások 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
watchfile-k 0.19.0 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 websockets 11.0.3 Werkzeug 2.2.2
whatthepatch 1.0.2 Kerék 0.38.4 widgetsnbextension 3.6.1
wordcloud 1.9.2 wrapt 1.14.1 xgboost 1.7.6
xxhash 3.3.0 yapf 0.31.0 yarl 1.9.2
ydata-profilkészítés 4.2.0 zipp 3.11.0

Python-kódtárak GPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 Felgyorsítása 0.21.0 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 aszinkron időtúllépés 4.0.3
attrs 22.1.0 audioread 3.0.0 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
Fekete 22.6.0 Fehérítő 4.1.0 villogó 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.1 Katalógus 2.0.9 kategóriakódolók 2.6.1
minősítés 2022.12.7 cffi 1.15.1 karakterkészlet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 cloudpickle 2.0.0
cmake 3.27.2 cmdstanpy 1.1.0 Comm 0.1.2
édesség 0.1.1 configparser 5.2.0 contourpy 1.0.5
konvertálás 2.4.0 Titkosítás 39.0.1 cycler 0.11.0
cymem 2.0.7 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.18 databricks-cli 0.17.7 databricks-feature-store 0.14.1
databricks-sdk 0.1.6 dataclasses-json 0.5.14 adatkészletek 2.14.1
dbl-tempo 0.1.23 dbus-python 1.2.18 hibakeresés 1.6.7
Dekoratőr 5.1.1 deepspeed 0.10.0 defusedxml 0.7.1
Kapros 0.3.6 diskcache 5.6.1 distlib 0.3.7
docstring-to-markdown 0,11 einopok 0.6.1 belépési pontok 0,4
ephem 4.1.4 evaluate 0.4.0 Végrehajtó 0.8.3
aspektusok áttekintése 1.1.1 fastapi 0.98.0 fastjsonschema 2.18.0
gyorsszöveg 0.9.2 filelock 3.9.0 flash-attn 2.0.1
Flask 2.2.5 flatbuffers 23.5.26 betűtípusok 4.25.0
frozenlist 1.4.0 fsspec 2022.11.0 Jövőben 0.18.3
Gast 0.4.0 GCC futtatókörnyezeti kódtár 1.10.0 gitdb 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 google-hitelesítés 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3 google-cloud-storage 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.5.0
googleapis-common-protos 1.60.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h11 0.14.0 h5py 3.7.0 hjson 3.1.0
Ünnepek 0,28 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 httptoolok 0.6.0 huggingface-hub 0.14.1
idna 3.4 ImageHash 4.3.1 kiegyensúlyozatlan tanulás 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.1 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0 keras 2.13.1
Kulcstartó 23.5.0 kiwisolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 langcode-k 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
Világít 16.0.6 llvmlite 0.39.1 LunarCalendar 0.0.9
lxml 4.9.1 Makó 1.2.0 Markdown 3.4.1
Korrektúra Széf 2.1.1 Fehérmályva 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
mlflow-skinny 2.5.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.5 többdimenziós 6.0.4 multimethod 1.9.1
többprocesszoros 0.70.14 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
Ninja 1.11.1 nltk 3.7 nodeenv 1.8.0
jegyzetfüzet 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numexpr 2.8.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.27.8 openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0
Csomagolás 22,0 pandas 1.5.3 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.10.3
pathy 0.10.2 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.3 pickleshare 0.7.5
Párna 9.4.0 Pip 22.3.1 platformdirs 2.5.2
ábrázolás 5.9.0 pluggy 1.0.0 pmdarima 2.0.3
Kuvasz 1.4.0 előre meg van nyitható 3.0.8 prompt-toolkit 3.0.36
Próféta 1.1.4 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-dotenv 1.0.0 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 Regex 2022.7.9 kérelmek 2.28.1
requests-oauthlib 1.3.1 Válaszok 0.18.0 Kötél 1.7.0
Rsa 4.9 s3transfer 0.6.2 széfek 0.3.2
scikit-learn 1.1.1 tengeri 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 mondat-átalakítók 2.2.2 mondatrész 0.1.99
setuptools 65.6.3 shap 0.41.0 simplejson 3.17.6
Hat 1.16.0 Szeletelő 0.0.7 smart-open 5.2.1
smmap 5.0.0 sniffio 1.2.0 soundfile 0.12.1
levessieve 2.3.2.post1 soxr 0.3.6 spacy 3.5.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5,11 veremadatok 0.2.0 starlette 0.27.0
statsmodels 0.13.5 sympy 1.11.1 táblázatos 0.8.10
tangled-up-in-unicode 0.2.0 Kitartás 8.1.0 tensorboard 2.13.0
tensorboard-data-server 0.7.1 tensorboard-plugin-profile 2.13.0 tensorflow 2.13.0
tensorflow-estimator 2.13.0 tensorflow-io-gcs-fájlrendszer 0.33.0 termcolor 2.3.0
terminado 0.17.1 thinc 8.1.12 threadpoolctl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizers 0.13.3 tomli 2.0.1 Fáklya 2.0.1+cu118
torchvision 0.15.2+cu118 Tornádó 6.1 tqdm 4.64.1
árulók 5.7.1 Transformers 4.31.0 Triton 2.0.0
typeguard 2.13.3 Typer 0.9.0 gépelés-vizsgálat 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 felügyelet nélküli frissítések 0,1
urllib3 1.26.14 uvicorn 0.23.2 uvloop 0.17.0
virtualenv 20.16.7 Látomások 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 watchfile-k 0.19.0 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 websockets 11.0.3
Werkzeug 2.2.2 whatthepatch 1.0.2 Kerék 0.38.4
widgetsnbextension 3.6.1 wordcloud 1.9.2 wrapt 1.14.1
xgboost 1.7.6 xxhash 3.3.0 yapf 0.31.0
yarl 1.9.2 ydata-profilkészítés 4.2.0 zipp 3.11.0

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 14.0 R-kódtáraival .

Java- és Scala-kódtárak (Scala 2.12-fürt)

A Databricks Runtime 14.0 Java- és Scala-kódtárai mellett a Databricks Runtime 14.0 ML a következő JAR-eket tartalmazza:

CPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0