Megosztás a következőn keresztül:


Databricks Runtime 13.0 for Machine Learning (EoS)

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.

A Databricks Runtime 13.0 for Machine Learning használatra kész környezetet biztosít a gépi tanuláshoz és az adatelemzéshez a Databricks Runtime 13.0 (EoS) alapján. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.

További információkért, beleértve a Databricks Runtime ML-fürt létrehozásának utasításait, tekintse meg a Databricks AI-jét és gépi tanulását.

Új funkciók és fejlesztések

A Databricks Runtime 13.0 ML a Databricks Runtime 13.0-ra épül. A Databricks Runtime 13.0 újdonságairól , beleértve az Apache Spark MLlib és a SparkR újdonságait, tekintse meg a Databricks Runtime 13.0 (EoS) kibocsátási megjegyzéseit.

A Mozaik AutoML módosítása

A Databricks Runtime 13.0 ML-ben és újabb verziókban a Mozaik AutoML nem támogatott a FedRAMP-megfelelőségtel rendelkező munkaterületeken.

További információ a Mozaik autoML-ről: Mi az a Mozaik autoML?.

A Databricks szolgáltatástároló fejlesztései

A Databricks Runtime 13.0 ML-t vagy újabb verziót futtató fürtök Unity Catalog-kompatibilis munkaterületeiben a munkaterület és a Unity Catalog szolgáltatástábláit is közzéteheti a Cosmos DB online áruházaiban.

A Databricks feature Store-ról további információt a Szolgáltatásfejlesztés és -szolgáltatás című témakörben talál.

Rendszerkörnyezet

A Databricks Runtime 13.0 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 13.0-tól:

A Databricks Runtime 13.0 ML tartalmazza az XGBoost 1.7.2-es verziót, amely nem támogatja az 5.2-es vagy újabb számítási képességgel rendelkező GPU-fürtöket.

A minikondacsomag el lett távolítva a Databricks Runtime 13.0 ML-ből.

Kódtárak

Az alábbi szakaszok a Databricks Runtime 13.0 ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 13.0-ban szereplő kódtáraktól.

Ebben a szakaszban:

Felső szintű kódtárak

A Databricks Runtime 13.0 ML a következő legfelső szintű kódtárakat tartalmazza:

Python-kódtárak

A Databricks Runtime 13.0 ML a Virtualenv-t használja a Python-csomagkezeléshez, és számos népszerű ML-csomagot tartalmaz.

A Databricks Runtime 13.0 ML-vel a következő Python-kódtárakat vezettük be:

  • gyorsít
  • adatkészletek
  • evaluate
  • ydata-profilkészítés

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 13.0 ML a következő csomagokat is tartalmazza:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.17.0

A Databricks Runtime ML Python-környezet helyi Python-virtuális környezetben való reprodukálásához töltse le a requirements-13.0.txt fájlt, és futtassa pip install -r requirements-13.0.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskód kódtárat, de nem telepíti a Databricks által fejlesztett kódtárakat, például databricks-automla databricks-feature-storeDatabricks elágazásáthyperopt.

Python-kódtárak CPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 gyorsít 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 aszinkron időtúllépés 4.0.2 attrs 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 backcall 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 fekete 22.6.0
fehérítő 4.1.0 villogó 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
katalógus 2.0.8 kategóriakódolók 2.6.0 minősítés 2022.9.14
cffi 1.15.1 karakterkészlet 4.0.0 charset-normalizer 2.0.4
kattintás 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
édesség 0.0.4 configparser 5.2.0 konvertálás 2.4.0
kriptográfia 37.0.1 biciklista 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
databricks-feature-store 0.11.0 adatkészletek 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 hibakeresés 1.5.1 lakberendező 5.1.1
defusedxml 0.7.1 kapor 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0,11 belépési pontok 0,4
ephem 4.1.4 evaluate 0.4.0 Végrehajtó 1.2.0
aspektusok áttekintése 1.0.2 fastjsonschema 2.16.3 gyorsszöveg 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
betűtípusok 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
jövő 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-hitelesítés 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-konverter 2.2.4 szünidő 0.19
horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.2 idna 3.3 ImageHash 4.3.1
kiegyensúlyozatlan tanulás 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgetek 1.0.0 keras 2.11.0 kulcstartó 23.5.0
kiwisolver 1.4.2 koreai-holdnaptár 0.3.1 langcode-k 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 Makó 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 többdimenziós 6.0.4
multimethod 1.9.1 többprocesszoros 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 jegyzetfüzet 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 csomagolás 21,3 pandas 1.4.4
pandas-profilkészítés 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Párna 9.2.0
mag 22.2.2 platformdirs 2.5.2 ábrázolás 5.9.0
pluggy 1.0.0 pmdarima 2.0.2 előre meg van nyitható 3.0.8
prometheus-client 0.14.1 prompt-toolkit 3.0.36 próféta 1.1.2
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.3
pycparser 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-editor 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6,0 pyzmq 23.2.0
regex 2022.7.9 kérelmek 2.28.1 requests-oauthlib 1.3.1
Válaszok 0.18.0 kötél 1.7.0 Rsa 4.9
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
tengeri 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 shap 0.41.0 simplejson 3.17.6
Hat 1.16.0 uborkaszeletelő 0.0.7 smart-open 5.2.1
smmap 5.0.0 levessieve 2.3.1 spacy 3.5.0
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.6 ssh-import-id 5,11
veremadatok 0.6.2 statsmodels 0.13.2 táblázatos 0.8.10
tangled-up-in-unicode 0.2.0 Kitartás 8.0.1 tensorboard 2.11.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0 tensorflow-io-gcs-fájlrendszer 0.31.0
termcolor 2.2.0 terminado 0.13.1 testpath 0.6.0
thinc 8.1.9 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizers 0.13.2 tomli 2.0.1 fáklya 1.13.1+cpu
torchvision 0.14.1+cpu tornádó 6.1 tqdm 4.64.1
árulók 5.1.1 Transformers 4.26.1 typeguard 2.13.3
Typer 0.7.0 typing_extensions 4.3.0 ujson 5.4.0
felügyelet nélküli frissítések 0,1 urllib3 1.26.11 virtualenv 20.16.3
Látomások 0.7.5 wadllib 1.3.6 Wasabi 1.1.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.2 kerék 0.37.1
widgetsnbextension 3.6.1 wrapt 1.14.1 xgboost 1.7.4
xxhash 3.2.0 yapf 0.31.0 yarl 1.8.2
ydata-profilkészítés 4.1.0 zipp 3.8.0

Python-kódtárak GPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 gyorsít 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 aszinkron időtúllépés 4.0.2 attrs 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 backcall 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 fekete 22.6.0
fehérítő 4.1.0 villogó 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
katalógus 2.0.8 kategóriakódolók 2.6.0 minősítés 2022.9.14
cffi 1.15.1 karakterkészlet 4.0.0 charset-normalizer 2.0.4
kattintás 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
édesség 0.0.4 configparser 5.2.0 konvertálás 2.4.0
kriptográfia 37.0.1 biciklista 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
databricks-feature-store 0.11.0 adatkészletek 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 hibakeresés 1.5.1 lakberendező 5.1.1
defusedxml 0.7.1 kapor 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0,11 belépési pontok 0,4
ephem 4.1.4 evaluate 0.4.0 Végrehajtó 1.2.0
aspektusok áttekintése 1.0.2 fastjsonschema 2.16.3 gyorsszöveg 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
betűtípusok 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
jövő 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-hitelesítés 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-konverter 2.2.4 szünidő 0.19
horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.1 idna 3.3 ImageHash 4.3.1
kiegyensúlyozatlan tanulás 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgetek 1.0.0 keras 2.11.0 kulcstartó 23.5.0
kiwisolver 1.4.2 koreai-holdnaptár 0.3.1 langcode-k 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 Makó 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 többdimenziós 6.0.4
multimethod 1.9.1 többprocesszoros 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 jegyzetfüzet 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 csomagolás 21,3 pandas 1.4.4
pandas-profilkészítés 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Párna 9.2.0
mag 22.2.2 platformdirs 2.5.2 ábrázolás 5.9.0
pluggy 1.0.0 pmdarima 2.0.2 előre meg van nyitható 3.0.8
prompt-toolkit 3.0.36 próféta 1.1.2 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
kérelmek 2.28.1 requests-oauthlib 1.3.1 Válaszok 0.18.0
kötél 1.7.0 Rsa 4.9 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 tengeri 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
shap 0.41.0 simplejson 3.17.6 Hat 1.16.0
uborkaszeletelő 0.0.7 smart-open 5.2.1 smmap 5.0.0
levessieve 2.3.1 spacy 3.5.0 spacy-legacy 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.6 ssh-import-id 5,11 veremadatok 0.6.2
statsmodels 0.13.2 táblázatos 0.8.10 tangled-up-in-unicode 0.2.0
Kitartás 8.0.1 tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1 tensorflow 2.11.0
tensorflow-estimator 2.11.0 tensorflow-io-gcs-fájlrendszer 0.31.0 termcolor 2.2.0
terminado 0.13.1 testpath 0.6.0 thinc 8.1.9
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizers 0.13.2
tomli 2.0.1 fáklya 1.13.1+cu117 torchvision 0.14.1+cu117
tornádó 6.1 tqdm 4.64.1 árulók 5.1.1
Transformers 4.26.1 typeguard 2.13.3 Typer 0.7.0
typing_extensions 4.3.0 ujson 5.4.0 felügyelet nélküli frissítések 0,1
urllib3 1.26.11 virtualenv 20.16.3 Látomások 0.7.5
wadllib 1.3.6 Wasabi 1.1.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.0.3
whatthepatch 1.0.2 kerék 0.37.1 widgetsnbextension 3.6.1
wrapt 1.14.1 xgboost 1.7.4 xxhash 3.2.0
yapf 0.31.0 yarl 1.8.2 ydata-profilkészítés 4.1.0
zipp 3.8.0

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 13.0 R-kódtárával .

Java- és Scala-kódtárak (Scala 2.12-fürt)

A Databricks Runtime 13.0 Java- és Scala-kódtárai mellett a Databricks Runtime 13.0 ML a következő JAR-eket tartalmazza:

CPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0