Sdílet prostřednictvím


Databricks Runtime 13.0 pro Machine Learning (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Databricks Runtime 13.0 pro Machine Learning poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 13.0 (EoS). Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí Horovodu.

Další informace, včetně pokynů k vytvoření clusteru Databricks Runtime ML, najdete v tématu AI a strojové učení v Databricks.

Nové funkce a vylepšení

Databricks Runtime 13.0 ML je postaven na Databricks Runtime 13.0. Informace o novinkách v Databricks Runtime 13.0, včetně Apache Spark MLlib a SparkR, najdete ve zprávě k vydání verze Databricks Runtime 13.0 (EoS).

Změny ve formátu Mosaic AutoML

Ve službě Databricks Runtime 13.0 ML a novějších není pro pracovní prostory s dodržováním předpisů FedRAMP podporována služba Mosaic AutoML.

Další informace o Mosaic AutoML naleznete v tématu Co je Puzzle AutoML?.

Vylepšení úložiště funkcí Databricks

V pracovních prostorech s podporou katalogu Unity v clusteru s modulem Databricks Runtime 13.0 ML nebo novějším můžete publikovat tabulky funkcí pracovního prostoru i katalogu Unity do online úložišť Cosmos DB.

Další informace o úložišti funkcí Databricks najdete v tématu Příprava a obsluha funkcí.

Prostředí systému

Systémové prostředí v Databricks Runtime 13.0 ML se liší od Databricks Runtime 13.0 následujícím způsobem:

Databricks Runtime 13.0 ML zahrnuje XGBoost 1.7.2, který nepodporuje clustery GPU s výpočetní schopností 5.2 a nižší.

Balíček miniconda byl odebrán z Databricks Runtime 13.0 ML.

Knihovny

Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 13.0 ML, které se liší od knihoven zahrnutých v Databricks Runtime 13.0.

V této části:

Knihovny nejvyšší úrovně

Databricks Runtime 13.0 ML obsahuje následující knihovny nejvyšší úrovně:

Knihovny Pythonu

Databricks Runtime 13.0 ML používá Virtualenv ke správě balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.

V Databricks Runtime 13.0 ML byly zavedeny následující knihovny Pythonu:

  • zrychlit
  • Power BI
  • evaluate
  • Profilace ydata

Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 13.0 ML také následující balíčky:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.17.0

Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si soubor requirements-13.0.txt a spusťte pip install -r requirements-13.0.txt. Tento příkaz nainstaluje všechny opensourcové knihovny, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl, databricks-feature-storenebo fork Databricks fork hyperopt.

Knihovny Pythonu v clusterech procesorů

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 attrs 21.4.0
Azure-Core 1.26.3 azure-cosmos 4.3.1b1 backcall 0.2.0
šifra 3.2.0 krásnásoup4 4.11.1 černý 22.6.0
bělit 4.1.0 blinkr 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
katalog 2.0.8 kodéry kategorií 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknutí 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
cukroví 0.0.4 configparser 5.2.0 convertdate 2.4.0
kryptografie 37.0.1 cyklista 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 Databricks-cli 0.17.4
Úložiště funkcí databricks 0.11.0 Power BI 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 ladění 1.5.1 dekoratér 5.1.1
defusedxml 0.7.1 kopr 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0,11 vstupní body 0,4
ephem 4.1.4 evaluate 0.4.0 vykonávající 1.2.0
přehled omezujících vlastností 1.0.2 fastjsonschema 2.16.3 fasttext 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fonttools 4.25.0 zmrazený seznam 1.3.3 fsspec 2022.7.1
budoucnost 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 prázdniny 0.19
horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.2 idna 3.3 ImageHash 4.3.1
nevyvážené učení 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jehodangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgety 1.0.0 keras 2.11.0 keyring 23.5.0
verizonsolver 1.4.2 korejský lunární kalendář 0.3.1 langcodes 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunárníCalendar 0.0.9 Druh žraloka 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 špatně zamyšlení 0.8.4 mleap 0.20.0
mlflow-hubená 2.2.1 more-itertools 8.10.0 multidict 6.0.4
multimethod 1.9.1 paralelní proces 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 poznámkový blok 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 balení 21.3 pandas 1.4.4
profilace pandas 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
bábovka 0.5.2 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.3 pickleshare 0.7.5 Polštář 9.2.0
jádro 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.2 předběžně připravený 3.0.8
prometheus-client 0.14.1 prompt-toolkit 3.0.36 prorok 1.1.2
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 čistý-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.3
pycparser 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-editor 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 23.2.0
regex 2022.7.9 žádosti 2.28.1 requests-oauthlib 1.3.1
odpovědi 0.18.0 lano 1.7.0 rsa 4,9
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
seaborn 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 Shap 0.41.0 simplejson 3.17.6
Šest 1.16.0 kráječ 0.0.7 inteligentní otevření 5.2.1
smmap 5.0.0 polévky 2.3.1 spacy 3.5.0
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.6 ssh-import-id 5,11
stack-data 0.6.2 statsmodels 0.13.2 sestavit v tabulku 0.8.10
tangled-up-in-unicode 0.2.0 houževnatost 8.0.1 tensorboard 2.11.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0
termcolor 2.2.0 terminado 0.13.1 testpath 0.6.0
tenká 8.1.9 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizátory 0.13.2 tomli 2.0.1 pochodeň 1.13.1+cpu
torchvision 0.14.1+cpu tornádo 6.1 tqdm 4.64.1
vlastnosti 5.1.1 Transformátory 4.26.1 typeguard 2.13.3
Typer 0.7.0 typing_extensions 4.3.0 ujson 5.4.0
bezobslužné upgrady 0,1 urllib3 1.26.11 virtualenv 20.16.3
vize 0.7.5 wadllib 1.3.6 wasabi 1.1.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.2 kolo 0.37.1
widgetsnbextension 3.6.1 wrapt 1.14.1 xgboost 1.7.4
xxhash 3.2.0 yapf 0.31.0 yarl 1.8.2
Profilace ydata 4.1.0 zipp 3.8.0

Knihovny Pythonu v clusterech GPU

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 attrs 21.4.0
Azure-Core 1.26.3 azure-cosmos 4.3.1b1 backcall 0.2.0
šifra 3.2.0 krásnásoup4 4.11.1 černý 22.6.0
bělit 4.1.0 blinkr 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
katalog 2.0.8 kodéry kategorií 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknutí 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
cukroví 0.0.4 configparser 5.2.0 convertdate 2.4.0
kryptografie 37.0.1 cyklista 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 Databricks-cli 0.17.4
Úložiště funkcí databricks 0.11.0 Power BI 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 ladění 1.5.1 dekoratér 5.1.1
defusedxml 0.7.1 kopr 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0,11 vstupní body 0,4
ephem 4.1.4 evaluate 0.4.0 vykonávající 1.2.0
přehled omezujících vlastností 1.0.2 fastjsonschema 2.16.3 fasttext 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fonttools 4.25.0 zmrazený seznam 1.3.3 fsspec 2022.7.1
budoucnost 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 prázdniny 0.19
horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.1 idna 3.3 ImageHash 4.3.1
nevyvážené učení 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jehodangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgety 1.0.0 keras 2.11.0 keyring 23.5.0
verizonsolver 1.4.2 korejský lunární kalendář 0.3.1 langcodes 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunárníCalendar 0.0.9 Druh žraloka 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 špatně zamyšlení 0.8.4 mleap 0.20.0
mlflow-hubená 2.2.1 more-itertools 8.10.0 multidict 6.0.4
multimethod 1.9.1 paralelní proces 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 poznámkový blok 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 balení 21.3 pandas 1.4.4
profilace pandas 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
bábovka 0.5.2 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.3 pickleshare 0.7.5 Polštář 9.2.0
jádro 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.2 předběžně připravený 3.0.8
prompt-toolkit 3.0.36 prorok 1.1.2 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
čistý-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6.0 pyzmq 23.2.0 regex 2022.7.9
žádosti 2.28.1 requests-oauthlib 1.3.1 odpovědi 0.18.0
lano 1.7.0 rsa 4,9 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
Shap 0.41.0 simplejson 3.17.6 Šest 1.16.0
kráječ 0.0.7 inteligentní otevření 5.2.1 smmap 5.0.0
polévky 2.3.1 spacy 3.5.0 spacy-legacy 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.6 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 sestavit v tabulku 0.8.10 tangled-up-in-unicode 0.2.0
houževnatost 8.0.1 tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1 tensorflow 2.11.0
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0 termcolor 2.2.0
terminado 0.13.1 testpath 0.6.0 tenká 8.1.9
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizátory 0.13.2
tomli 2.0.1 pochodeň 1.13.1+cu117 torchvision 0.14.1+cu117
tornádo 6.1 tqdm 4.64.1 vlastnosti 5.1.1
Transformátory 4.26.1 typeguard 2.13.3 Typer 0.7.0
typing_extensions 4.3.0 ujson 5.4.0 bezobslužné upgrady 0,1
urllib3 1.26.11 virtualenv 20.16.3 vize 0.7.5
wadllib 1.3.6 wasabi 1.1.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.0.3
whatthepatch 1.0.2 kolo 0.37.1 widgetsnbextension 3.6.1
wrapt 1.14.1 xgboost 1.7.4 xxhash 3.2.0
yapf 0.31.0 yarl 1.8.2 Profilace ydata 4.1.0
zipp 3.8.0

Knihovny jazyka R

Knihovny R jsou stejné jako knihovny R v Databricks Runtime 13.0.

Knihovny Java a Scala (cluster Scala 2.12)

Kromě knihoven Java a Scala v Databricks Runtime 13.0 obsahuje Databricks Runtime 13.0 ML následující jary:

Clustery procesoru

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clustery GPU

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0