Sdílet prostřednictvím

Databricks Runtime 12.2 LTS pro Machine Learning

Databricks Runtime 12.2 LTS for Machine Learning poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 12.2 LTS. Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí Horovodu.

Poznámka:

LTS znamená, že tato verze je dlouhodobě podporována. Viz životní cyklus verze LTS modulu Databricks Runtime.

Další informace, včetně pokynů k vytvoření clusteru Databricks Runtime ML, najdete v tématu AI a strojové učení v Databricks.

Návod

Chcete-li zobrazit poznámky k vydání pro verze Databricks Runtime, které dosáhly konce podpory (EoS), podívejte se na Poznámky k vydání Databricks Runtime po ukončení podpory. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Nové funkce a vylepšení

Databricks Runtime 12.2 LTS ML je postaven na Databricks Runtime 12.2 LTS. Informace o novinkách v Databricks Runtime 12.2 LTS, včetně Apache Spark MLlib a SparkR, najdete v poznámkách k verzi Databricks Runtime 12.2 LTS .

automatizované strojové učení

Pomocí existujících tabulek funkcí v úložišti funkcí můžete rozšířit původní vstupní datovou sadu pro problémy s prognózováním AutoML. Podrobnosti najdete v tématu Integrace AutoML Feature Store.

Další informace o AutoML naleznete v tématu Co je AutoML?.

Prostředí systému

Systémové prostředí v Databricks Runtime 12.2 LTS ML se liší od Databricks Runtime 12.2 LTS následujícím způsobem:

Databricks Runtime 12.2 LTS ML zahrnuje XGBoost 1.7.2, který nepodporuje clustery GPU s výpočetní schopností 5.2 a nižší.

Knihovny

Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 12.2 LTS ML, které se liší od knihoven zahrnutých v Databricks Runtime 12.2 LTS.

V této části:

Knihovny nejvyšší úrovně

Databricks Runtime 12.2 LTS ML obsahuje následující knihovny nejvyšší úrovně:

Knihovny Pythonu

Databricks Runtime 12.2 LTS ML používá Virtualenv ke správě balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.

Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 12.2 LTS ML také následující balíčky:

  • hyperopt 0.2.7+db3
  • sparkdl 2.3.0-db3
  • automl 1.16.0

Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si soubor requirements-12.2.txt a spusťte pip install -r requirements-12.2.txt. Tento příkaz nainstaluje všechny open-source knihovny, které Databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté společností Databricks, například databricks-automl, databricks-feature-store nebo upravenou verzi Databricks pro hyperopt.

Knihovny Pythonu v clusterech procesorů

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 Azure-Core 1.26.3 azure-cosmos 4.2.0
zpětné volání 0.2.0 backports.entry-points-selectable (volitelné vstupní body) 1.2.0 šifra 3.2.0
BeautifulSoup4 4.11.1 černý 22.3.0 bělit 4.1.0
blaženost 0.7.9 boto3 1.21.32 botocore 1.24.32
nástroje pro ukládání do mezipaměti 4.2.2 katalog 2.0.8 kodéry kategorií 2.5.1.post0
certifikát 2021.10.8 cffi 1.15.0 chardet 4.0.0
nástroj pro normalizaci znakové sady 2.0.4 klikněte 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 cukroví 0.0.4 configparser 5.2.0
převést datum 2.4.0 kryptografie 3.4.8 cyklista 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.15
Databricks-cli 0.17.4 Úložiště funkcí databricks 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 ladění 1.5.1 dekoratér 5.1.1
defusedxml 0.7.1 kopr 0.3.4 disková mezipaměť 5.4.0
distlib 0.3.6 převod docstringu do formátu markdown 0,11 vstupní body 0,4
ephem 4.1.4 vykonávající 0.8.3 přehled aspektů 1.0.0
fastjsonschema 2.16.2 fasttext 0.9.2 zamykání souboru 3.6.0
Flask 1.1.2 FlatBuffers 23.1.21 nástroje pro písma 4.25.0
fsspec 2022.2.0 budoucnost 0.18.2 Gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-auth (autentizace) 1.33.0
google-auth-oauthlib 0.4.6 google-pasta 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 gviz-api 1.10.0 h5py 3.6.0
hijri-converter 2.2.4 prázdniny 0,18 chorovod 0.27.0
htmlmin 0.1.12 huggingface-hub 0.12.0 IDNA 3.3
ImageHash 4.3.1 nevyvážené učení 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 je to nebezpečné 2.0.1
Jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
klient Jupyter 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgety 1.0.0 tvrdý 2.11.0 verizonsolver 1.3.2
korejský lunární kalendář 0.3.1 jazykové kódy 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 Lunární kalendář 0.0.9
makrela obecná 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 Mccabe 0.7.0
špatné ladění 0.8.4 mleap 0.20.0 mlflow-odlehčený 2.1.1
multimetoda 1.9.1 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 NetworkX 2.7.1 nltk (Natural Language Toolkit) 3.7
nodeenv 1.7.0 poznámkový blok 6.4.8 numba 0.55.1
numpy (knihovna pro numerické výpočty v Pythonu) 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
balení 21.3 Pandy 1.4.2 profilace pandas 3.6.2
pandocfilters 1.5.0 paramiko 2.9.2 Parso 0.8.3
specifikace cesty 0.9.0 patie 0.10.1 bábovka 0.5.2
petastorm 0.12.1 pexpect 4.8.0 Phik 0.12.3
PickleShare 0.7.5 Polštář 9.0.1 jádro 21.2.4
platformdirs 2.6.2 plotly 5.6.0 Pluggy (nástroj pro správu pluginů v Pythonu) 1.0.0
pmdarima 2.0.2 předem zpracovaný 3.0.8 prometheus-client 0.13.1
nástroj "prompt-toolkit" 3.0.20 prorok 1.1.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
čistý-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser 2.21
Pydantic (Python knihovna pro validaci a nastavení dat) 1.10.2 pyflakes 2.5.0 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.4
pyright 1.1.283 pyrsistent 0.18.0 python-dateutil 2.8.2
editor jazyka Python 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.6.0
knihovna pytz pro zpracování časových zón v Pythonu 2021.3 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 22.3.0 regulární výraz 15. 3. 2022 žádosti 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 lano 0.22.0
Rsa 4.7.2 s3transfer 0.5.0 scikit-learn 1.0.2
SciPy 1.7.3 narozený v moři 0.11.2 Send2Trash 1.8.0
setuptools (nástroj pro vytváření a distribuci Python projektů) 61.2.0 setuptools-git 1.2 SHAP 0.41.0
simplejson 3.17.6 Šest 1.16.0 průřez 0.0.7
chytré otevření 5.2.1 smmap 5.0.0 cedník do polévky 2.3.1
prostorný 3.4.4 spacy-legacy 3.0.12 spacy-loggers 1.0.4
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 srsly 2.4.5
ssh-import-id 5.10 datová hromádka 0.2.0 statsmodels 0.13.2
sestavit v tabulku 0.8.9 zapletený-do-unicode 0.2.0 houževnatost 8.0.1
TensorBoard 2.11.2 tensorboard-data-server 0.6.1 tensorboard-plugin-profil 2.11.1
tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.0 TensorFlow Estimator 2.11.0
tensorflow-io-gcs-filesystem 0.30.0 termcolor 2.2.0 dokončeno 0.13.1
testovací cesta 0.5.0 tenká 8.1.7 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tokenizátory 0.13.2 tomli 1.2.2
pochodeň 1.13.1+cpu Torchvision 0.14.1+cpu tornádo 6.1
tqdm 4.64.0 drobné vlastnosti 5.1.1 Transformátory 4.25.1
typová ochrana 2.13.3 Typer 0.7.0 rozšíření_typingu 4.1.1
ujson 5.1.0 bezobslužné aktualizace 0,1 urllib3 1.26.9
virtualenv 20.8.0 vize 0.7.5 wasabi 0.10.1
wcwidth (šířka znaků) 0.2.5 webová kódování 0.5.1 websocket-klient 0.58.0
Nářadí 2.0.3 whatthepatch 1.0.4 wheel 0.37.1
widgetsnbextension (rozšíření pro widgety v notebooku) 3.6.1 zabalený 1.12.1 xgboost 1.7.2
yapf 0.31.0 zipový uzávěr 3.7.0

Knihovny Pythonu v clusterech GPU

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 Azure-Core 1.26.3 azure-cosmos 4.2.0
zpětné volání 0.2.0 backports.entry-points-selectable (volitelné vstupní body) 1.2.0 šifra 3.2.0
BeautifulSoup4 4.11.1 černý 22.3.0 bělit 4.1.0
blaženost 0.7.9 boto3 1.21.32 botocore 1.24.32
nástroje pro ukládání do mezipaměti 4.2.2 katalog 2.0.8 kodéry kategorií 2.5.1.post0
certifikát 2021.10.8 cffi 1.15.0 chardet 4.0.0
nástroj pro normalizaci znakové sady 2.0.4 klikněte 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 cukroví 0.0.4 configparser 5.2.0
převést datum 2.4.0 kryptografie 3.4.8 cyklista 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.15
Databricks-cli 0.17.4 Úložiště funkcí databricks 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 ladění 1.5.1 dekoratér 5.1.1
defusedxml 0.7.1 kopr 0.3.4 disková mezipaměť 5.4.0
distlib 0.3.6 převod docstringu do formátu markdown 0,11 vstupní body 0,4
ephem 4.1.4 vykonávající 0.8.3 přehled aspektů 1.0.0
fastjsonschema 2.16.2 fasttext 0.9.2 zamykání souboru 3.6.0
Flask 1.1.2 FlatBuffers 23.1.21 nástroje pro písma 4.25.0
fsspec 2022.2.0 budoucnost 0.18.2 Gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-auth (autentizace) 1.33.0
google-auth-oauthlib 0.4.6 google-pasta 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 gviz-api 1.10.0 h5py 3.6.0
hijri-converter 2.2.4 prázdniny 0,18 chorovod 0.27.0
htmlmin 0.1.12 huggingface-hub 0.12.0 IDNA 3.3
ImageHash 4.3.1 nevyvážené učení 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 je to nebezpečné 2.0.1
Jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
klient Jupyter 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgety 1.0.0 tvrdý 2.11.0 verizonsolver 1.3.2
korejský lunární kalendář 0.3.1 jazykové kódy 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 Lunární kalendář 0.0.9
makrela obecná 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 Mccabe 0.7.0
špatné ladění 0.8.4 mleap 0.20.0 mlflow-odlehčený 2.1.1
multimetoda 1.9.1 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 NetworkX 2.7.1 nltk (Natural Language Toolkit) 3.7
nodeenv 1.7.0 poznámkový blok 6.4.8 numba 0.55.1
numpy (knihovna pro numerické výpočty v Pythonu) 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
balení 21.3 Pandy 1.4.2 profilace pandas 3.6.2
pandocfilters 1.5.0 paramiko 2.9.2 Parso 0.8.3
specifikace cesty 0.9.0 patie 0.10.1 bábovka 0.5.2
petastorm 0.12.1 pexpect 4.8.0 Phik 0.12.3
PickleShare 0.7.5 Polštář 9.0.1 jádro 21.2.4
platformdirs 2.6.2 plotly 5.6.0 Pluggy (nástroj pro správu pluginů v Pythonu) 1.0.0
pmdarima 2.0.2 předem zpracovaný 3.0.8 nástroj "prompt-toolkit" 3.0.20
prorok 1.1.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý-eval 0.2.2
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.3 pycparser 2.21 Pydantic (Python knihovna pro validaci a nastavení dat) 1.10.2
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 editor jazyka Python 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.6.0 knihovna pytz pro zpracování časových zón v Pythonu 2021.3
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 22.3.0
regulární výraz 15. 3. 2022 žádosti 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 lano 0.22.0 Rsa 4.7.2
s3transfer 0.5.0 scikit-learn 1.0.2 SciPy 1.7.3
narozený v moři 0.11.2 Send2Trash 1.8.0 setuptools (nástroj pro vytváření a distribuci Python projektů) 61.2.0
setuptools-git 1.2 SHAP 0.41.0 simplejson 3.17.6
Šest 1.16.0 průřez 0.0.7 chytré otevření 5.2.1
smmap 5.0.0 cedník do polévky 2.3.1 prostorný 3.4.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.5 ssh-import-id 5.10
datová hromádka 0.2.0 statsmodels 0.13.2 sestavit v tabulku 0.8.9
zapletený-do-unicode 0.2.0 houževnatost 8.0.1 TensorBoard 2.11.2
tensorboard-data-server 0.6.1 tensorboard-plugin-profil 2.11.1 tensorboard-plugin-wit 1.8.1
TensorFlow 2.11.0 TensorFlow Estimator 2.11.0 tensorflow-io-gcs-filesystem 0.30.0
termcolor 2.2.0 dokončeno 0.13.1 testovací cesta 0.5.0
tenká 8.1.7 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizátory 0.13.2 tomli 1.2.2 pochodeň 1.13.1+cu117
Torchvision 0.14.1+cu117 tornádo 6.1 tqdm 4.64.0
drobné vlastnosti 5.1.1 Transformátory 4.25.1 typová ochrana 2.13.3
Typer 0.7.0 rozšíření_typingu 4.1.1 ujson 5.1.0
bezobslužné aktualizace 0,1 urllib3 1.26.9 virtualenv 20.8.0
vize 0.7.5 wasabi 0.10.1 wcwidth (šířka znaků) 0.2.5
webová kódování 0.5.1 websocket-klient 0.58.0 Nářadí 2.0.3
whatthepatch 1.0.4 wheel 0.37.1 widgetsnbextension (rozšíření pro widgety v notebooku) 3.6.1
zabalený 1.12.1 xgboost 1.7.2 yapf 0.31.0
zipový uzávěr 3.7.0

Knihovny jazyka R

Knihovny R jsou stejné jako R Libraries v Databricks Runtime 12.2 LTS.

Knihovny Java a Scala (cluster Scala 2.12)

Kromě knihoven Java a Scala v Databricks Runtime 12.2 LTS obsahuje Databricks Runtime 12.2 LTS ML následující JAR soubory:

Clustery procesoru

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clustery GPU

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on