Databricks Runtime 13.1 för Machine Learning (stöds inte)

  • Artikel

Databricks Runtime 13.1 för Machine Learning ger en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 13.1 (stöds inte). Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med Horovod.

Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och Machine Learning på Databricks.

Nya funktioner och förbättringar

Databricks Runtime 13.1 ML bygger på Databricks Runtime 13.1. Information om nyheter i Databricks Runtime 13.1, inklusive Apache Spark MLlib och SparkR, finns i viktig information om Databricks Runtime 13.1 (stöds inte).

Ändringar i Databricks-funktionsarkivet

I Databricks Runtime 13.1 ML och senare i MySQL-butiker publish_table använder LONGTEXT-typen för strängdata i funktionstabeller. Om du publicerar en tabell med Databricks Runtime 13.1 ML och sedan behöver skriva till den med Databricks Runtime 13.0 eller lägre, måste du antingen använda publish_table i överskrivningsläge eller släppa och publicera onlinetabellen igen.

Systemmiljö

Systemmiljön i Databricks Runtime 13.1 ML skiljer sig från Databricks Runtime 13.1 på följande sätt:

Databricks Runtime 13.1 ML innehåller XGBoost 1.7.5, som inte stöder GPU-kluster med beräkningskapacitet 5.2 och lägre.

Bibliotek

I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 13.1 ML som skiljer sig från de som ingår i Databricks Runtime 13.1.

I detta avsnitt:

Bibliotek på den översta nivån

Databricks Runtime 13.1 ML innehåller följande bibliotek på den översta nivån:

Python-bibliotek

Databricks Runtime 13.1 ML använder Virtualenv för Python-pakethantering och innehåller många populära ML-paket.

Följande Python-bibliotek har introducerats med Databricks Runtime 13.1 ML:

  • langchain
  • librosa
  • pytesseract
  • meningsstycke
  • meningstransformatorer
  • soundfile
  • tiktoken

Förutom de paket som anges i följande avsnitt innehåller Även Databricks Runtime 13.1 ML följande paket:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.18.0

Om du vill återskapa Databricks Runtime ML Python-miljön i din lokala virtuella Python-miljö laddar du ned filen requirements-13.1.txt och kör pip install -r requirements-13.1.txt. Det här kommandot installerar alla öppen källkod bibliotek som Databricks Runtime ML använder, men installerar inte bibliotek som utvecklats av Databricks, till exempel databricks-automl, databricks-feature-storeeller Databricks-förgreningen för hyperopt.

Python-bibliotek i CPU-kluster

Bibliotek Version Bibliotek Version Bibliotek Version
absl-py 1.0.0 Påskynda 0.18.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindningar 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 attrs 21.4.0
audioread 3.0.0 azure-core 1.26.4 azure-cosmos 4.3.1b1
azure-storage-blob 12.16.0 azure-storage-file-datalake 12.11.0 backcall 0.2.0
Bcrypt 3.2.0 beautifulsoup4 4.11.1 svart 22.6.0
Blekmedel 4.1.0 blinker 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
Katalog 2.0.8 kategorikodare 2.6.0 Certifi 2022.9.14
Cffi 1.15.1 Chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
Konfekt 0.0.4 configparser 5.2.0 konvertera 2.4.0
Kryptografi 37.0.1 Apparat 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.6
databricks-feature-store 0.12.0 dataclasses-json 0.5.7 datauppsättningar 2.12.0
dbl-tempo 0.1.23 dbus-python 1.2.18 felsökning 1.5.1
Dekoratör 5.1.1 defusedxml 0.7.1 Dill 0.3.4
diskcache 5.6.1 distlib 0.3.6 docstring-to-markdown 0,12
entrypoints 0,4 efem 4.1.4 evaluate (utvärdera) 0.4.0
Verkställande 1.2.0 facets-overview 1.0.3 fastjsonschema 2.16.3
snabbtext 0.9.2 filelock 3.6.0 Flask 1.1.2
flatbuffers 23.3.3 Fonttools 4.25.0 frozenlist 1.3.3
fsspec 2022.7.1 Framtiden 0.18.2 Gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-api-core 2.8.2
google-auth 1.33.0 google-auth-oauthlib 0.4.6 google-cloud-core 2.3.2
google-cloud-storage 2.8.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.5.0 googleapis-common-protos 1.56.4 greenlet 1.1.1
grpcio 1.48.1 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hijri-converter 2.3.1
Semester 0,22 horovod 0.27.0 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.14.1 idna 3.3
ImageHash 4.3.1 obalanserad inlärning 0.8.1 importlib-metadata 4.11.3
ipykernel 6.17.1 Ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.11.0
Keyring 23.5.0 kiwisolver 1.4.2 korean-lunar-calendar 0.3.1
langchain 0.0.152 langcodes 3.3.0 Launchpadlib 1.10.16
Lazr.restfulclient 0.14.4 Lazr.uri 1.0.6 lazy_loader 0.2
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.38.0 LunarCalendar 0.0.9 Mako 1.2.0
Markdown 3.3.4 Markering Valv 2.0.1 Marshmallow 3.19.0
marshmallow-enum 1.5.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.3.1 more-itertools 8.10.0 msgpack 1.0.5
multidict 6.0.4 multimethod 1.9.1 multiprocess 0.70.12.2
murmurhash 1.0.9 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
Networkx 2.8.4 nltk 3.7 nodeenv 1.7.0
notebook-fil 6.4.12 numba 0.55.1 numexpr 2.8.4
Numpy 1.21.5 oauthlib 3.2.0 openai 0.27.4
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 Förpackning 21,3
Pandas 1.4.4 pandocfilter 1.5.0 Paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 Pati 0.10.1
Patsy 0.5.2 petastorm 0.12.1 Pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Kudde 9.2.0
Pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 Pooch 1.7.0
fördefinierad 3.0.8 prometheus-client 0.14.1 prompt-toolkit 3.0.36
Profeten 1.1.2 protobuf 3.19.4 Psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.4 pycparser 2.21 pydantisk 1.10.6
Pyflakes 3.0.1 Pygments 2.11.2 Pygobject 3.42.1
PyJWT 2.3.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 Pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6,0 pyzmq 23.2.0 Regex 2022.7.9
begäranden 2.28.1 requests-oauthlib 1.3.1 Svaren 0.18.0
Rep 1.7.0 Rsa 4,9 s3transfer 0.6.0
scikit-learn 1.1.1 Scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 meningstransformatorer 2.2.2
meningsstycke 0.1.97 Setuptools 63.4.1 Shap 0.41.0
Simplejson 3.17.6 Sex 1.16.0 Slicer 0.0.7
smart-open 5.2.1 smmap 5.0.0 soundfile 0.12.1
soupsieve 2.3.1 soxr 0.3.5 spacy 3.5.1
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
Sqlalchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.6
ssh-import-id 5,11 stack-data 0.6.2 statsmodels 0.13.2
Tabellform 0.8.10 trasslig upp-i-unicode 0.2.0 Uthållighet 8.1.0
tensorboard 2.11.0 tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.2
tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0
tensorflow-io-gcs-filesystem 0.32.0 termcolor 2.3.0 terminado 0.13.1
testpath 0.6.0 thinc 8.1.9 threadpoolctl 2.2.0
tiktoken 0.3.3 tokenize-rt 4.2.1 tokenizers 0.13.3
tomli 2.0.1 Fackla 1.13.1+cpu torchvision 0.14.1+cpu
Tornado 6.1 tqdm 4.64.1 traitlets 5.1.1
Transformatorer 4.28.1 typeguard 2.13.3 typer 0.7.0
skriva-inspektera 0.8.0 typing_extensions 4.3.0 ujson 5.4.0
obevakade uppgraderingar 0,1 urllib3 1.26.11 Virtualenv 20.16.3
Visioner 0.7.5 Wadllib 1.3.6 Wasabi 1.1.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.2 Hjul 0.37.1
widgetsnbextension 3.6.1 wrapt 1.14.1 xgboost 1.7.5
xxhash 3.2.0 yapf 0.31.0 Yarl 1.9.2
ydata-profilering 4.1.2 Zipp 3.8.0

Python-bibliotek i GPU-kluster

Bibliotek Version Bibliotek Version Bibliotek Version
absl-py 1.0.0 Påskynda 0.18.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindningar 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 attrs 21.4.0
audioread 3.0.0 azure-core 1.26.4 azure-cosmos 4.3.1b1
azure-storage-blob 12.16.0 azure-storage-file-datalake 12.11.0 backcall 0.2.0
Bcrypt 3.2.0 beautifulsoup4 4.11.1 svart 22.6.0
Blekmedel 4.1.0 blinker 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
Katalog 2.0.8 kategorikodare 2.6.0 Certifi 2022.9.14
Cffi 1.15.1 Chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
Konfekt 0.0.4 configparser 5.2.0 konvertera 2.4.0
Kryptografi 37.0.1 Apparat 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.6
databricks-feature-store 0.12.0 dataclasses-json 0.5.7 datauppsättningar 2.12.0
dbl-tempo 0.1.23 dbus-python 1.2.18 felsökning 1.5.1
Dekoratör 5.1.1 defusedxml 0.7.1 Dill 0.3.4
diskcache 5.6.1 distlib 0.3.6 docstring-to-markdown 0,12
entrypoints 0,4 efem 4.1.4 evaluate (utvärdera) 0.4.0
Verkställande 1.2.0 facets-overview 1.0.3 fastjsonschema 2.16.3
snabbtext 0.9.2 filelock 3.6.0 Flask 1.1.2
flatbuffers 23.3.3 Fonttools 4.25.0 frozenlist 1.3.3
fsspec 2022.7.1 Framtiden 0.18.2 Gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-api-core 2.8.2
google-auth 1.33.0 google-auth-oauthlib 0.4.6 google-cloud-core 2.3.2
google-cloud-storage 2.8.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.5.0 googleapis-common-protos 1.56.4 greenlet 1.1.1
grpcio 1.48.1 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hijri-converter 2.3.1
Semester 0,22 horovod 0.27.0 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.14.1 idna 3.3
ImageHash 4.3.1 obalanserad inlärning 0.8.1 importlib-metadata 4.11.3
ipykernel 6.17.1 Ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.11.0
Keyring 23.5.0 kiwisolver 1.4.2 korean-lunar-calendar 0.3.1
langchain 0.0.152 langcodes 3.3.0 Launchpadlib 1.10.16
Lazr.restfulclient 0.14.4 Lazr.uri 1.0.6 lazy_loader 0.2
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.38.0 LunarCalendar 0.0.9 Mako 1.2.0
Markdown 3.3.4 Markering Valv 2.0.1 Marshmallow 3.19.0
marshmallow-enum 1.5.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.3.1 more-itertools 8.10.0 msgpack 1.0.5
multidict 6.0.4 multimethod 1.9.1 multiprocess 0.70.12.2
murmurhash 1.0.9 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
Networkx 2.8.4 nltk 3.7 nodeenv 1.7.0
notebook-fil 6.4.12 numba 0.55.1 numexpr 2.8.4
Numpy 1.21.5 oauthlib 3.2.0 openai 0.27.4
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 Förpackning 21,3
Pandas 1.4.4 pandocfilter 1.5.0 Paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 Pati 0.10.1
Patsy 0.5.2 petastorm 0.12.1 Pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Kudde 9.2.0
Pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 Pooch 1.7.0
fördefinierad 3.0.8 prompt-toolkit 3.0.36 Profeten 1.1.2
protobuf 3.19.4 Psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 8.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.4
pycparser 2.21 pydantisk 1.10.6 Pyflakes 3.0.1
Pygments 2.11.2 Pygobject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
Pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 PyWavelets 1.3.0 PyYAML 6,0
pyzmq 23.2.0 Regex 2022.7.9 begäranden 2.28.1
requests-oauthlib 1.3.1 Svaren 0.18.0 Rep 1.7.0
Rsa 4,9 s3transfer 0.6.0 scikit-learn 1.1.1
Scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 meningstransformatorer 2.2.2 meningsstycke 0.1.97
Setuptools 63.4.1 Shap 0.41.0 Simplejson 3.17.6
Sex 1.16.0 Slicer 0.0.7 smart-open 5.2.1
smmap 5.0.0 soundfile 0.12.1 soupsieve 2.3.1
soxr 0.3.5 spacy 3.5.1 spacy-legacy 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.6 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 Tabellform 0.8.10 trasslig upp-i-unicode 0.2.0
Uthållighet 8.1.0 tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1 tensorflow 2.11.0
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0 termcolor 2.3.0
terminado 0.13.1 testpath 0.6.0 thinc 8.1.9
threadpoolctl 2.2.0 tiktoken 0.3.3 tokenize-rt 4.2.1
tokenizers 0.13.3 tomli 2.0.1 Fackla 1.13.1+cu117
torchvision 0.14.1+cu117 Tornado 6.1 tqdm 4.64.1
traitlets 5.1.1 Transformatorer 4.28.1 typeguard 2.13.3
typer 0.7.0 skriva-inspektera 0.8.0 typing_extensions 4.3.0
ujson 5.4.0 obevakade uppgraderingar 0,1 urllib3 1.26.11
Virtualenv 20.16.3 Visioner 0.7.5 Wadllib 1.3.6
Wasabi 1.1.1 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 Werkzeug 2.0.3 whatthepatch 1.0.2
Hjul 0.37.1 widgetsnbextension 3.6.1 wrapt 1.14.1
xgboost 1.7.5 xxhash 3.2.0 yapf 0.31.0
Yarl 1.9.2 ydata-profilering 4.1.2 Zipp 3.8.0

R-bibliotek

R-biblioteken är identiska med R-biblioteken i Databricks Runtime 13.1.

Java- och Scala-bibliotek (Scala 2.12-kluster)

Förutom Java- och Scala-bibliotek i Databricks Runtime 13.1 innehåller Databricks Runtime 13.1 ML följande JAR:er:

CPU-kluster

Grupp-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.3.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-kluster

Grupp-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.3.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0