Dela via

Databricks Runtime 13.0 för strojové učenie (EoS)

Anmärkning

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i End-of-support and end-of-life history (Slut på support och historik för slutet av livet). Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Databricks Runtime 13.0 för maskininlärning tillhandahåller en användarklar miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 13.0 (EoS). Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningsprocesser. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med Horovod.

Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och maskininlärning på Databricks.

Nya funktioner och förbättringar

Databricks Runtime 13.0 ML bygger på Databricks Runtime 13.0. Information om vad som är nytt i Databricks Runtime 13.0, inklusive nya funktioner i Apache Spark MLlib och SparkR, finns i versionsanteckningarna för Databricks Runtime 13.0 (EoS).

Ändringar i AutoML

I Databricks Runtime 13.0 ML och senare stöds inte AutoML för arbetsytor med FedRAMP-efterlevnad .

Mer information om AutoML finns i Vad är AutoML?.

Förbättringar till Databricks Feature Store

I Unity Catalog-aktiverade arbetsytor i ett kluster som kör Databricks Runtime 13.0 ML eller senare kan du publicera både arbetsyte- och Unity Catalog-funktionstabeller till Cosmos DB-onlinebutiker.

Mer information om Databricks Feature Store finns i Databricks Feature Store.

Systemmiljö

Systemmiljön i Databricks Runtime 13.0 ML skiljer sig från Databricks Runtime 13.0 på följande sätt:

Databricks Runtime 13.0 ML innehåller XGBoost 1.7.2, som inte stöder GPU-kluster med beräkningskapacitet 5.2 och lägre.

Miniconda-paketet har tagits bort från Databricks Runtime 13.0 ML.

Bibliotek

I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 13.0 ML som skiljer sig från de som ingår i Databricks Runtime 13.0.

I detta avsnitt:

Bibliotek på den översta nivån

Databricks Runtime 13.0 ML innehåller följande bibliotek på den översta nivån:

Python bibliotek

Databricks Runtime 13.0 ML använder Virtualenv för Python pakethantering och innehåller många populära ML-paket.

Följande Python bibliotek har introducerats med Databricks Runtime 13.0 ML:

  • accelerera
  • Datauppsättningar
  • utvärdera
  • ydata-profiling

Förutom de paket som anges i följande avsnitt innehåller Databricks Runtime 13.0 ML även följande paket:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.17.0

Om du vill återskapa Databricks Runtime ML-Python miljön i din lokala Python virtuella miljö laddar du ned filen requirements-13.0.txt och kör pip install -r requirements-13.0.txt. Det här kommandot installerar alla open-source bibliotek som Databricks Runtime ML använder, men installerar inte bibliotek som utvecklats av Databricks, till exempel databricks-automl, databricks-feature-store eller Databricks-förgrening av hyperopt.

Python bibliotek i CPU-kluster

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
absl-py 1.0.0 accelerera 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindningar 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 Asynkron timeout 4.0.2 egenskaper 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 återanrop 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 svart 22.6.0
blekmedel 4.1.0 körriktningsvisare 1,4 salighet 0.7.9
boto3 1.24.28 botocore 1.27.28 cacheverktyg 4.2.4
katalog 2.0.8 kategorikodare 2.6.0 certifikat/certifiering 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
konfektyr 0.0.4 configparser 5.2.0 konvertera datum 2.4.0
kryptografi 37.0.1 cyklist 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
Databricks-funktionsbutik 0.11.0 Datauppsättningar 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 debugpy 1.5.1 dekoratör 5.1.1
defusedxml 0.7.1 dill 0.3.4 diskcache 5.4.0
distlib 0.3.6 Omvandling av docstring till markdown 0.11 Ingångspunkter 0,4
efem 4.1.4 utvärdera 0.4.0 utföra 1.2.0
Översikt av aspekter 1.0.2 fastjsonschema 2.16.3 FastText 0.9.2
fillåsning 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fontverktyg 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
framtid 0.18.2 gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 Google-autentisering 1.33.0 google-auth-oauthlib 0.4.6
Googlepasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 ferier 0.19
Horovod (en traditionell cirkeldans från Ryssland och östra slaviska kulturer) 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.2 IDNA 3.3 ImageHash 4.3.1
obalanserad inlärning 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 det är farligt 2.0.1 Jedi 0.18.1
jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 Joblibspark 0.5.1 jsonschema 4.16.0
jupyter-klient 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keras 2.11.0 nyckelring 23.5.0
kiwisolver (ett verktyg/programvara) 1.4.2 koreansk månkalender 0.3.1 språkkoder 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
Månkalender 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 felstämning 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 multidikt 6.0.4
flera metoder 1.9.1 multiprocesshantering 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx bibliotek för nätverksanalys 2.8.4
nltk 3.7 nodeenv 1.7.0 anteckningsbok 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib (ett OAuth-bibliotek) 3.2.0
opt-einsum 3.3.0 emballage 21,3 Pandas 1.4.4
pandas-profiling 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pati 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0
phik 0.12.3 pickleshare 0.7.5 Kudde 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggaktig 1.0.0 pmdarima 2.0.2 (kontextberoende, ingen direkt översättning utan mer information) 3.0.8
prometheus-client 0.14.1 prompt-verktygslåda 3.0.36 profet 1.1.2
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.3
pycparser 2.21 pydantisk 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing (ett Python-bibliotek för att analysera text) 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-editor (programredigerare för Python) 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6,0 pyzmq 23.2.0
regex 2022.7.9 begäranden 2.28.1 requests-oauthlib 1.3.1
Svaren 0.18.0 rep 1.7.0 rsa 4,9
s3transfer 0.6.0 scikit-learn (en maskininlärningsbibliotek) 1.1.1 scipy 1.9.1
född vid havet 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 shap 0.41.0 simplejson 3.17.6
sex 1.16.0 Skärmaskin 0.0.7 smart-open 5.2.1
smmap 5.0.0 soupsieve 2.3.1 rymdlik 3.5.0
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 seriööst 2.4.6 ssh-import-id 5.11
stapeldatastruktur 0.6.2 statsmodels (ett verktyg för statistisk modellering) 0.13.2 Tabellera 0.8.10
tilltrasslad i unicode 0.2.0 uthållighet 8.0.1 TensorBoard 2.11.0
tensorboard-data-server (datahanteringsserver för TensorBoard) 0.6.1 tensorboard-insticksmodul-profil 2.11.1 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.11.0 tensorflow-estimator (en komponent i TensorFlow för modeller) 2.11.0 tensorflow-io-gcs-filesystem 0.31.0
termcolor 2.2.0 avslutad 0.13.1 testpath 0.6.0
thinc 8.1.9 threadpoolctl 2.2.0 tokenize-rt 4.2.1
Tokeniserare 0.13.2 Tomli 2.0.1 ficklampa 1.13.1+cpu
Fackelsyn 0.14.1+cpu tornad 6.1 tqdm 4.64.1
Traitlets 5.1.1 Transformatorer 4.26.1 typskydd 2.13.3
typer 0.7.0 typing_extensions 4.3.0 ujson 5.4.0
obevakade uppgraderingar 0,1 urllib3 1.26.11 virtualenv 20.16.3
Visioner 0.7.5 wadllib 1.3.6 Wasabi 1.1.1
wcwidth 0.2.5 webbkodningar 0.5.1 websocket-klient 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.2 hjul 0.37.1
widgetsnbextension 3.6.1 inhöljd 1.14.1 xgboost 1.7.4
xxhash 3.2.0 yapf 0.31.0 jarl 1.8.2
ydata-profiling 4.1.0 blixtlås 3.8.0

Python bibliotek i GPU-kluster

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
absl-py 1.0.0 accelerera 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindningar 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 Asynkron timeout 4.0.2 egenskaper 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 återanrop 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 svart 22.6.0
blekmedel 4.1.0 körriktningsvisare 1,4 salighet 0.7.9
boto3 1.24.28 botocore 1.27.28 cacheverktyg 4.2.4
katalog 2.0.8 kategorikodare 2.6.0 certifikat/certifiering 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
konfektyr 0.0.4 configparser 5.2.0 konvertera datum 2.4.0
kryptografi 37.0.1 cyklist 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
Databricks-funktionsbutik 0.11.0 Datauppsättningar 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 debugpy 1.5.1 dekoratör 5.1.1
defusedxml 0.7.1 dill 0.3.4 diskcache 5.4.0
distlib 0.3.6 Omvandling av docstring till markdown 0.11 Ingångspunkter 0,4
efem 4.1.4 utvärdera 0.4.0 utföra 1.2.0
Översikt av aspekter 1.0.2 fastjsonschema 2.16.3 FastText 0.9.2
fillåsning 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fontverktyg 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
framtid 0.18.2 gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 Google-autentisering 1.33.0 google-auth-oauthlib 0.4.6
Googlepasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 ferier 0.19
Horovod (en traditionell cirkeldans från Ryssland och östra slaviska kulturer) 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.1 IDNA 3.3 ImageHash 4.3.1
obalanserad inlärning 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 det är farligt 2.0.1 Jedi 0.18.1
jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 Joblibspark 0.5.1 jsonschema 4.16.0
jupyter-klient 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keras 2.11.0 nyckelring 23.5.0
kiwisolver (ett verktyg/programvara) 1.4.2 koreansk månkalender 0.3.1 språkkoder 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
Månkalender 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 felstämning 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 multidikt 6.0.4
flera metoder 1.9.1 multiprocesshantering 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx bibliotek för nätverksanalys 2.8.4
nltk 3.7 nodeenv 1.7.0 anteckningsbok 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib (ett OAuth-bibliotek) 3.2.0
opt-einsum 3.3.0 emballage 21,3 Pandas 1.4.4
pandas-profiling 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pati 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0
phik 0.12.3 pickleshare 0.7.5 Kudde 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggaktig 1.0.0 pmdarima 2.0.2 (kontextberoende, ingen direkt översättning utan mer information) 3.0.8
prompt-verktygslåda 3.0.36 profet 1.1.2 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantisk 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing (ett Python-bibliotek för att analysera text) 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-editor (programredigerare för Python) 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
begäranden 2.28.1 requests-oauthlib 1.3.1 Svaren 0.18.0
rep 1.7.0 rsa 4,9 s3transfer 0.6.0
scikit-learn (en maskininlärningsbibliotek) 1.1.1 scipy 1.9.1 född vid havet 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
shap 0.41.0 simplejson 3.17.6 sex 1.16.0
Skärmaskin 0.0.7 smart-open 5.2.1 smmap 5.0.0
soupsieve 2.3.1 rymdlik 3.5.0 spacy-legacy 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
seriööst 2.4.6 ssh-import-id 5.11 stapeldatastruktur 0.6.2
statsmodels (ett verktyg för statistisk modellering) 0.13.2 Tabellera 0.8.10 tilltrasslad i unicode 0.2.0
uthållighet 8.0.1 TensorBoard 2.11.0 tensorboard-data-server (datahanteringsserver för TensorBoard) 0.6.1
tensorboard-insticksmodul-profil 2.11.1 tensorboard-plugin-wit 1.8.1 TensorFlow 2.11.0
tensorflow-estimator (en komponent i TensorFlow för modeller) 2.11.0 tensorflow-io-gcs-filesystem 0.31.0 termcolor 2.2.0
avslutad 0.13.1 testpath 0.6.0 thinc 8.1.9
threadpoolctl 2.2.0 tokenize-rt 4.2.1 Tokeniserare 0.13.2
Tomli 2.0.1 ficklampa 1.13.1+cu117 Fackelsyn 0.14.1+cu117
tornad 6.1 tqdm 4.64.1 Traitlets 5.1.1
Transformatorer 4.26.1 typskydd 2.13.3 typer 0.7.0
typing_extensions 4.3.0 ujson 5.4.0 obevakade uppgraderingar 0,1
urllib3 1.26.11 virtualenv 20.16.3 Visioner 0.7.5
wadllib 1.3.6 Wasabi 1.1.1 wcwidth 0.2.5
webbkodningar 0.5.1 websocket-klient 0.58.0 Werkzeug 2.0.3
whatthepatch 1.0.2 hjul 0.37.1 widgetsnbextension 3.6.1
inhöljd 1.14.1 xgboost 1.7.4 xxhash 3.2.0
yapf 0.31.0 jarl 1.8.2 ydata-profiling 4.1.0
blixtlås 3.8.0

R-bibliotek

R-biblioteken är identiska med R-biblioteken i Databricks Runtime 13.0.

Java- och Scala-bibliotek (Scala 2.12-kluster)

Förutom Java- och Scala-bibliotek i Databricks Runtime 13.0 innehåller Databricks Runtime 13.0 ML följande JAR:er:

CPU-kluster

grupp-id Artefakt-ID Utgåva
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-kluster

grupp-id Artefakt-ID Utgåva
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on