Delen via

Databricks Runtime 13.0 voor Machine Learning (EoS)

Opmerking

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie Beëindiging van ondersteuning en einde levenscyclus geschiedenis voor de einddatum van de ondersteuning. Voor alle ondersteunde Databricks Runtime-versies, zie Databricks Runtime release-opmerkingen over versies en compatibiliteit.

Databricks Runtime 13.0 voor Machine Learning biedt een gebruiksklare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 13.0 (EoS). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.

Zie AI en machine learning op Databricks voor meer informatie, inclusief instructies voor het maken van een Databricks Runtime ML-cluster.

Nieuwe functies en verbeteringen

Databricks Runtime 13.0 ML is gebouwd op Databricks Runtime 13.0. Zie de releaseopmerkingen van Databricks Runtime 13.0, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 13.0 (EoS ).

Wijzigingen in AutoML

In Databricks Runtime 13.0 ML en hoger wordt AutoML niet ondersteund voor werkruimten met FedRAMP-naleving .

Zie Wat is AutoML?voor meer informatie over AutoML.

Verbeteringen in Databricks Feature Store

In werkruimten met Unity Catalog op een cluster waarop Databricks Runtime 13.0 ML of hoger wordt uitgevoerd, kunt u zowel werkruimte- als Unity Catalog-functietabellen publiceren naar de online winkels van Cosmos DB.

Zie Databricks Feature Store voor meer informatie over Databricks Feature Store.

Systeemomgeving

De systeemomgeving in Databricks Runtime 13.0 ML verschilt als volgt van Databricks Runtime 13.0:

Databricks Runtime 13.0 ML bevat XGBoost 1.7.2, die geen ONDERSTEUNING biedt voor GPU-clusters met rekencapaciteit 5.2 en lager.

Het miniconda-pakket is verwijderd uit Databricks Runtime 13.0 ML.

Libraries

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 13.0 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 13.0.

In deze sectie:

Bibliotheken van topklasse

Databricks Runtime 13.0 ML bevat de volgende toonaangevende bibliotheken:

Python bibliotheken

Databricks Runtime 13.0 ML maakt gebruik van Virtualenv voor Python pakketbeheer en bevat veel populaire ML-pakketten.

De volgende Python bibliotheken zijn geïntroduceerd met Databricks Runtime 13.0 ML:

  • versnellen
  • gegevenssets
  • beoordelen
  • ydata-profiling

Naast de pakketten die in de volgende secties zijn opgegeven, bevat Databricks Runtime 13.0 ML ook de volgende pakketten:

  • hyperopt 0.2.7+db3
  • sparkdl-3.0.0_db1
  • automl 1.17.0

Als u de Databricks Runtime ML-Python-omgeving in uw lokale Python virtuele omgeving wilt reproduceren, downloadt u het bestand requirements-13.0.txt en voert u pip install -r requirements-13.0.txt uit. Met deze opdracht worden alle open source bibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden geen bibliotheken geïnstalleerd die zijn ontwikkeld door Databricks, zoals databricks-automl, databricks-feature-store of de Databricks-fork van hyperopt.

Python bibliotheken op CPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 versnellen 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 Appdirs (een hulpprogramma voor het beheren van applicatiedirectories) 1.4.4 argon2-cffi 21.3.0
argon2-cffi koppelstukken 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 asynchrone timeout 4.0.2 kenmerken 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 terugroepactie 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 zwart 22.6.0
bleekmiddel 4.1.0 knipperlicht 1.4 geluk 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
catalogus 2.0.8 category-encoders 2.6.0 certificaat 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klikken 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
suikergoed 0.0.4 configparser 5.2.0 Converteer datum 2.4.0
cryptografie 37.0.1 wielrijder 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime (automatische machine learning omgeving van Databricks) 0.2.16 databricks-cli 0.17.4
databricks-feature-store (functie-opslag van Databricks) 0.11.0 gegevenssets 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 debugpy 1.5.1 decorateur 5.1.1
defusedxml 0.7.1 dille 0.3.4 diskcache 5.4.0
distlib 0.3.6 Van docstring naar markdown 0.11 invoerpunten 0,4
efemeer 4.1.4 beoordelen 0.4.0 Uitvoeren 1.2.0
facettenoverzicht 1.0.2 fastjsonschema 2.16.3 fasttext 0.9.2
bestandsvergrendeling 3.6.0 Flacon 1.1.2 FlatBuffers 23.3.3
lettertypegereedschappen 4.25.0 bevroren lijst 1.3.3 fsspec 2022.7.1
toekomst 0.18.2 gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
Google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 vakantie 0.19
horovod (Russische volksdans) 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.2 IDNA 3.3 ImageHash 4.3.1
onevenwichtig leren 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 hetisgevarlijk 2.0.1 Jedi 0.18.1
Jeepney (typisch Filipijns openbaar vervoermiddel) 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client (softwarepakket voor Jupyter-notebooks) 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 hard 2.11.0 sleutelring 23.5.0
kiwisolver 1.4.2 koreaans-maankalender 0.3.1 langcodes 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
maankalender 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 onstemmen 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 meervoudig woordenboek 6.0.4
multimethode 1.9.1 meerdere processen 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
Natural Language Toolkit (nltk) 3.7 nodeenv 1.7.0 notebook 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 verpakking 21.3 Pandas 1.4.4
pandas-profileren 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 ziekte 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
"Phik" 0.12.3 pickleshare 0.7.5 Kussen 9.2.0
ropje 22.2.2 platformdirs 2.5.2 plotly 5.9.0
plugachtig 1.0.0 pmdarima 2.0.2 vooraf bewerkt 3.0.8
prometheus-client 0.14.1 prompt-hulpmiddelenpakket 3.0.36 profeet 1.1.2
protocolbuffers 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.3
pycparser 2.21 pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.2 python-bewerker 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6,0 pyzmq 23.2.0
regex 2022.7.9 Verzoeken 2.28.1 requests-oauthlib 1.3.1
Reacties 0.18.0 touw 1.7.0 rsa 4.9
s3transfer 0.6.0 scikit-learn 1.1.1 Scipy (een wetenschappelijke bibliotheek voor Python) 1.9.1
geboren op zee 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 63.4.1 vorm 0.41.0 simplejson 3.17.6
Zes 1.16.0 Snijmachine 0.0.7 geavanceerd openen 5.2.1
smmap 5.0.0 Soupsieve 2.3.1 spatie 3.5.0
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 Serieus? 2.4.6 ssh-import-id 5.11
stapelgegevens 0.6.2 statsmodels 0.13.2 tabel maken 0.8.10
tangled-up-in-unicode 0.2.0 vasthoudendheid 8.0.1 Tensorbord 2.11.0
tensorboard-data-server (gegevensserver) 0.6.1 tensorboard-plugin-profiel 2.11.1 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0
termcolor 2.2.0 afgerond 0.13.1 testpath 0.6.0
thinc 8.1.9 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokeniseerders 0.13.2 tomli 2.0.1 fakkel 1.13.1+cpu
fakkelvisie 0.14.1+cpu tornado 6.1 tqdm 4.64.1
Traitlets (Python library voor het configureren van Python-objecten) 5.1.1 Transformatoren 4.26.1 typebeveiliging 2.13.3
Typeren 0.7.0 typing_extensions 4.3.0 ujson 5.4.0
ongecontroleerde upgrades 0,1 urllib3 1.26.11 virtualenv 20.16.3
Visionen 0.7.5 wadllib 1.3.6 wasabi 1.1.1
wcwidth 0.2.5 Webencoderingen 0.5.1 websocket-client 0.58.0
gereedschap 2.0.3 whatthepatch 1.0.2 wiel 0.37.1
widgetsnbextension 3.6.1 omsloten 1.14.1 xgboost 1.7.4
xxhash 3.2.0 yapf 0.31.0 yarl 1.8.2
ydata-profiling 4.1.0 ritssluiting 3.8.0

Python bibliotheken op GPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 versnellen 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 Appdirs (een hulpprogramma voor het beheren van applicatiedirectories) 1.4.4 argon2-cffi 21.3.0
argon2-cffi koppelstukken 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 asynchrone timeout 4.0.2 kenmerken 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 terugroepactie 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 zwart 22.6.0
bleekmiddel 4.1.0 knipperlicht 1.4 geluk 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
catalogus 2.0.8 category-encoders 2.6.0 certificaat 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klikken 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
suikergoed 0.0.4 configparser 5.2.0 Converteer datum 2.4.0
cryptografie 37.0.1 wielrijder 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime (automatische machine learning omgeving van Databricks) 0.2.16 databricks-cli 0.17.4
databricks-feature-store (functie-opslag van Databricks) 0.11.0 gegevenssets 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 debugpy 1.5.1 decorateur 5.1.1
defusedxml 0.7.1 dille 0.3.4 diskcache 5.4.0
distlib 0.3.6 Van docstring naar markdown 0.11 invoerpunten 0,4
efemeer 4.1.4 beoordelen 0.4.0 Uitvoeren 1.2.0
facettenoverzicht 1.0.2 fastjsonschema 2.16.3 fasttext 0.9.2
bestandsvergrendeling 3.6.0 Flacon 1.1.2 FlatBuffers 23.3.3
lettertypegereedschappen 4.25.0 bevroren lijst 1.3.3 fsspec 2022.7.1
toekomst 0.18.2 gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
Google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 vakantie 0.19
horovod (Russische volksdans) 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.1 IDNA 3.3 ImageHash 4.3.1
onevenwichtig leren 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 hetisgevarlijk 2.0.1 Jedi 0.18.1
Jeepney (typisch Filipijns openbaar vervoermiddel) 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client (softwarepakket voor Jupyter-notebooks) 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 hard 2.11.0 sleutelring 23.5.0
kiwisolver 1.4.2 koreaans-maankalender 0.3.1 langcodes 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
maankalender 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 onstemmen 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 meervoudig woordenboek 6.0.4
multimethode 1.9.1 meerdere processen 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
Natural Language Toolkit (nltk) 3.7 nodeenv 1.7.0 notebook 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 verpakking 21.3 Pandas 1.4.4
pandas-profileren 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 ziekte 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
"Phik" 0.12.3 pickleshare 0.7.5 Kussen 9.2.0
ropje 22.2.2 platformdirs 2.5.2 plotly 5.9.0
plugachtig 1.0.0 pmdarima 2.0.2 vooraf bewerkt 3.0.8
prompt-hulpmiddelenpakket 3.0.36 profeet 1.1.2 protocolbuffers 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.2
python-bewerker 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
Verzoeken 2.28.1 requests-oauthlib 1.3.1 Reacties 0.18.0
touw 1.7.0 rsa 4.9 s3transfer 0.6.0
scikit-learn 1.1.1 Scipy (een wetenschappelijke bibliotheek voor Python) 1.9.1 geboren op zee 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 63.4.1
vorm 0.41.0 simplejson 3.17.6 Zes 1.16.0
Snijmachine 0.0.7 geavanceerd openen 5.2.1 smmap 5.0.0
Soupsieve 2.3.1 spatie 3.5.0 spacy-legacy 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
Serieus? 2.4.6 ssh-import-id 5.11 stapelgegevens 0.6.2
statsmodels 0.13.2 tabel maken 0.8.10 tangled-up-in-unicode 0.2.0
vasthoudendheid 8.0.1 Tensorbord 2.11.0 tensorboard-data-server (gegevensserver) 0.6.1
tensorboard-plugin-profiel 2.11.1 tensorboard-plugin-wit 1.8.1 TensorFlow 2.11.0
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0 termcolor 2.2.0
afgerond 0.13.1 testpath 0.6.0 thinc 8.1.9
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokeniseerders 0.13.2
tomli 2.0.1 fakkel 1.13.1+cu117 fakkelvisie 0.14.1+cu117
tornado 6.1 tqdm 4.64.1 Traitlets (Python library voor het configureren van Python-objecten) 5.1.1
Transformatoren 4.26.1 typebeveiliging 2.13.3 Typeren 0.7.0
typing_extensions 4.3.0 ujson 5.4.0 ongecontroleerde upgrades 0,1
urllib3 1.26.11 virtualenv 20.16.3 Visionen 0.7.5
wadllib 1.3.6 wasabi 1.1.1 wcwidth 0.2.5
Webencoderingen 0.5.1 websocket-client 0.58.0 gereedschap 2.0.3
whatthepatch 1.0.2 wiel 0.37.1 widgetsnbextension 3.6.1
omsloten 1.14.1 xgboost 1.7.4 xxhash 3.2.0
yapf 0.31.0 yarl 1.8.2 ydata-profiling 4.1.0
ritssluiting 3.8.0

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 13.0.

Java en Scala-bibliotheken (Scala 2.12-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 13.0 bevat Databricks Runtime 13.0 ML de volgende JAR's:

CPU-clusters

Groeps-id Artefact-ID Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-clusters

Groeps-id Artefact-ID Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on