Delen via

Databricks Runtime 15.3 voor Machine Learning (EoS)

Opmerking

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie Beëindiging van ondersteuning en einde levenscyclus geschiedenis voor de einddatum van de ondersteuning. Voor alle ondersteunde Databricks Runtime-versies, zie Databricks Runtime release-opmerkingen over versies en compatibiliteit.

Databricks Runtime 15.3 voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en datawetenschap op basis van Databricks Runtime 15.3 (EoS). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.

Nieuwe functies en verbeteringen

Databricks Runtime 15.3 ML is gebouwd op databricks Runtime 15.3. Zie de releaseopmerkingen van Databricks Runtime 15.3, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 15.3 (EoS ).

Handmatige AutoML-gegevenssplitsingen en steekproefgewichten

AutoML biedt nu ondersteuning voor handmatige gegevenssplitsingen, zodat u rij-per-rij-gegevenssets kunt opgeven, valideren en testen voor classificatie- en regressiemodellen. Zie Gegevens splitsen in trainings-, validatie- en testsets.

AutoML ondersteunt nu voorbeeldgewichten, zodat u het belang van elke rij kunt aanpassen tijdens de training van het regressiemodel. Zie de parameters regressie voor de AutoML Python-API voor meer informatie.

Systeemomgeving

De systeemomgeving in Databricks Runtime 15.3 ML verschilt als volgt van Databricks Runtime 15.3:

  • Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
    • CUDA 12.1
    • cusolver 11.4.5.107-1
    • cupti 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Bibliotheken

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 15.3 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 15.3.

In deze sectie:

Topbibliotheken

Databricks Runtime 15.3 ML bevat de volgende eersteklas bibliotheken:

Python bibliotheken

Databricks Runtime 15.3 ML maakt gebruik van virtualenv voor Python pakketbeheer en bevat veel populaire ML-pakketten.

Naast de pakketten die in de volgende secties zijn opgegeven, bevat Databricks Runtime 15.3 ML ook de volgende pakketten:

  • hyperopt 0.2.7+db3
  • sparkdl-3.0.0_db1
  • automl 1.27.0

Als u de Databricks Runtime ML-Python-omgeving in uw lokale Python virtuele omgeving wilt reproduceren, downloadt u het bestand requirements-15.3.txt en voert u pip install -r requirements-15.3.txt uit. Met deze opdracht worden alle open source bibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden geen bibliotheken geïnstalleerd die zijn ontwikkeld door Databricks, zoals databricks-automl, databricks-feature-engineering of de Databricks-fork van hyperopt.

Python bibliotheken op CPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 versnellen 0.30.1 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.2
attrs 22.1.0 Audiolezen 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 zwart 23.3.0 bleekmiddel 4.1.0
knipperlicht 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.3.3
catalogus 2.0.10 category-encoders 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
stroomonderbreker 1.4.0 klikken 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 kleurrijk 0.5.6
communicatie 0.1.2 suikergoed 0.1.4 configparser 5.2.0
contourpy 1.0.5 cryptografie 41.0.3 wielrijder 0.11.0
cymem 2.0.8 Cython 0.29.32 daciet 1.8.1
Databricks-AutoML-Runtime 0.2.21 databricks-kenmerk-engineering 0.5.0 databricks-sdk 0.20.0
dataclasses-json 0.6.6 gegevenssets 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 decorateur 5.1.1
deepspeed 0.14.0 defusedxml 0.7.1 dille 0.3.6
diskcache 5.6.3 distlib 0.3.8 dm-tree 0.1.8
invoerpunten 0,4 evalueren 0.4.2 Uitvoeren 0.8.3
facets-overzicht 1.1.1 Farama-Meldingen 0.0.4 fastjsonschema 2.19.1
fasttext 0.9.2 bestandsvergrendeling 3.13.4 Flask 2.2.5
flatbuffers 24.3.25 fonttools 4.25.0 bevroren lijst 1.3.3
fsspec 2023.5.0 toekomst 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
Google Cloud-opslag 2.10.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 greenlet 2.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 gymnastiekzaal 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 vakantie 0,45
horovod 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 huggingface-hub 0.21.2
idna 3.4 ImageHash 4.3.1 imageio 2.31.1
onevenwichtig leren 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
itsdangerous 2.0.1 jax-jumpy 1.0.0 jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1.33
jsonpointer 2.4 jsonschema 4.17.3 Jupyter Server 1.23.4
jupyter_client 7.4.9 jupyter_core 5.3.0 jupyterlab-pygments 0.1.2
keras 3.1.1 sleutelbeheer 23.5.0 kiwisolver 1.4.4
langchain 0.1.20 langchain-community 0.0.38 langchain-core 0.1.52
langchain-text-splitters 0.0.2 langcodes 3.4.0 langsmith 0.1.63
language_data 1.2.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0,2 libclang 15.0.6.1
librosa 0.10.1 lightgbm 4.3.0 linkify-it-py 2.0.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.1.1 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 marshmallow 3.21.2
matplotlib 3.7.2 matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.12.0 verkeerd afstemmen 0.8.4
ml-dtypes 0.3.2 mlflow-skinny 2.11.3 more-itertools 8.10.0
mosaicml-streaming 0.7.4 mpmath 1.3.0 msal 1.28.0
msal-extensions 1.1.0 msgpack 1.0.8 multidict 6.0.2
multimethode 1.11.2 meerdere processen 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 namex 0.0.8 nbclassic 0.5.5
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 3.1 ninja 1.11.1.1
nltk 3.8.1 laptop 6.5.4 notebook_shim 0.2.2
numba 0.57.1 numpy 1.23.5 oauthlib 3.2.0
Oci 2.126.4 openai 1.29.0 opencensus 0.11.4
opencensus-context 0.1.3 opt-einsum 3.3.0 optree 0.11.0
orjson 3.10.3 verpakking 23.2 Pandas 1.5.3
pandocfilters 1.5.0 paramiko 3.4.0 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare 0.7.5
Kussen 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 pmdarima 2.0.4 hondje 1.8.1
portalocker 2.8.2 vooraf geslagen 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.36 profeet 1.1.5 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 8.0.0
py-spy 0.3.14 pyarrow 14.0.1 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.12.0
pyccolo 0.0.52 pycparser 2.21 pydantic 1.10.6
Pygments 2.15.1 PyGObject 3.42.1 PyJWT 2.3.0
PyNaCl 1.5.0 pynvml 11.5.0 pyodbc 4.0.38
pyOpenSSL 23.2.0 pyparsing 3.0.9 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6,0 pyzmq 23.2.0
straal 2.12.0 regex 2022.7.9 verzoeken 2.31.0
requests-oauthlib 1.3.1 rijk 13.7.1 RSA 4.9
s3transfer 0.10.1 safetensors 0.4.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 sentence-transformers 2.7.0
zinsstuk 0.1.99 setuptools 68.0.0 SHAP 0.44.0
simplejson 3.17.6 Zes 1.16.0 Slicer 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
geluidsbestand 0.12.1 soupsieve 2.4 soxr 0.3.7
spatie 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 stapelgegevens 0.2.0
stanio 0.5.0 statsmodels 0.14.0 sympy 1.11.1
tangled-up-in-unicode 0.2.0 vasthoudendheid 8.2.2 tensorboard 2.16.2
tensorboard-data-server 0.7.2 tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2
tensorflow 2.16.1 tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.37.0
termcolor 2.4.0 voltooid 0.17.1 Tekstueel 0.63.3
tf_keras 2.16.0 thinc 8.2.3 threadpoolctl 2.2.0
tifffile 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizers 0.19.0 fakkel 2.3.0+cpu
torcheval 0.0.7 torchvision 0.18.0+cpu tornado 6.3.2
tqdm 4.65.0 traitlets 5.7.1 transformatoren 4.40.2
typeguard 2.13.3 Typer 0.9.4 Typeringsinspectie 0.9.0
typing_extensions 4.10.0 tzdata 2022.1 uc-micro-py 1.0.1
ujson 5.4.0 upgrades zonder toezicht 0,1 urllib3 1.26.16
virtualenv 20.24.2 Visies 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 wezel 0.3.4
webencodings 0.5.1 websocket-client 0.58.0 Gereedschap 2.2.3
wiel 0.38.4 woordwolk 1.9.3 gewikkeld 1.14.1
xgboost 2.0.3 xxhash 3.4.1 yarl 1.8.1
ydata-profilering 4.5.1 zipp 3.11.0 zstd 1.5.5.1

Python bibliotheken op GPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 versnellen 0.30.1 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.2
attrs 22.1.0 Audiolezen 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 zwart 23.3.0 bleekmiddel 4.1.0
knipperlicht 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.3.3
catalogus 2.0.10 category-encoders 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
stroomonderbreker 1.4.0 klikken 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 kleurrijk 0.5.6
communicatie 0.1.2 suikergoed 0.1.4 configparser 5.2.0
contourpy 1.0.5 cryptografie 41.0.3 wielrijder 0.11.0
cymem 2.0.8 Cython 0.29.32 daciet 1.8.1
Databricks-AutoML-Runtime 0.2.21 databricks-kenmerk-engineering 0.5.0 databricks-sdk 0.20.0
dataclasses-json 0.6.6 gegevenssets 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 decorateur 5.1.1
deepspeed 0.14.0 defusedxml 0.7.1 dille 0.3.6
diskcache 5.6.3 distlib 0.3.8 dm-tree 0.1.8
einops 0.8.0 invoerpunten 0,4 evalueren 0.4.2
Uitvoeren 0.8.3 facets-overzicht 1.1.1 Farama-Meldingen 0.0.4
fastjsonschema 2.19.1 fasttext 0.9.2 bestandsvergrendeling 3.13.4
flash-attn 2.5.8 Flask 2.2.5 flatbuffers 24.3.25
fonttools 4.25.0 bevroren lijst 1.3.3 fsspec 2023.5.0
toekomst 0.18.3 gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.18.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 Google Cloud-opslag 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.7.0
googleapis-common-protos 1.63.0 greenlet 2.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
gymnastiekzaal 0.28.1 h11 0.14.0 h5py 3.10.0
hjson 3.1.0 vakantie 0,45 horovod 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.5 httplib2 0.20.2
httpx 0.27.0 huggingface-hub 0.21.2 idna 3.4
ImageHash 4.3.1 imageio 2.31.1 onevenwichtig leren 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.4.0 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
jax-jumpy 1.0.0 jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 Jupyter Server 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 keras 3.1.1
sleutelbeheer 23.5.0 kiwisolver 1.4.4 langchain 0.1.20
langchain-community 0.0.38 langchain-core 0.1.52 langchain-text-splitters 0.0.2
langcodes 3.4.0 langsmith 0.1.63 language_data 1.2.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,2 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.3.0 linkify-it-py 2.0.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.1.1 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.1 marshmallow 3.21.2 matplotlib 3.7.2
matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.12.0 verkeerd afstemmen 0.8.4 ml-dtypes 0.3.2
mlflow-skinny 2.11.3 more-itertools 8.10.0 mosaicml-streaming 0.7.4
mpmath 1.3.0 msal 1.28.0 msal-extensions 1.1.0
msgpack 1.0.8 multidict 6.0.2 multimethode 1.11.2
meerdere processen 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
namex 0.0.8 nbclassic 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 ninja 1.11.1.1 nltk 3.8.1
laptop 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia-cublas-cu12 12.1.3.1 nvidia-cuda-cupti-cu12 12.1.105
nvidia-cuda-nvrtc-cu12 12.1.105 nvidia-cuda-runtime-cu12 12.1.105 nvidia-cudnn-cu12 8.9.2.26
nvidia-cufft-cu12 11.0.2.54 nvidia-curand-cu12 10.3.2.106 nvidia-cusolver-cu12 11.4.5.107
nvidia-cusparse-cu12 12.1.0.106 nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.5.40
nvidia-nvtx-cu12 12.1.105 oauthlib 3.2.0 Oci 2.126.4
openai 1.29.0 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 optree 0.11.0 orjson 3.10.3
verpakking 23.2 Pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare 0.7.5 Kussen 9.4.0
pip 23.2.1 platformdirs 3.10.0 plotly 5.9.0
pmdarima 2.0.4 hondje 1.8.1 portalocker 2.8.2
vooraf geslagen 3.0.9 prometheus-client 0.14.1 prompt-toolkit 3.0.36
profeet 1.1.5 proto-plus 1.23.0 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.12.0 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyOpenSSL 23.2.0
pyparsing 3.0.9 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-editor 1.0.4 python-lsp-jsonrpc 1.1.1
python-snappy 0.6.1 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 straal 2.12.0
regex 2022.7.9 verzoeken 2.31.0 requests-oauthlib 1.3.1
rijk 13.7.1 RSA 4.9 s3transfer 0.10.1
safetensors 0.4.2 scikit-image 0.20.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 sentence-transformers 2.7.0 zinsstuk 0.1.99
setuptools 68.0.0 SHAP 0.44.0 simplejson 3.17.6
Zes 1.16.0 Slicer 0.0.7 smart-open 5.2.1
smmap 5.0.0 sniffio 1.2.0 geluidsbestand 0.12.1
soupsieve 2.4 soxr 0.3.7 spatie 3.7.2
spacy-legacy 3.0.12 spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.8
ssh-import-id 5,11 stapelgegevens 0.2.0 stanio 0.5.0
statsmodels 0.14.0 sympy 1.11.1 tangled-up-in-unicode 0.2.0
vasthoudendheid 8.2.2 tensorboard 2.16.2 tensorboard-data-server 0.7.2
tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2 tensorflow 2.16.1
tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.37.0 termcolor 2.4.0
voltooid 0.17.1 Tekstueel 0.63.3 tf_keras 2.16.0
thinc 8.2.3 threadpoolctl 2.2.0 tifffile 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizers 0.19.0 fakkel 2.3.0+cu121 torcheval 0.0.7
torchvision 0.18.0+cu121 tornado 6.3.2 tqdm 4.65.0
traitlets 5.7.1 transformatoren 4.40.2 Triton 2.3.0
typeguard 2.13.3 Typer 0.9.4 Typeringsinspectie 0.9.0
typing_extensions 4.10.0 tzdata 2022.1 uc-micro-py 1.0.1
ujson 5.4.0 upgrades zonder toezicht 0,1 urllib3 1.26.16
virtualenv 20.24.2 Visies 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 wezel 0.3.4
webencodings 0.5.1 websocket-client 0.58.0 Gereedschap 2.2.3
wiel 0.38.4 woordwolk 1.9.3 gewikkeld 1.14.1
xgboost 2.0.3 xxhash 3.4.1 yarl 1.8.1
ydata-profilering 4.5.1 zipp 3.11.0 zstd 1.5.5.1

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 15.3.

Java en Scala-bibliotheken (Scala 2.12-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 15.3 bevat Databricks Runtime 15.3 ML de volgende JAR's:

CPU-clusters

Groeps-id Artefact-id Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-clusters

Groeps-id Artefact-id Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on