Aracılığıyla paylaş


Machine Learning için Databricks Runtime 14.2 (EoS)

Not

Bu Databricks Runtime sürümü desteği sona erdi. Destek sonu tarihi için bkz . Destek sonu geçmişi. Desteklenen tüm Databricks Runtime sürümleri için bkz . Databricks Runtime sürüm notları sürümleri ve uyumluluğu.

Machine Learning için Databricks Runtime 14.2, Databricks Runtime 14.2 (EoS) tabanlı makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. Databricks Runtime ML, TensorFlow, PyTorch ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Databricks Runtime ML, makine öğrenmesi işlem hatlarını otomatik olarak eğitmeye yönelik bir araç olan AutoML'yi içerir. Databricks Runtime ML, Horovod kullanarak dağıtılmış derin öğrenme eğitimini de destekler.

İpucu

Destek sonuna (EoS) ulaşmış Databricks Runtime sürümlerinin sürüm notlarını görmek için bkz . Destek sonu Databricks Runtime sürüm notları. EoS Databricks Runtime sürümleri kullanımdan kaldırılmıştır ve güncelleştirilmemiş olabilir.

Yeni özellikler ve geliştirmeler

Databricks Runtime 14.2 ML, Databricks Runtime 14.2'nin üzerine kurulmuştur. Apache Spark MLlib ve SparkR dahil olmak üzere Databricks Runtime 14.2'deki yenilikler hakkında bilgi için Databricks Runtime 14.2 (EoS) sürüm notlarına bakın.

Sistem ortamı

Databricks Runtime 14.2 ML'deki sistem ortamı, Databricks Runtime 14.2'den aşağıdaki gibi farklıdır:

  • DBUtils: Databricks Runtime ML, Kitaplık yardımcı programını (dbutils.library) (eski) içermez. Bunun yerine komutları kullanın %pip . Bkz. Not defteri kapsamlı Python kitaplıkları.
  • GPU kümeleri için Databricks Runtime ML aşağıdaki NVIDIA GPU kitaplıklarını içerir:
    • CUDA 11.8
    • cuDNN 8.9.0.131-1
    • NCCL 2.15.5
    • TensorRT 8.5.3-1

Databricks Runtime 14.2 ML, işlem özelliği 5.2 ve altındaki GPU kümelerini desteklemeyen XGBoost 1.7.6'yı içerir.

Kitaplıklar

Aşağıdaki bölümlerde Databricks Runtime 14.2 ML'de bulunan ve Databricks Runtime 14.2'de bulunan kitaplıklardan farklı kitaplıklar listelenmiştir.

Bu bölümde:

Üst katman kitaplıkları

Databricks Runtime 14.2 ML aşağıdaki üst katman kitaplıklarını içerir:

Python kitaplıkları

Databricks Runtime 14.2 ML, Python paket yönetimi için kullanılır virtualenv ve birçok popüler ML paketi içerir.

Aşağıdaki bölümlerde belirtilen paketlere ek olarak Databricks Runtime 14.2 ML aşağıdaki paketleri de içerir:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.23.0

Databricks Runtime ML Python ortamını yerel Python sanal ortamınızda yeniden oluşturmak için requirements-14.2.txt dosyasını indirin ve çalıştırınpip install -r requirements-14.2.txt. Bu komut, Databricks Runtime ML'nin kullandığı tüm açık kaynak kitaplıklarını yükler, ancak Databricks tarafından geliştirilen , databricks-feature-storeveya Databricks çatalı hyperoptgibi databricks-automlkitaplıkları yüklemez.

CPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 hızlandırmak 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 zaman uyumsuz zaman aşımı 4.0.3
attrs 22.1.0 sesli okuma 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 azure-storage-file-datalake 12.13.2
geri arama 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
siyah 22.6.0 çamaşır suyu 4.1.0 yanıp sönen 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
önbellek araçları 5.3.2 katalog 2.0.10 kategori kodlayıcıları 2.6.2
sertifikalı 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 tıklama 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 Comm 0.1.2
şekerleme 0.1.3 yapılandırmaparser 5.2.0 konturlu 1.0.5
şifreleme 39.0.1 bisikletçi 0.11.0 cymem 2.0.8
Cython 0.29.32 dacite 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 databricks-feature-engineering 0.1.2 databricks-feature-store 0.16.1
databricks-sdk 0.1.6 dataclasses-json 0.6.1 veri kümeleri 2.14.5
dbl-tempo 0.1.26 dbus-python 1.2.18 hata ayıklama 1.6.7
dekoratör 5.1.1 deepspeed 0.11.1 defusedxml 0.7.1
dereotu 0.3.6 diskcache 5.6.3 daistlib 0.3.7
docstring-to-markdown 0,11 giriş noktaları 0.4 değerlendir 0.4.1
Yürütme 0.8.3 modellere genel bakış 1.1.1 fastjsonschema 2.18.1
fasttext 0.9.2 dosya kilidi 3.9.0 Flask 2.2.5
flatbuffers 23.5.26 fonttools 4.25.0 frozenlist 1.4.0
fsspec 2023.6.0 gelecek 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
google-cloud-storage 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 yeşillik 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
Tatil 0,35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 dengesiz-öğrenme 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 izodat 0.6.1
itsdangerous 2.0.1 jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1,33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab pencere öğeleri 1.0.0
keras 2.14.0 anahtarlık 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 langcodes 3.3.0 langsmith 0.0.56
başlatma çubuğu 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
Hatmi 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 yanlış 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.8.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 multidict 6.0.4 multimethod 1.10
çok işlemcili 0.70.14 murmurhash 1.0.10 mypy uzantıları 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
Ninja 1.11.1.1 nltk 3.7 nodeenv 1.8.0
not defteri 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 Ambalaj 22.0 pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 pathy 0.10.3 Patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Yastık 9.4.0 Pip 22.3.1
platformdirs 2.5.2 çizim 5.9.0 takılmış 1.0.0
pmdarima 2.0.3 it 1.4.0 önceden gösterilmiş 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.36 peygamber 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 saf değerlendirme 0.2.2 py-cpuinfo 9.0.0
serçe 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python düzenleyicisi 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 istekler 2.28.1
requests-oauthlib 1.3.1 Yanıt 0.18.0 ip 1.7.0
rsa 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
Gizli Dizi 3.3.1 Send2Trash 1.8.0 cümle transformatörleri 2.2.2
cümle parçası 0.1.99 kurulum araçları 65.6.3 Shap 0.43.0
simplejson 3.17.6 Altı 1.16.0 Dilimleyici 0.0.7
akıllı açma 5.2.1 smmap 5.0.0 sniffio 1.2.0
ses dosyası 0.12.1 soupsieve 2.3.2.post1 soxr 0.3.7
spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 stack-data 0.2.0
stanio 0.3.0 statsmodeller 0.13.5 sympy 1.11.1
sekmeli 0.8.10 unicode'da karışık 0.2.0 Azim 8.1.0
tensorboard 2.14.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow-cpu 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 terminado 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 belirteç oluşturucular 0.14.0 tomli 2.0.1
meşale 2.0.1+cpu torchvision 0.15.2+cpu hortum 6.1
tqdm 4.64.1 traitlets 5.7.1 Transformers 4.34.0
typeguard 2.13.3 Typer 0.9.0 yazma-inceleme 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 katılımsız yükseltmeler 0,1
urllib3 1.26.14 virtualenv 20.16.7 Vizyon 0.7.5
wadllib 1.3.6 Wasabi 1.1.2 wcwidth 0.2.5
gelincik 0.3.3 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.2.2 whatthepatch 1.0.2 tekerlek 0.38.4
widgetsnbextension 3.6.1 wordcloud 1.9.2 kaydırma 1.14.1
xgboost 1.7.6 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.2 ydata-profil oluşturma 4.2.0 zipp 3.11.0

GPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 hızlandırmak 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 zaman uyumsuz zaman aşımı 4.0.3
attrs 22.1.0 sesli okuma 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 azure-storage-file-datalake 12.13.2
geri arama 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
siyah 22.6.0 çamaşır suyu 4.1.0 yanıp sönen 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
önbellek araçları 5.3.2 katalog 2.0.10 kategori kodlayıcıları 2.6.2
sertifikalı 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 tıklama 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.27.7 cmdstanpy 1.2.0
Comm 0.1.2 şekerleme 0.1.3 yapılandırmaparser 5.2.0
konturlu 1.0.5 şifreleme 39.0.1 bisikletçi 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 databricks-feature-engineering 0.1.2
databricks-feature-store 0.16.1 databricks-sdk 0.1.6 dataclasses-json 0.6.1
veri kümeleri 2.14.5 dbl-tempo 0.1.26 dbus-python 1.2.18
hata ayıklama 1.6.7 dekoratör 5.1.1 deepspeed 0.11.1
defusedxml 0.7.1 dereotu 0.3.6 diskcache 5.6.3
daistlib 0.3.7 docstring-to-markdown 0,11 einops 0.7.0
giriş noktaları 0.4 değerlendir 0.4.1 Yürütme 0.8.3
modellere genel bakış 1.1.1 fastjsonschema 2.18.1 fasttext 0.9.2
dosya kilidi 3.9.0 flash-attn 2.3.2 Flask 2.2.5
flatbuffers 23.5.26 fonttools 4.25.0 frozenlist 1.4.0
fsspec 2023.6.0 gelecek 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
google-cloud-storage 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 yeşillik 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
Tatil 0,35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 dengesiz-öğrenme 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 izodat 0.6.1
itsdangerous 2.0.1 jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1,33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab pencere öğeleri 1.0.0
keras 2.14.0 anahtarlık 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 langcodes 3.3.0 langsmith 0.0.56
başlatma çubuğu 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 Yaktı 17.0.4 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 Hatmi 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 yanlış 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.8.0 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 multidict 6.0.4
multimethod 1.10 çok işlemcili 0.70.14 murmurhash 1.0.10
mypy uzantıları 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 Ninja 1.11.1.1 nltk 3.7
nodeenv 1.8.0 not defteri 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 Ambalaj 22.0
pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 pathy 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Yastık 9.4.0
Pip 22.3.1 platformdirs 2.5.2 çizim 5.9.0
takılmış 1.0.0 pmdarima 2.0.3 it 1.4.0
önceden gösterilmiş 3.0.9 prompt-toolkit 3.0.36 peygamber 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 saf değerlendirme 0.2.2 py-cpuinfo 9.0.0
serçe 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python düzenleyicisi 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 istekler 2.28.1
requests-oauthlib 1.3.1 Yanıt 0.18.0 ip 1.7.0
rsa 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
Gizli Dizi 3.3.1 Send2Trash 1.8.0 cümle transformatörleri 2.2.2
cümle parçası 0.1.99 kurulum araçları 65.6.3 Shap 0.43.0
simplejson 3.17.6 Altı 1.16.0 Dilimleyici 0.0.7
akıllı açma 5.2.1 smmap 5.0.0 sniffio 1.2.0
ses dosyası 0.12.1 soupsieve 2.3.2.post1 soxr 0.3.7
spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 stack-data 0.2.0
stanio 0.3.0 statsmodeller 0.13.5 sympy 1.11.1
sekmeli 0.8.10 unicode'da karışık 0.2.0 Azim 8.1.0
tensorboard 2.14.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 terminado 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 belirteç oluşturucular 0.14.0 tomli 2.0.1
meşale 2.0.1+cu118 torchvision 0.15.2+cu118 hortum 6.1
tqdm 4.64.1 traitlets 5.7.1 Transformers 4.34.0
Triton 2.0.0 typeguard 2.13.3 Typer 0.9.0
yazma-inceleme 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
katılımsız yükseltmeler 0,1 urllib3 1.26.14 virtualenv 20.16.7
Vizyon 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
wcwidth 0.2.5 gelincik 0.3.3 webencodings 0.5.1
websocket-client 0.58.0 Werkzeug 2.2.2 whatthepatch 1.0.2
tekerlek 0.38.4 widgetsnbextension 3.6.1 wordcloud 1.9.2
kaydırma 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.2 ydata-profil oluşturma 4.2.0
zipp 3.11.0

R kitaplıkları

R kitaplıkları Databricks Runtime 14.2'deki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.12 kümesi)

Databricks Runtime 14.2'deki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 14.2 ML aşağıdaki JAR'leri içerir:

CPU kümeleri

Grup Kimliği Yapıt Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU kümeleri

Grup Kimliği Yapıt Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0