Aracılığıyla paylaş


Machine Learning için Databricks Runtime 11.0 (desteklenmiyor)

Machine Learning için Databricks Runtime 11.0, Databricks Runtime 11.0'ı (desteklenmeyen) temel alan makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. Databricks Runtime ML, TensorFlow, PyTorch ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Databricks Runtime ML, makine öğrenmesi işlem hatlarını otomatik olarak eğitmeye yönelik bir araç olan AutoML'yi içerir. Databricks Runtime ML, Horovod kullanarak dağıtılmış derin öğrenme eğitimini de destekler.

Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.

Yeni özellikler ve geliştirmeler

Databricks Runtime 11.0 ML, Databricks Runtime 11.0'ın üzerine kurulmuştur. Apache Spark MLlib ve SparkR dahil olmak üzere Databricks Runtime 11.0'daki yenilikler hakkında bilgi için bkz . Databricks Runtime 11.0 (desteklenmeyen) sürüm notları.

Databricks AutoML geliştirmeleri

Databricks AutoML artık büyük veri kümelerinde daha iyi performans için daha yüksek örnekleme kesirlerini destekliyor. Ayrıntılar için bkz . Büyük veri kümelerini örnekleme.

Sistem ortamı

Databricks Runtime 11.0 ML'deki sistem ortamı, Databricks Runtime 11.0'dan aşağıdaki gibi farklıdır:

  • DBUtils: Databricks Runtime ML, Kitaplık yardımcı programını (dbutils.library) (eski) içermez. Bunun yerine komutları kullanın %pip . Bkz. Not defteri kapsamlı Python kitaplıkları.
  • GPU kümeleri için Databricks Runtime ML aşağıdaki NVIDIA GPU kitaplıklarını içerir:
    • CUDA 11.3
    • cuDNN 8.0.5.39
    • NCCL 2.9.9
    • TensorRT 7.2.2

Kitaplıklar

Aşağıdaki bölümlerde Databricks Runtime 11.0 ML'de bulunan ve Databricks Runtime 11.0'da bulunan kitaplıklardan farklı kitaplıklar listelenmiştir.

Bu bölümde:

Üst katman kitaplıkları

Databricks Runtime 11.0 ML aşağıdaki üst katman kitaplıklarını içerir:

Python kitaplıkları

Databricks Runtime 11.0 ML, Python paket yönetimi için Virtualenv kullanır ve birçok popüler ML paketi içerir.

Aşağıdaki bölümlerde belirtilen paketlere ek olarak Databricks Runtime 11.0 ML aşağıdaki paketleri de içerir:

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-db6
  • feature_store 0.4.1
  • automl 1.10

CPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 async-generator 1.10
attrs 21.2.0 geri arama 0.2.0 backports.entry-points-selectable 1.1.1
bcrypt 3.2.2 çamaşır suyu 4.0.0 blis 0.7.7
boto3 1.21.18 botocore 1.24.18 önbellek araçları 5.1.0
katalog 2.0.7 sertifikalı 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 tıklama 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 yapılandırmaparser 5.2.0
dönüştürme tarihi 2.4.0 şifreleme 3.4.8 bisikletçi 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.8
databricks-cli 0.16.4 dbl-tempo 0.1.12 dbus-python 1.2.16
hata ayıklama 1.4.1 dekoratör 5.1.0 defusedxml 0.7.1
dereotu 0.3.4 diskcache 5.4.0 daistlib 0.3.4
distro-info 0.23ubuntu1 giriş noktaları 0.3 ephem 4.1.3
modellere genel bakış 1.0.0 fasttext 0.9.2 dosya kilidi 3.3.1
Flask 1.1.2 flatbuffers 2.0 fsspec 2021.8.1
gelecek 0.18.2 Gast 0.5.3 gitdb 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 hijri-converter 2.2.3
Tatil 0,13 horovod 0.24.3 htmlmin 0.1.12
huggingface-hub 0.6.0 idna 3.2 ImageHash 4.2.1
dengesiz-öğrenme 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
izodat 0.6.1 itsdangerous 2.0.1 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab pencere öğeleri 1.0.0
keras 2.8.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.1
korece-ay takvimi 0.2.1 langcodes 3.3.0 libclang 14.0.1
lightgbm 3.3.2 llvmlite 0.38.0 LunarCalendar 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno 0.5.1
yanlış 0.8.4 mleap 0.20.0 mlflow-skinny 1.26.0
multimethod 1.8 murmurhash 1.0.7 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 not defteri 6.4.5
numba 0.55.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 Ambalaj 21.0 pandas 1.3.4
pandas profili oluşturma 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 pathy 0.6.1 Patsy 0.5.2
petastorm 0.11.4 pexpect 4.8.0 phik 0.12.2
pickleshare 0.7.5 Yastık 8.4.0 Pip 21.2.4
platformdirs 2.5.2 çizim 5.6.0 pmdarima 1.8.5
önceden gösterilmiş 3.0.6 prometheus-client 0.11.0 prompt-toolkit 3.0.20
peygamber 1.0.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 serçe 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.9.2
pycparser 2.20 pydantic 1.8.2 Pygments 2.10.0
PyGObject 3.36.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.31 pyparsing 3.0.4 pirsistent 0.18.0
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
python düzenleyicisi 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6,0 pyzmq 22.2.1 regex 2021.8.3
istekler 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
rsa 4.8 s3transfer 0.5.2 sacremoses 0.0.53
scikit-learn 0.24.2 scipy 1.7.1 seaborn 0.11.2
Send2Trash 1.8.0 kurulum araçları 58.0.4 setuptools-git 1.2
Shap 0.40.0 simplejson 3.17.6 Altı 1.16.0
Dilimleyici 0.0.7 akıllı açma 5.2.1 smmap 5.0.0
spacy 3.2.3 spacy-legacy 3.0.9 spacy-loggers 1.0.2
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 srsly 2.4.3
ssh-import-id 5.10 statsmodeller 0.12.2 sekmeli 0.8.9
unicode'da karışık 0.1.0 Azim 8.0.1 tensorboard 2.8.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.5.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.8.0 tensorflow-estimator 2.8.0 tensorflow-io-gcs-filesystem 0.25.0
termcolor 1.1.0 terminado 0.9.4 test yolu 0.5.0
tf-estimator-nightly 2.8.0.dev2021122109 thinc 8.0.15 threadpoolctl 2.2.0
belirteç oluşturucular 0.12.1 meşale 1.11.0+cpu torchvision 0.12.0+cpu
hortum 6.1 tqdm 4.62.3 traitlets 5.1.0
Transformers 4.17.0 Typer 0.4.1 yazma uzantıları 3.10.0.2
ujson 4.0.2 katılımsız yükseltmeler 0,1 urllib3 1.26.7
virtualenv 20.8.0 Vizyon 0.7.4 Wasabi 0.9.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 1.3.1
Werkzeug 2.0.2 tekerlek 0.37.0 widgetsnbextension 3.6.0
kaydırma 1.12.1 xgboost 1.5.2 zipp 3.6.0

GPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 async-generator 1.10
attrs 21.2.0 geri arama 0.2.0 backports.entry-points-selectable 1.1.1
bcrypt 3.2.2 çamaşır suyu 4.0.0 blis 0.7.7
boto3 1.21.18 botocore 1.24.18 önbellek araçları 5.1.0
katalog 2.0.7 sertifikalı 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 tıklama 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 yapılandırmaparser 5.2.0
dönüştürme tarihi 2.4.0 şifreleme 3.4.8 bisikletçi 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.8
databricks-cli 0.16.4 dbl-tempo 0.1.12 dbus-python 1.2.16
hata ayıklama 1.4.1 dekoratör 5.1.0 defusedxml 0.7.1
dereotu 0.3.4 diskcache 5.4.0 daistlib 0.3.4
distro-info 0.23ubuntu1 giriş noktaları 0.3 ephem 4.1.3
modellere genel bakış 1.0.0 fasttext 0.9.2 dosya kilidi 3.3.1
Flask 1.1.2 flatbuffers 2.0 fsspec 2021.8.1
gelecek 0.18.2 Gast 0.5.3 gitdb 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 hijri-converter 2.2.3
Tatil 0,13 horovod 0.24.3 htmlmin 0.1.12
huggingface-hub 0.6.0 idna 3.2 ImageHash 4.2.1
dengesiz-öğrenme 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
izodat 0.6.1 itsdangerous 2.0.1 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab pencere öğeleri 1.0.0
keras 2.8.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.1
korece-ay takvimi 0.2.1 langcodes 3.3.0 libclang 14.0.1
lightgbm 3.3.2 llvmlite 0.38.0 LunarCalendar 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno 0.5.1
yanlış 0.8.4 mleap 0.20.0 mlflow-skinny 1.26.0
multimethod 1.8 murmurhash 1.0.7 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 not defteri 6.4.5
numba 0.55.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 Ambalaj 21.0 pandas 1.3.4
pandas profili oluşturma 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 pathy 0.6.1 Patsy 0.5.2
petastorm 0.11.4 pexpect 4.8.0 phik 0.12.2
pickleshare 0.7.5 Yastık 8.4.0 Pip 21.2.4
platformdirs 2.5.2 çizim 5.6.0 pmdarima 1.8.5
önceden gösterilmiş 3.0.6 prompt-toolkit 3.0.20 peygamber 1.0.1
protobuf 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 serçe 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.9.2 pycparser 2.20
pydantic 1.8.2 Pygments 2.10.0 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pirsistent 0.18.0 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 python düzenleyicisi 1.0.4
pytz 2021.3 PyWavelets 1.1.1 PyYAML 6,0
pyzmq 22.2.1 regex 2021.8.3 istekler 2.26.0
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 rsa 4.8
s3transfer 0.5.2 sacremoses 0.0.53 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
kurulum araçları 58.0.4 setuptools-git 1.2 Shap 0.40.0
simplejson 3.17.6 Altı 1.16.0 Dilimleyici 0.0.7
akıllı açma 5.2.1 smmap 5.0.0 spacy 3.2.3
spacy-legacy 3.0.9 spacy-loggers 1.0.2 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.3 ssh-import-id 5.10
statsmodeller 0.12.2 sekmeli 0.8.9 unicode'da karışık 0.1.0
Azim 8.0.1 tensorboard 2.8.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.5.0 tensorboard-plugin-wit 1.8.1 tensorflow 2.8.0
tensorflow-estimator 2.8.0 tensorflow-io-gcs-filesystem 0.25.0 termcolor 1.1.0
terminado 0.9.4 test yolu 0.5.0 tf-estimator-nightly 2.8.0.dev2021122109
thinc 8.0.15 threadpoolctl 2.2.0 belirteç oluşturucular 0.12.1
meşale 1.11.0+cu113 torchvision 0.12.0+cu113 hortum 6.1
tqdm 4.62.3 traitlets 5.1.0 Transformers 4.17.0
Typer 0.4.1 yazma uzantıları 3.10.0.2 ujson 4.0.2
katılımsız yükseltmeler 0,1 urllib3 1.26.7 virtualenv 20.8.0
Vizyon 0.7.4 Wasabi 0.9.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 1.3.1 Werkzeug 2.0.2
tekerlek 0.37.0 widgetsnbextension 3.6.0 kaydırma 1.12.1
xgboost 1.5.2 zipp 3.6.0

Python modülleri içeren Spark paketleri

Spark Paketi Python Modülü Sürüm
graf çerçeveleri graf çerçeveleri 0.8.2-db1-spark3.2

R kitaplıkları

R kitaplıkları Databricks Runtime 11.0'daki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.12 kümesi)

Databricks Runtime 11.0'daki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 11.0 ML aşağıdaki JAR'leri içerir:

CPU kümeleri

Grup Kimliği Yapıt Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.26.0
org.mlflow mlflow-spark 1.26.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU kümeleri

Grup Kimliği Yapıt Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.26.0
org.mlflow mlflow-spark 1.26.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0