Aracılığıyla paylaş


Machine Learning için Databricks Runtime 13.0 (desteklenmiyor)

Machine Learning için Databricks Runtime 13.0, Databricks Runtime 13.0 'ı (desteklenmeyen) temel alan makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. Databricks Runtime ML, TensorFlow, PyTorch ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Databricks Runtime ML, makine öğrenmesi işlem hatlarını otomatik olarak eğitmeye yönelik bir araç olan AutoML'yi içerir. Databricks Runtime ML, Horovod kullanarak dağıtılmış derin öğrenme eğitimini de destekler.

Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.

Yeni özellikler ve geliştirmeler

Databricks Runtime 13.0 ML, Databricks Runtime 13.0'ın üzerine kurulmuştur. Apache Spark MLlib ve SparkR dahil olmak üzere Databricks Runtime 13.0'daki yenilikler hakkında bilgi için bkz . Databricks Runtime 13.0 (desteklenmeyen) sürüm notları.

Databricks AutoML'de yapılan değişiklikler

Databricks Runtime 13.0 ML ve üzerinde Databricks AutoML, FedRAMP uyumluluğuna sahip çalışma alanları için desteklenmez.

Databricks AutoML hakkında daha fazla bilgi için bkz . AutoML nedir?.

Databricks Özellik Deposu geliştirmeleri

Databricks Runtime 13.0 ML veya üzerini çalıştıran bir kümedeki Unity Kataloğu etkin çalışma alanlarında hem çalışma alanı hem de Unity Kataloğu özellik tablolarını Cosmos DB çevrimiçi mağazalarında yayımlayabilirsiniz.

Databricks Özellik Deposu hakkında daha fazla bilgi için bkz . Özellik deposu nedir?.

Sistem ortamı

Databricks Runtime 13.0 ML'deki sistem ortamı, Databricks Runtime 13.0'dan aşağıdaki gibi farklıdır:

  • DBUtils: Databricks Runtime ML, Kitaplık yardımcı programını (dbutils.library) (eski) içermez. Bunun yerine komutları kullanın %pip . Bkz. Not defteri kapsamlı Python kitaplıkları.
  • GPU kümeleri için Databricks Runtime ML aşağıdaki NVIDIA GPU kitaplıklarını içerir:
    • CUDA 11.7
    • cuDNN 8.5.0.96-1
    • NCCL 2.15.1
    • TensorRT 7.2.2

Databricks Runtime 13.0 ML, işlem özelliği 5.2 ve altındaki GPU kümelerini desteklemeyen XGBoost 1.7.2'yi içerir.

Miniconda paketi Databricks Runtime 13.0 ML'den kaldırıldı.

Kitaplıklar

Aşağıdaki bölümlerde Databricks Runtime 13.0 ML'de bulunan ve Databricks Runtime 13.0'daki kitaplıklardan farklı kitaplıklar listelenmiştir.

Bu bölümde:

Üst katman kitaplıkları

Databricks Runtime 13.0 ML aşağıdaki üst katman kitaplıklarını içerir:

Python kitaplıkları

Databricks Runtime 13.0 ML, Python paket yönetimi için Virtualenv kullanır ve birçok popüler ML paketi içerir.

Databricks Runtime 13.0 ML ile aşağıdaki Python kitaplıkları kullanıma sunulmuştur:

  • Hızlandır
  • veri kümeleri
  • değerlendir
  • ydata-profil oluşturma

Aşağıdaki bölümlerde belirtilen paketlere ek olarak Databricks Runtime 13.0 ML aşağıdaki paketleri de içerir:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.17.0

Databricks Runtime ML Python ortamını yerel Python sanal ortamınızda yeniden oluşturmak için requirements-13.0.txt dosyasını indirin ve çalıştırınpip install -r requirements-13.0.txt. Bu komut, Databricks Runtime ML'nin kullandığı tüm açık kaynak kitaplıklarını yükler, ancak Databricks tarafından geliştirilen , databricks-feature-storeveya Databricks çatalı hyperoptgibi databricks-automlkitaplıkları yüklemez.

CPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 Hızlandır 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 zaman uyumsuz zaman aşımı 4.0.2 attrs 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 geri arama 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 Siyah 22.6.0
Çamaşır suyu 4.1.0 yanıp sönen 1.4 Blıs 0.7.9
boto3 1.24.28 botocore 1.27.28 önbellek araçları 4.2.4
Katalog 2.0.8 kategori kodlayıcıları 2.6.0 sertifikalı 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
tıklama 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
Konfeksiyon 0.0.4 yapılandırmaparser 5.2.0 dönüştürme tarihi 2.4.0
Şifreleme 37.0.1 Cycler 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
databricks-feature-store 0.11.0 veri kümeleri 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 hata ayıklama 1.5.1 Dekoratör 5.1.1
defusedxml 0.7.1 Dereotu 0.3.4 diskcache 5.4.0
daistlib 0.3.6 docstring-to-markdown 0,11 Entrypoints 0.4
ephem 4.1.4 değerlendir 0.4.0 Yürütme 1.2.0
modellere genel bakış 1.0.2 fastjsonschema 2.16.3 fasttext 0.9.2
dosya kilidi 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fonttools 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
Gelecek 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 Tatil 0.19
horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.2 ıdna 3.3 ImageHash 4.3.1
dengesiz-öğrenme 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
izodat 0.6.1 itsdangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab pencere öğeleri 1.0.0 keras 2.11.0 Anahtarlık 23.5.0
kiwisolver 1.4.2 korece-ay takvimi 0.3.1 langcodes 3.3.0
başlatma çubuğu 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 Mako 1.2.0 Markdown 3.3.4
İşaretlemeyi Kasa 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 yanlış 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 multidict 6.0.4
multimethod 1.9.1 çok işlemcili 0.70.12.2 murmurhash 1.0.9
mypy uzantıları 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 not defteri 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 Ambalaj 21.3 pandas 1.4.4
pandas profili oluşturma 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Yastık 9.2.0
Pip 22.2.2 platformdirs 2.5.2 çizim 5.9.0
takılmış 1.0.0 pmdarima 2.0.2 önceden gösterilmiş 3.0.8
prometheus-client 0.14.1 prompt-toolkit 3.0.36 Peygamber 1.1.2
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 saf değerlendirme 0.2.2 serçe 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.3
pycparser 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirsistent 0.18.0
python-dateutil 2.8.2 python düzenleyicisi 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6,0 pyzmq 23.2.0
Regex 2022.7.9 istekler 2.28.1 requests-oauthlib 1.3.1
Yanıt 0.18.0 Ip 1.7.0 rsa 4,9
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
Sinan 0.11.2 Gizli dizi Depolama 3.3.1 Send2Trash 1.8.0
kurulum araçları 63.4.1 Shap 0.41.0 simplejson 3.17.6
Altı 1.16.0 Dilimleyici 0.0.7 akıllı açma 5.2.1
smmap 5.0.0 soupsieve 2.3.1 spacy 3.5.0
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.6 ssh-import-id 5.11
stack-data 0.6.2 statsmodeller 0.13.2 sekmeli 0.8.10
unicode'da karışık 0.2.0 Azim 8.0.1 tensorboard 2.11.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0
termcolor 2.2.0 terminado 0.13.1 test yolu 0.6.0
thinc 8.1.9 threadpoolctl 2.2.0 tokenize-rt 4.2.1
belirteç oluşturucular 0.13.2 tomli 2.0.1 Meşale 1.13.1+cpu
torchvision 0.14.1+cpu Kasırga 6.1 tqdm 4.64.1
traitlets 5.1.1 Transformers 4.26.1 typeguard 2.13.3
Typer 0.7.0 typing_extensions 4.3.0 ujson 5.4.0
katılımsız yükseltmeler 0,1 urllib3 1.26.11 virtualenv 20.16.3
Vizyon 0.7.5 wadllib 1.3.6 Wasabi 1.1.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.2 Tekerlek 0.37.1
widgetsnbextension 3.6.1 kaydırma 1.14.1 xgboost 1.7.4
xxhash 3.2.0 yapf 0.31.0 yarl 1.8.2
ydata-profil oluşturma 4.1.0 zipp 3.8.0

GPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 Hızlandır 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 Astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 zaman uyumsuz zaman aşımı 4.0.2 attrs 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 geri arama 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 Siyah 22.6.0
Çamaşır suyu 4.1.0 yanıp sönen 1.4 Blıs 0.7.9
boto3 1.24.28 botocore 1.27.28 önbellek araçları 4.2.4
Katalog 2.0.8 kategori kodlayıcıları 2.6.0 sertifikalı 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
tıklama 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
Konfeksiyon 0.0.4 yapılandırmaparser 5.2.0 dönüştürme tarihi 2.4.0
Şifreleme 37.0.1 Cycler 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
databricks-feature-store 0.11.0 veri kümeleri 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 hata ayıklama 1.5.1 Dekoratör 5.1.1
defusedxml 0.7.1 Dereotu 0.3.4 diskcache 5.4.0
daistlib 0.3.6 docstring-to-markdown 0,11 Entrypoints 0.4
ephem 4.1.4 değerlendir 0.4.0 Yürütme 1.2.0
modellere genel bakış 1.0.2 fastjsonschema 2.16.3 fasttext 0.9.2
dosya kilidi 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fonttools 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
Gelecek 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 Tatil 0.19
horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.1 ıdna 3.3 ImageHash 4.3.1
dengesiz-öğrenme 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
izodat 0.6.1 itsdangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab pencere öğeleri 1.0.0 keras 2.11.0 Anahtarlık 23.5.0
kiwisolver 1.4.2 korece-ay takvimi 0.3.1 langcodes 3.3.0
başlatma çubuğu 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 Mako 1.2.0 Markdown 3.3.4
İşaretlemeyi Kasa 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 yanlış 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 multidict 6.0.4
multimethod 1.9.1 çok işlemcili 0.70.12.2 murmurhash 1.0.9
mypy uzantıları 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 not defteri 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 Ambalaj 21.3 pandas 1.4.4
pandas profili oluşturma 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Yastık 9.2.0
Pip 22.2.2 platformdirs 2.5.2 çizim 5.9.0
takılmış 1.0.0 pmdarima 2.0.2 önceden gösterilmiş 3.0.8
prompt-toolkit 3.0.36 Peygamber 1.1.2 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
saf değerlendirme 0.2.2 serçe 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pirsistent 0.18.0 python-dateutil 2.8.2
python düzenleyicisi 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6,0 pyzmq 23.2.0 Regex 2022.7.9
istekler 2.28.1 requests-oauthlib 1.3.1 Yanıt 0.18.0
Ip 1.7.0 rsa 4,9 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 Sinan 0.11.2
Gizli dizi Depolama 3.3.1 Send2Trash 1.8.0 kurulum araçları 63.4.1
Shap 0.41.0 simplejson 3.17.6 Altı 1.16.0
Dilimleyici 0.0.7 akıllı açma 5.2.1 smmap 5.0.0
soupsieve 2.3.1 spacy 3.5.0 spacy-legacy 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.6 ssh-import-id 5.11 stack-data 0.6.2
statsmodeller 0.13.2 sekmeli 0.8.10 unicode'da karışık 0.2.0
Azim 8.0.1 tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1 tensorflow 2.11.0
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0 termcolor 2.2.0
terminado 0.13.1 test yolu 0.6.0 thinc 8.1.9
threadpoolctl 2.2.0 tokenize-rt 4.2.1 belirteç oluşturucular 0.13.2
tomli 2.0.1 Meşale 1.13.1+cu117 torchvision 0.14.1+cu117
Kasırga 6.1 tqdm 4.64.1 traitlets 5.1.1
Transformers 4.26.1 typeguard 2.13.3 Typer 0.7.0
typing_extensions 4.3.0 ujson 5.4.0 katılımsız yükseltmeler 0,1
urllib3 1.26.11 virtualenv 20.16.3 Vizyon 0.7.5
wadllib 1.3.6 Wasabi 1.1.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.0.3
whatthepatch 1.0.2 Tekerlek 0.37.1 widgetsnbextension 3.6.1
kaydırma 1.14.1 xgboost 1.7.4 xxhash 3.2.0
yapf 0.31.0 yarl 1.8.2 ydata-profil oluşturma 4.1.0
zipp 3.8.0

R kitaplıkları

R kitaplıkları Databricks Runtime 13.0'daki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.12 kümesi)

Databricks Runtime 13.0'daki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 13.0 ML aşağıdaki JAR'leri içerir:

CPU kümeleri

Grup Kimliği Yapıt Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU kümeleri

Grup Kimliği Yapıt Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0