Aracılığıyla paylaş

Machine Learning için Databricks Runtime 12.0 (desteklenmiyor)

  • Makale

Machine Learning için Databricks Runtime 12.0, Databricks Runtime 12.0 'ı (desteklenmeyen) temel alan makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. Databricks Runtime ML, TensorFlow, PyTorch ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Databricks Runtime ML, makine öğrenmesi işlem hatlarını otomatik olarak eğitmeye yönelik bir araç olan AutoML'yi içerir. Databricks Runtime ML, Horovod kullanarak dağıtılmış derin öğrenme eğitimini de destekler.

Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.

Yeni özellikler ve geliştirmeler

Databricks Runtime 12.0 ML, Databricks Runtime 12.0'ın üzerine kurulmuştur. Apache Spark MLlib ve SparkR dahil olmak üzere Databricks Runtime 12.0'daki yenilikler hakkında bilgi için bkz . Databricks Runtime 12.0 (desteklenmeyen) sürüm notları.

Databricks AutoML geliştirmeleri

  • Tahmin modelleri artık isteğe bağlı olarak ülke tatillerini de içerebilir.
  • Tahmin artık aylık, üç aylık ve yıllık sıklıkları desteklemektedir.
  • AutoML artık eğitim için daha büyük veri kümeleri kullanabilir. AutoML, büyük veri kümeleri için otomatik olarak daha fazla CPU çekirdeği ayırır.

Databricks AutoML hakkında daha fazla bilgi için bkz . AutoML nedir?.

MLflow 2.0

Databricks Runtime 12.0 ML, MLflow 2.0'ı içerir. MLflow 2.0, MLflow'un güçlü platform temelini temel alır ve veri bilimi iş akışlarını basitleştirmek ve MLOps için yenilikçi, birinci sınıf araçlar sunmak için kapsamlı kullanıcı geri bildirimleri içerir. Özellikler ve iyileştirmeler arasında AutoML, hiper parametre ayarlama ve sınıflandırma desteği gibi MLflow Yemek Tarifleri (eski adıyla MLflow İşlem Hatları) uzantılarının yanı sıra ML ekosistemi ile modernleştirilmiş tümleştirmeler, kolaylaştırılmış bir MLflow İzleme kullanıcı arabirimi, MLflow'un platform bileşenleri genelinde çekirdek API'lerin yenilenmesi ve daha fazlası yer alır. Daha fazla bilgi için MLflow 2.0 belgelerine bakın veya blog gönderisine göz atın.

scikit-learn 1.0

Databricks Runtime ML 12.0 sürüm 1.0'ı içerir scikit-learn . scikit-learn Bu scikit-learn sürümüyle ilgili değişiklikler hakkında bilgi edinmek için belgeleri ziyaret edin.

Sistem ortamı

Databricks Runtime 12.0 ML'deki sistem ortamı, Databricks Runtime 12.0'dan aşağıdaki gibi farklıdır:

  • DBUtils: Databricks Runtime ML, Kitaplık yardımcı programını (dbutils.library) (eski) içermez. Bunun yerine komutları kullanın %pip . Bkz. Not defteri kapsamlı Python kitaplıkları.
  • GPU kümeleri için Databricks Runtime ML aşağıdaki NVIDIA GPU kitaplıklarını içerir:
    • CUDA 11.3
    • cuDNN 8.0.5.39
    • NCCL 2.9.9
    • TensorRT 7.2.2

Databricks Runtime 12.0 ML, 5.2 ve altı işlem özelliğine sahip GPU kümelerini desteklemeyen XGBoost 1.6.2'yi içerir.

Kitaplıklar

Aşağıdaki bölümlerde Databricks Runtime 12.0 ML'de bulunan ve Databricks Runtime 12.0'daki kitaplıklardan farklı kitaplıklar listelenmiştir.

Bu bölümde:

Üst katman kitaplıkları

Databricks Runtime 12.0 ML aşağıdaki üst katman kitaplıklarını içerir:

Python kitaplıkları

Databricks Runtime 12.0 ML, Python paket yönetimi için Virtualenv kullanır ve birçok popüler ML paketi içerir.

Aşağıdaki bölümlerde belirtilen paketlere ek olarak Databricks Runtime 12.0 ML aşağıdaki paketleri de içerir:

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • automl 1.14.1

Databricks Runtime ML Python ortamını yerel Python sanal ortamınızda yeniden oluşturmak için requirements-12.0.txt dosyasını indirin ve çalıştırınpip install -r requirements-12.0.txt. Bu komut, Databricks Runtime ML'nin kullandığı tüm açık kaynak kitaplıklarını yükler, ancak Databricks tarafından geliştirilen , databricks-feature-storeveya Databricks çatalı hyperoptgibi databricks-automlkitaplıkları yüklemez.

CPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.1 azure-cosmos 4.2.0
geri arama 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 siyah 22.3.0 çamaşır suyu 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
önbellek araçları 4.2.2 katalog 2.0.8 kategori kodlayıcıları 2.5.1.post0
sertifikalı 2021.10.8 cffi 1.15.0 chardet 4.0.0
charset-normalizer 2.0.4 tıklama 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.0.8 şekerleme 0.0.3 yapılandırmaparser 5.2.0
dönüştürme tarihi 2.4.0 şifreleme 3.4.8 bisikletçi 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 databricks-feature-store 0.8.0 dbl-tempo 0.1.12
dbus-python 1.2.16 hata ayıklama 1.5.1 dekoratör 5.1.1
defusedxml 0.7.1 dereotu 0.3.4 diskcache 5.4.0
daistlib 0.3.6 giriş noktaları 0.4 ephem 4.1.3
Yürütme 0.8.3 modellere genel bakış 1.0.0 fastjsonschema 2.16.2
fasttext 0.9.2 dosya kilidi 3.6.0 Flask 1.1.2
flatbuffers 22.10.26 fonttools 4.25.0 fsspec 2022.2.0
gelecek 0.18.2 Gast 0.4.0 gitdb 4.0.9
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.42.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.6.0 hijri-converter 2.2.4
Tatil 0,16 horovod 0.25.0 htmlmin 0.1.12
huggingface-hub 0.11.0 idna 3.3 ImageHash 4.3.1
dengesiz-öğrenme 0.8.1 importlib-metadata 4.11.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
izodat 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
joblibspark 0.5.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab pencere öğeleri 1.0.0
keras 2.10.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.2
korece-ay takvimi 0.3.1 langcodes 3.3.0 libclang 14.0.6
lightgbm 3.3.3 llvmlite 0.38.0 LunarCalendar 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 missingno 0.5.1
yanlış 0.8.4 mleap 0.20.0 mlflow-skinny 2.0.1
multimethod 1.8 murmurhash 1.0.9 mypy uzantıları 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
not defteri 6.4.8 numba 0.55.1 numpy 1.21.5
oauthlib 3.2.0 opt-einsum 3.3.0 Ambalaj 21.3
pandas 1.4.2 pandas profili oluşturma 3.3.0 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.9.0
pathy 0.6.1 Patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Yastık 9.0.1 Pip 21.2.4 platformdirs 2.5.4
çizim 5.6.0 pmdarima 2.0.1 önceden gösterilmiş 3.0.8
prometheus-client 0.13.1 prompt-toolkit 3.0.20 peygamber 1.1.1
protobuf 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 saf değerlendirme 0.2.2 serçe 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.1
pycparser 2.21 pydantic 1.9.2 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.4
pirsistent 0.18.0 python-dateutil 2.8.2 python düzenleyicisi 1.0.4
pytz 2021.3 PyWavelets 1.3.0 PyYAML 6,0
pyzmq 22.3.0 regex 2022.3.15 istekler 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 rsa 4.7.2
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 kurulum araçları 61.2.0
setuptools-git 1.2 Shap 0.41.0 simplejson 3.17.6
Altı 1.16.0 Dilimleyici 0.0.7 akıllı açma 5.1.0
smmap 5.0.0 soupsieve 2.3.1 spacy 3.4.1
spacy-legacy 3.0.10 spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.5 ssh-import-id 5.10
stack-data 0.2.0 statsmodeller 0.13.2 sekmeli 0.8.9
unicode'da karışık 0.2.0 Azim 8.0.1 tensorboard 2.10.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.10.0 tensorflow-estimator 2.10.0 tensorflow-io-gcs-filesystem 0.28.0
termcolor 2.1.1 terminado 0.13.1 test yolu 0.5.0
thinc 8.1.5 threadpoolctl 2.2.0 tokenize-rt 4.2.1
belirteç oluşturucular 0.13.2 tomli 1.2.2 meşale 1.12.1+cpu
torchvision 0.13.1+cpu hortum 6.1 tqdm 4.64.0
traitlets 5.1.1 Transformers 4.23.1 Typer 0.4.2
typing_extensions 4.1.1 katılımsız yükseltmeler 0,1 urllib3 1.26.9
virtualenv 20.8.0 Vizyon 0.7.5 Wasabi 0.10.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 tekerlek 0.37.1 widgetsnbextension 3.6.1
kaydırma 1.12.1 zipp 3.7.0

GPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.1 azure-cosmos 4.2.0
geri arama 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 siyah 22.3.0 çamaşır suyu 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
önbellek araçları 4.2.2 katalog 2.0.8 kategori kodlayıcıları 2.5.1.post0
sertifikalı 2021.10.8 cffi 1.15.0 chardet 4.0.0
charset-normalizer 2.0.4 tıklama 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.0.8 şekerleme 0.0.3 yapılandırmaparser 5.2.0
dönüştürme tarihi 2.4.0 şifreleme 3.4.8 bisikletçi 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 databricks-feature-store 0.8.0 dbl-tempo 0.1.12
dbus-python 1.2.16 hata ayıklama 1.5.1 dekoratör 5.1.1
defusedxml 0.7.1 dereotu 0.3.4 diskcache 5.4.0
daistlib 0.3.6 giriş noktaları 0.4 ephem 4.1.3
Yürütme 0.8.3 modellere genel bakış 1.0.0 fastjsonschema 2.16.2
fasttext 0.9.2 dosya kilidi 3.6.0 Flask 1.1.2
flatbuffers 22.10.26 fonttools 4.25.0 fsspec 2022.2.0
gelecek 0.18.2 Gast 0.4.0 gitdb 4.0.9
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.42.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.6.0 hijri-converter 2.2.4
Tatil 0,16 horovod 0.25.0 htmlmin 0.1.12
huggingface-hub 0.11.0 idna 3.3 ImageHash 4.3.1
dengesiz-öğrenme 0.8.1 importlib-metadata 4.11.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
izodat 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
joblibspark 0.5.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab pencere öğeleri 1.0.0
keras 2.10.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.2
korece-ay takvimi 0.3.1 langcodes 3.3.0 libclang 14.0.6
lightgbm 3.3.3 llvmlite 0.38.0 LunarCalendar 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 missingno 0.5.1
yanlış 0.8.4 mleap 0.20.0 mlflow-skinny 2.0.1
multimethod 1.8 murmurhash 1.0.9 mypy uzantıları 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
not defteri 6.4.8 numba 0.55.1 numpy 1.21.5
oauthlib 3.2.0 opt-einsum 3.3.0 Ambalaj 21.3
pandas 1.4.2 pandas profili oluşturma 3.3.0 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.9.0
pathy 0.6.1 Patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Yastık 9.0.1 Pip 21.2.4 platformdirs 2.5.4
çizim 5.6.0 pmdarima 2.0.1 önceden gösterilmiş 3.0.8
prompt-toolkit 3.0.20 peygamber 1.1.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
saf değerlendirme 0.2.2 serçe 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.1 pycparser 2.21
pydantic 1.9.2 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.4 pirsistent 0.18.0
python-dateutil 2.8.2 python düzenleyicisi 1.0.4 pytz 2021.3
PyWavelets 1.3.0 PyYAML 6,0 pyzmq 22.3.0
regex 2022.3.15 istekler 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 rsa 4.7.2 s3transfer 0.5.0
scikit-learn 1.0.2 scipy 1.7.3 seaborn 0.11.2
Send2Trash 1.8.0 kurulum araçları 61.2.0 setuptools-git 1.2
Shap 0.41.0 simplejson 3.17.6 Altı 1.16.0
Dilimleyici 0.0.7 akıllı açma 5.1.0 smmap 5.0.0
soupsieve 2.3.1 spacy 3.4.1 spacy-legacy 3.0.10
spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.5 ssh-import-id 5.10 stack-data 0.2.0
statsmodeller 0.13.2 sekmeli 0.8.9 unicode'da karışık 0.2.0
Azim 8.0.1 tensorboard 2.10.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1 tensorflow 2.10.0
tensorflow-estimator 2.10.0 tensorflow-io-gcs-filesystem 0.28.0 termcolor 2.1.1
terminado 0.13.1 test yolu 0.5.0 thinc 8.1.5
threadpoolctl 2.2.0 tokenize-rt 4.2.1 belirteç oluşturucular 0.13.2
tomli 1.2.2 meşale 1.12.1+cu113 torchvision 0.13.1+cu113
hortum 6.1 tqdm 4.64.0 traitlets 5.1.1
Transformers 4.23.1 Typer 0.4.2 typing_extensions 4.1.1
katılımsız yükseltmeler 0,1 urllib3 1.26.9 virtualenv 20.8.0
Vizyon 0.7.5 Wasabi 0.10.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.0.3
tekerlek 0.37.1 widgetsnbextension 3.6.1 kaydırma 1.12.1
zipp 3.7.0

R kitaplıkları

R kitaplıkları Databricks Runtime 12.0'daki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.12 kümesi)

Databricks Runtime 12.0'daki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 12.0 ML aşağıdaki JAR'leri içerir:

CPU kümeleri

Grup Kimliği Yapıt Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU kümeleri

Grup Kimliği Yapıt Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.6.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0