Aracılığıyla paylaş


ML için Databricks Runtime 9.0 (EoS)

Not

Bu Databricks Runtime sürümü desteği sona erdi. Destek sonu tarihi için bkz . Destek sonu geçmişi. Desteklenen tüm Databricks Runtime sürümlerini görmek için Databricks Runtime sürüm notları, versiyonlar ve uyumluluk kısmına bakınız.

Databricks bu sürümü Ağustos 2021'de yayımladı.

Machine Learning için Databricks Runtime 9.0, Databricks Runtime 9.0 (EoS) tabanlı makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. Databricks Runtime ML, TensorFlow, PyTorch ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Horovod kullanarak dağıtılmış derin öğrenme eğitimini de destekler.

Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te yapay zeka ve makine öğrenmesi.

Düzeltme

Bu sürüm notlarının önceki bir sürümünde Ganglia ile küme GPU ölçümlerini izleme desteğinin Databricks Runtime 9.0 ML GPU'da devre dışı bırakıldığı belirtildi. Bu, Databricks Runtime 9.0 ML Beta için geçerlidir, ancak sorun Databricks Runtime 9.0 ML GA ile düzeltildi. deyimi kaldırıldı.

Yeni özellikler ve geliştirmeler

Databricks Runtime 9.0 ML, Databricks Runtime 9.0'ın üzerine kurulmuştur. Apache Spark MLlib ve SparkR dahil olmak üzere Databricks Runtime 9.0'daki yenilikler hakkında bilgi için Databricks Runtime 9.0 (EoS) sürüm notlarına bakın.

Databricks Otomatik Kaydetme (Genel Önizleme)

Databricks Autologging artık belirli bölgelerde Machine Learning için Databricks Runtime 9.0'da kullanılabilir. Databricks Autologging, Azure Databricks'te makine öğrenmesi eğitim oturumları için otomatik deneme izleme sağlayan kod içermeyen bir çözümdür. Databricks Autologging ile model parametreleri, ölçümler, dosyalar ve köken bilgileri, çeşitli popüler makine öğrenmesi kitaplıklarından modelleri eğittiğiniz zaman otomatik olarak yakalanır. Eğitim oturumları MLflow İzleme Çalıştırmaları olarak kaydedilir. Model dosyaları da izlenir, böylece bunları kolayca MLflow Model Kayıt Defteri'nde kaydedebilir ve MLflow Model Sunma kullanarak gerçek zamanlı puanlama için yapılandırabilirsiniz.

Databricks Otomatik Kaydetme hakkında daha fazla bilgi için bkz. Databricks Autologging.

Databricks Özellik Deposu geliştirmeleri

Kaynak özellik tablolarındaki birleştirme sayısı en aza indirilerek eğitim kümesi oluşturulurken performans iyileştirildi.

PySpark ile XGBoost tümleştirmesi artık dağıtılmış eğitimi ve GPU kümelerini destekliyor

Ayrıntılar için bkz. Azure Databricks'te XGBoost kullanma.

Databricks Runtime ML Python ortamında önemli değişiklikler

%conda komutuyla birlikte Conda ortamları kaldırılır. Databricks Runtime 9.0 ML, pip ve virtualenv ile inşa edilmiştir. Conda tabanlı ortamları kullanan özel görüntüler, Databricks Container Services ile desteklenmeye devam edecek, ancak not defteri kapsamlı kitaplık özelliklerine sahip olmayacak. Databricks, Databricks Container Services ve tüm not defterine özgü kütüphaneler için virtualenv tabanlı ortamların kullanılmasını önerir.

Databricks Runtime Python ortamında yapılan önemli değişiklikler için bkz. Databricks Runtime 9.0 (EoS). Yüklü Python paketlerinin ve sürümlerinin tam listesi için bkz . Python kitaplıkları.

Yükseltilen Python paketleri

  • mlflow 1.18.0 -> 1.19.0
  • nltk 3.5 -> 3.6.1

Python paketleri eklendi

  • peygamber 1.0.1

Python paketleri kaldırıldı

  • MKL
  • azure-core
  • Azure depolama bloğu
  • msrest
  • docker
  • querystring-ayrıştırıcısı
  • intel-openmp

Kullanımdan kaldırmalar ve desteklenmeyen özellikler

  • Databricks Runtime 9.0 ML'de HorovodRunner, Horovod işi için kullanılacak paralel işlemlerin sayısı olan np=0 ayarını npdesteklemez.
  • Databricks Runtime 9.0 ML, R grafik motoru sürüm 14 ile r-base 4.1.0'ı içerir. Bu, RStudio Server sürüm 1.2.x tarafından desteklenmez.
  • Databricks Runtime 9.0 ML GPU'da nvprof kaldırıldı.

Sistem ortamı

Databricks Runtime 9.0 ML'deki sistem ortamı, Databricks Runtime 9.0'dan aşağıdaki gibi farklıdır:

  • DBUtils: Databricks Runtime ML, Kitaplık yardımcı programını (dbutils.library) (eski) içermez. Bunun yerine komutları kullanın %pip . Bkz. Notebook kapsamlı Python kütüphaneleri.
  • GPU kümeleri için Databricks Runtime ML aşağıdaki NVIDIA GPU kitaplıklarını içerir:
    • CUDA 11.0
    • cuDNN 8.1.0.77
    • NCCL 2.10.3
    • TensorRT 7.2.2

Kitaplıklar

Databricks Runtime 9.0 ML'de bulunan ve Databricks Runtime 9.0'da yer alanlardan farklı olan kitaplıklar aşağıdaki bölümlerde listelenmiştir.

Bu bölümde:

Üst katman kitaplıkları

Databricks Runtime 9.0 ML aşağıdaki üst katman kitaplıklarını içerir:

Python kitaplıkları

Databricks Runtime 9.0 ML, Python paket yönetimi için Virtualenv kullanır ve birçok popüler ML paketi içerir.

Aşağıdaki bölümlerde belirtilen paketlere ek olarak Databricks Runtime 9.0 ML aşağıdaki paketleri de içerir:

  • hyperopt 0.2.5.db2
  • sparkdl 2.2.0_db1
  • feature_store 0.3.3
  • automl 1.1.1

CPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Dönen/Rolling) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
asenkron jeneratör 1.10 özellikler 20.3.0 geri arama 0.2.0
bcrypt 3.2.0 çamaşır suyu 3.3.0 boto3 1.16.7
botocore 1.19.7 Darboğaz 1.3.2 önbellek araçları 4.2.2
sertifika 2020.12.5 cffi 1.14.5 chardet 4.0.0
tıkla 7.1.2 cloudpickle (bulut serileştirme modülü) 1.6.0 cmdstanpy 0.9.68
yapılandırmaparser 5.0.1 dönüştürme tarihi 2.3.2 şifreleme 3.4.7
bisikletçi 0.10.0 Cython 0.29.23 databricks komut satırı arayüzü (CLI) 0.14.3
dbus-python 1.2.16 dekoratör 5.0.6 defusedxml modülü 0.7.1
dereotu 0.3.2 disk önbelleği 5.2.1 daistlib 0.3.2
dağıtım bilgisi 0.23ubuntu1 giriş noktaları 0,3 ephem 4.0.0.2
yönlere genel bakış 1.0.0 dosya kilidi 3.0.12 Şişe 1.1.2
FlatBuffers 1.12 fsspec 0.9.0 gelecek 0.18.2
Gast 0.4.0 gitdb 4.0.7 GitPython 3.1.12
google kimlik doğrulama 1.22.1 google-auth-oauthlib 0.4.2 Google-Pasta 0.2.0
grpcio 1.34.1 gunicorn 20.0.4 h5py 3.1.0
hijri-converter 2.1.3 Tatil 0.10.5.2 Slav halk dansı 'horovod' 0.22.1
htmlmin (HTML küçültme aracı) 0.1.12 Uluslararası Alan Adları Uygulaması (IDNA) 2.10 Görüntü Hash 4.2.1
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets (Python'da interaktif widget kütüphanesi) 7.6.4 izodat 0.6.0 bu tehlikeli 1.1.0
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib kütüphanesi 1.0.1 joblibspark 0.3.0 json şeması 3.2.0
Jupyter Client 6.1.12 Jupyter Çekirdek 4.7.1 jupyterlab-pygments 0.1.2
JupyterLab widget'leri 1.0.1 keras-nightly 2.5.0.dev2021032900 Keras-Ön İşleme 1.1.2
kiwisolver 1.3.1 Koala 1.8.1 korece-ay takvimi 0.2.1
LightGBM (açık kaynak kodlu bir makine öğrenme algoritması) 3.1.1 llvmlite 0.36.0 Ay Takvimi 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 1.1.1
matplotlib (Python için popüler bir grafik kütüphanesi) 3.4.2 missingno 0.5.0 yanlış ayar 0.8.4
mleap 0.17.0 mlflow-skinny 1.19.0 çok yöntemli 1.4
nbclient 0.5.3 nbconvert (belge dönüştürme aracı) 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 networkx 2,5 nltk 3.6.1
not defteri 6.3.0 numba 0.53.1 numpy kütüphanesi 1.19.2
oauthlib (kimlik doğrulama kütüphanesi) 3.1.0 opt-einsum 3.3.0 Ambalaj 20.9
Pandalar 1.2.4 pandas profili oluşturma 3.0.0 pandoc filtreleri 1.4.3
paramiko 2.7.2 Parso 0.7.0 Patsy 0.5.1
petastorm 0.11.1 pexpect 4.8.0 phik 0.12.0
pickleshare (Python veri saklama modülü) 0.7.5 Yastık 8.2.0 Pip 21.0.1
Plotly veri görselleştirme aracı 4.14.3 prometheus-client 0.10.1 Prompt Araç Takımı 3.0.17
peygamber 1.0.1 Protobuf 3.17.2 psutil 5.8.0
psycopg2 2.8.5 ptyprocess 0.7.0 serçe 4.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pycparser kütüphanesi 2.20
Python programlama dilinde veri doğrulama ve ayar yönetimi için kullanılan "pydantic" kütüphanesi. 1.8.2 Pygmentler 2.8.1 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.3.0 pyodbc 4.0.30
pyparsing (bir Python kütüphanesi) 2.4.7 pirsistent 0.17.3 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil (Python tarih ve saat işleme kütüphanesi) 2.8.1 python düzenleyicisi 1.0.4
pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 regex 2021.4.4 talepler 2.25.1
requests-oauthlib (bir OAuth şifreleme kütüphanesi) 1.3.0 requests-unixsocket 0.2.0 Yeniden deneniyor... 1.3.3
RSA şifreleme algoritması 4.7.2 s3transfer 0.3.7 scikit-learn 0.24.1
scipy (Python için bir bilimsel hesaplama kütüphanesi) 1.6.2 denizanadan 0.11.1 Send2Trash 1.5.0
kurulum araçları 52.0.0 setuptools-git 1,2 Şap 0.39.0
simplejson 3.17.2 Altı 1.15.0 Dilimleyici 0.0.7
smmap 3.0.5 spark-tensorflow-distributor 0.1.0 sqlparse 0.4.1
ssh-import-id—SSH kimlik aktarımı komutu 5.10 statsmodeller 0.12.2 tablolaştırmak 0.8.7
Unicode'un içinde karışıklık 0.1.0 TensorBoard aracı 2.5.0 TensorBoard veri sunucusu 0.6.1
tensorboard-plugin-wit eklentisi 1.8.0 tensorflow-cpu 2.5.0 tensorflow-estimatör 2.5.0
termcolor 1.1.0 bitmiş 0.9.4 deneme yolu 0.4.4
threadpoolctl 2.1.0 meşale 1.9.0+cpu meşale vizyonu 0.10.0+cpu
hortum 6.1 tqdm (bir Python kütüphanesi) 4.59.0 Traitlets (Python kütüphanesi/modülü) 5.0.5
yazma uzantıları 3.7.4.3 ujson (hızlı JSON işleme kütüphanesi) 4.0.2 katılımsız yükseltmeler 0,1
urllib3 1.25.11 virtualenv 20.4.1 Vizyonlar 0.7.1
wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) 0.2.5 Web kodlamaları 0.5.1 WebSocket istemcisi 0.57.0
Werkzeug 1.0.1 tekerlek 0.36.2 widgetsnbextension 3.5.1
sarıldı 1.12.1 xgboost 1.4.2

GPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Dönen/Rolling) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
asenkron jeneratör 1.10 özellikler 20.3.0 geri arama 0.2.0
bcrypt 3.2.0 çamaşır suyu 3.3.0 boto3 1.16.7
botocore 1.19.7 Darboğaz 1.3.2 önbellek araçları 4.2.2
sertifika 2020.12.5 cffi 1.14.5 chardet 4.0.0
tıkla 7.1.2 cloudpickle (bulut serileştirme modülü) 1.6.0 cmdstanpy 0.9.68
yapılandırmaparser 5.0.1 dönüştürme tarihi 2.3.2 şifreleme 3.4.7
bisikletçi 0.10.0 Cython 0.29.23 databricks komut satırı arayüzü (CLI) 0.14.3
dbus-python 1.2.16 dekoratör 5.0.6 defusedxml modülü 0.7.1
dereotu 0.3.2 disk önbelleği 5.2.1 daistlib 0.3.2
dağıtım bilgisi 0.23ubuntu1 giriş noktaları 0,3 ephem 4.0.0.2
yönlere genel bakış 1.0.0 dosya kilidi 3.0.12 Şişe 1.1.2
FlatBuffers 1.12 fsspec 0.9.0 gelecek 0.18.2
Gast 0.4.0 gitdb 4.0.7 GitPython 3.1.12
google kimlik doğrulama 1.22.1 google-auth-oauthlib 0.4.2 Google-Pasta 0.2.0
grpcio 1.34.1 gunicorn 20.0.4 h5py 3.1.0
hijri-converter 2.1.3 Tatil 0.10.5.2 Slav halk dansı 'horovod' 0.22.1
htmlmin (HTML küçültme aracı) 0.1.12 Uluslararası Alan Adları Uygulaması (IDNA) 2.10 Görüntü Hash 4.2.1
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets (Python'da interaktif widget kütüphanesi) 7.6.4 izodat 0.6.0 bu tehlikeli 1.1.0
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib kütüphanesi 1.0.1 joblibspark 0.3.0 json şeması 3.2.0
Jupyter Client 6.1.12 Jupyter Çekirdek 4.7.1 jupyterlab-pygments 0.1.2
JupyterLab widget'leri 1.0.1 keras-nightly 2.5.0.dev2021032900 Keras-Ön İşleme 1.1.2
kiwisolver 1.3.1 Koala 1.8.1 korece-ay takvimi 0.2.1
LightGBM (açık kaynak kodlu bir makine öğrenme algoritması) 3.1.1 llvmlite 0.36.0 Ay Takvimi 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 1.1.1
matplotlib (Python için popüler bir grafik kütüphanesi) 3.4.2 missingno 0.5.0 yanlış ayar 0.8.4
mleap 0.17.0 mlflow-skinny 1.19.0 çok yöntemli 1.4
nbclient 0.5.3 nbconvert (belge dönüştürme aracı) 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 networkx 2,5 nltk 3.6.1
not defteri 6.3.0 numba 0.53.1 numpy kütüphanesi 1.19.2
oauthlib (kimlik doğrulama kütüphanesi) 3.1.0 opt-einsum 3.3.0 Ambalaj 20.9
Pandalar 1.2.4 pandas profili oluşturma 3.0.0 pandoc filtreleri 1.4.3
paramiko 2.7.2 Parso 0.7.0 Patsy 0.5.1
petastorm 0.11.1 pexpect 4.8.0 phik 0.12.0
pickleshare (Python veri saklama modülü) 0.7.5 Yastık 8.2.0 Pip 21.0.1
Plotly veri görselleştirme aracı 4.14.3 prometheus-client 0.11.0 Prompt Araç Takımı 3.0.17
peygamber 1.0.1 Protobuf 3.17.2 psutil 5.8.0
psycopg2 2.8.5 ptyprocess 0.7.0 serçe 4.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pycparser kütüphanesi 2.20
Python programlama dilinde veri doğrulama ve ayar yönetimi için kullanılan "pydantic" kütüphanesi. 1.8.2 Pygmentler 2.8.1 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.3.0 pyodbc 4.0.30
pyparsing (bir Python kütüphanesi) 2.4.7 pirsistent 0.17.3 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil (Python tarih ve saat işleme kütüphanesi) 2.8.1 python düzenleyicisi 1.0.4
pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 regex 2021.4.4 talepler 2.25.1
requests-oauthlib (bir OAuth şifreleme kütüphanesi) 1.3.0 requests-unixsocket 0.2.0 Yeniden deneniyor... 1.3.3
RSA şifreleme algoritması 4.7.2 s3transfer 0.3.7 scikit-learn 0.24.1
scipy (Python için bir bilimsel hesaplama kütüphanesi) 1.6.2 denizanadan 0.11.1 Send2Trash 1.5.0
kurulum araçları 52.0.0 setuptools-git 1,2 Şap 0.39.0
simplejson 3.17.2 Altı 1.15.0 Dilimleyici 0.0.7
smmap 3.0.5 spark-tensorflow-distributor 0.1.0 sqlparse 0.4.1
ssh-import-id—SSH kimlik aktarımı komutu 5.10 statsmodeller 0.12.2 tablolaştırmak 0.8.7
Unicode'un içinde karışıklık 0.1.0 TensorBoard aracı 2.5.0 TensorBoard veri sunucusu 0.6.1
tensorboard-plugin-wit eklentisi 1.8.0 TensorFlow 2.5.0 tensorflow-estimatör 2.5.0
termcolor 1.1.0 bitmiş 0.9.4 deneme yolu 0.4.4
threadpoolctl 2.1.0 meşale 1.9.0+cu111 meşale vizyonu 0.10.0+cu111
hortum 6.1 tqdm (bir Python kütüphanesi) 4.59.0 Traitlets (Python kütüphanesi/modülü) 5.0.5
yazma uzantıları 3.7.4.3 ujson (hızlı JSON işleme kütüphanesi) 4.0.2 katılımsız yükseltmeler 0,1
urllib3 1.25.11 virtualenv 20.4.1 Vizyonlar 0.7.1
wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) 0.2.5 Web kodlamaları 0.5.1 WebSocket istemcisi 0.57.0
Werkzeug 1.0.1 tekerlek 0.36.2 widgetsnbextension 3.5.1
sarıldı 1.12.1 xgboost 1.4.2

Python modülleri içeren Spark paketleri

Spark Paketi Python Modülü Sürüm
GraphFrames GraphFrames 0.8.1-db3-spark3.1

R kütüphaneleri

R kitaplıkları Databricks Runtime 9.0'daki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.12 kümesi)

Databricks Runtime 9.0'daki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 9.0 ML aşağıdaki JAR'leri içerir:

CPU kümeleri

Grup Kimliği Nesne Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.17.0-4882dc3
ml.dmlc xgboost4j-spark_2.12 1.4.1
ml.dmlc xgboost4j_2.12 1.4.1
org.graphframes graphframes_2.12 0.8.1-db2-spark3.1
org.mlflow mlflow-client 1.19.0
org.mlflow mlflow-spark 1.19.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU kümeleri

Grup Kimliği Nesne Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.17.0-4882dc3
ml.dmlc xgboost4j-gpu_2.12 1.4.1
ml.dmlc xgboost4j-spark-gpu_2.12 1.4.1
org.graphframes graphframes_2.12 0.8.1-db2-spark3.1
org.mlflow mlflow-client 1.19.0
org.mlflow mlflow-spark 1.19.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0