Aracılığıyla paylaş

ML için Databricks Runtime 10.1 (EoS)

Not

Bu Databricks Runtime sürümü desteği sona erdi. Destek sonu tarihi için bkz . Destek sonu geçmişi. Desteklenen tüm Databricks Runtime sürümleri için bkz. Databricks Runtime sürüm notları ve uyumluluğu.

Machine Learning için Databricks Runtime 10.1, Databricks Runtime 10.1 'i (EoS) temel alan makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. Databricks Runtime ML, TensorFlow, PyTorch ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Horovod kullanarak dağıtılmış derin öğrenme eğitimini de destekler.

Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te yapay zeka ve makine öğrenmesi.

Yeni özellikler ve geliştirmeler

Databricks Runtime 10.1 ML, Databricks Runtime 10.1'in üzerine kurulmuştur. Apache Spark MLlib ve SparkR dahil olmak üzere Databricks Runtime 10.1'deki yenilikler hakkında bilgi için Databricks Runtime 10.1 (EoS) sürüm notlarına bakın.

AutoML geliştirmeleri

Databricks Runtime 10.1'de AutoML geliştirilmiş anlamsal tür algılama, eğitim sırasında olası veri sorunları için yeni uyarılar, fazla uygunluk modellerini önlemeye yönelik yeni özellikler ve giriş veri kümesini kronolojik olarak eğitme, doğrulama ve test kümelerine bölme olanağı içerir.

Ek anlamsal tür algılamaları

AutoML artık ek anlamsal tür algılamayı destekliyor:

  • Kategorik etiketler içeren sayısal sütunlar kategorik tür olarak değerlendirilir.
  • İngilizce metin içeren dize sütunları bir metin özelliği olarak değerlendirilir.

Artık bir sütun veri türü belirtmek için ek açıklamalar da ekleyebilirsiniz. Ayrıntılar için bkz . Anlam türü algılama.

Olası veri sorunları için eğitim sırasında uyarılar

AutoML artık veri kümesiyle ilgili olası sorunlar için uyarılar algılar ve oluşturur. Örnek uyarılar desteklenmeyen sütun türleri ve yüksek kardinalite sütunlarıdır. Bu uyarılar, deneme sayfasında yeni Uyarılar sekmesinin altında görüntülenir. Uyarılarla ilgili ek bilgiler veri araştırma not defterine eklenir. Daha fazla bilgi için bkz . Denemeyi çalıştırma ve sonuçları izleme.

Azaltılmış model aşırı uyumu

İki yeni özellik, AutoML kullanılırken bir modelin aşırı öğrenme olasılığını azaltır.

  • AutoML artık test ölçümlerini doğrulama ve eğitim ölçümlerine ek olarak rapor ediyor.
  • AutoML artık erken durdurmayı kullanıyor. Doğrulama ölçümü artık iyileştirilmemişse modelleri eğitip ayarlamayı durdurur.

Veri kümesini kronolojik olarak eğitim/doğrulama/test kümelerine bölün

Sınıflandırma ve regresyon sorunları için veri kümesini kronolojik olarak eğitme, doğrulama ve test kümelerine bölebilirsiniz. Verileri eğitim, doğrulama ve test kümelerine bölme için ayrıntılara bkz.

Databricks Özellik Deposu geliştirmeleri

Databricks Özellik Deposu artık özellik tabloları için ek veri türlerini destekliyor: BinaryType, DecimalTypeve MapType.

Mlflow

Aşağıdaki geliştirmeler Databricks Runtime 10.1 ML'de bulunan MLflow sürüm 1.21.0'dan itibaren kullanılabilir.

  • Model çeşidini, fastai fastai v2'yi (2.4.1 ve üzeri) destekleyecek şekilde yükseltin.
  • [Modeller] Prophet zaman serisi modelleri için mlflow.prophet model türünü tanıtın.
  • [Puanlama] Tarih benzeri dizeleri yanlış bir şekilde datetime nesnelerine dönüştüren şema zorlama hatasını düzeltin.

Hyperopt

SparkTrials, early_stopping_fn için fmin parametresini şimdi destekliyor. Hyperopt'un maksimum değerlendirme sayısına ulaşmadan önce hiper parametre ayarlamasını durdurması gereken koşulları belirtmek için erken durdurma işlevini kullanabilirsiniz. Örneğin, hedef fonksiyonu artık azalmadığı durumda ayar yapmayı sonlandırmak için bu parametreyi kullanabilirsiniz. Ayrıntılar için bkz. fmin().

Databricks Runtime ML Python ortamında önemli değişiklikler

Yükseltilen Python paketleri

  • automl 1.3.1 => 1.4.1
  • feature_store 0.3.4 => 0.3.5
  • tatiller 0.11.2 => 0.11.3.1
  • horovod 0.22.1 => 0.23.0
  • hyperopt 0.2.5.db2 => 0.2.5.db4
  • dengesiz-öğrenme 0.8.0 => 0.8.1
  • lightgbm 3.1.1 => 3.3.0
  • mlflow 1.20.2 => 1.21.0
  • petastorm 0.11.2 => 0.11.3
  • çizim 5.1.0 => 5.3.0
  • pytorch 1.9.0 => 1.9.1
  • spacy 3.1.2 => 3.1.3
  • sparkdl 2.2.0_db3 => 2.2.0_db4
  • torchvision 0.10.0 => 0.10.1
  • transformatörler 4.9.2 => 4.11.3

Python paketleri eklendi

  • fasttext => 0.9.2
  • tensorboard-plugin-profile => 2.5.0

Kullanımdan kaldırılan özellikler

MLlib otomatik MLflow izleme , Databricks Runtime 10.1 ML ve üzerini çalıştıran kümelerde kullanım dışıdır. Bunun yerine MLflow PySpark ML otomatik kaydetme'yi mlflow.pyspark.ml.autolog() kullanarak çağırın. Otomatik kaydetme, Databricks Autologging ile varsayılan olarak etkinleştirilir.

Sistem ortamı

Databricks Runtime 10.1 ML'deki sistem ortamı, Databricks Runtime 10.1'den aşağıdaki gibi farklıdır:

  • DBUtils: Databricks Runtime ML, Kitaplık yardımcı programını (dbutils.library) (eski) içermez. Bunun yerine komutları kullanın %pip . Bkz. Defter kapsamalı Python kitaplıkları.
  • GPU kümeleri için Databricks Runtime ML aşağıdaki NVIDIA GPU kitaplıklarını içerir:
    • CUDA 11.0
    • cuDNN 8.0.5.39
    • NCCL 2.10.3
    • TensorRT 7.2.2

Kitaplıklar

Databricks Runtime 10.1 ML'de yer alan ve Databricks Runtime 10.1'dekilerden farklı olan kitaplıklar, aşağıdaki bölümlerde listelenmiştir.

Bu bölümde:

Üst katman kitaplıkları

Databricks Runtime 10.1 ML aşağıdaki üst katman kitaplıklarını içerir:

Python kitaplıkları

Databricks Runtime 10.1 ML, Python paket yönetimi için Virtualenv kullanır ve birçok popüler ML paketi içerir.

Aşağıdaki bölümlerde belirtilen paketlere ek olarak Databricks Runtime 10.1 ML aşağıdaki paketleri de içerir:

  • hyperopt 0.2.5.db4
  • sparkdl 2.2.0-db4
  • feature_store 0.3.5
  • automl 1.4.0

Not

Databricks Runtime 10.1 ML, uyumsuzluk sorunları nedeniyle sürüm 1.0 yerine scikit-learn sürüm 0.24'e sahiptir. scikit-learn paketi Databricks Runtime 10.1 ML'deki diğer birçok paketle etkileşim kurar.

scikit-learn sürüm 1.0'a yükseltebilirsiniz; ancak Databricks bu sürümü desteklemez.

Yükseltmek için not defteri kapsamlı kitaplıkları kullanın. Not defterinden komutunu çalıştırın %pip install --upgrade "scikit-learn>=1.0,<1.1".

Alternatif olarak bu küme başlatma betiğini kullanabilirsiniz:

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

CPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Dönen/Rolling) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
eşzamansız üreteç 1.10 özellikler 20.3.0 geri arama 0.2.0
bcrypt 3.2.0 çamaşır suyu 3.3.0 mutluluk 0.7.4
boto3 1.16.7 botocore 1.19.7 önbellek araçları 4.2.4
katalog 2.0.6 sertifikalı 2020.12.5 cffi 1.14.5
chardet 4.0.0 clang 5.0 tıkla 7.1.2
cloudpickle (bulut serileştirme modülü) 1.6.0 cmdstanpy 0.9.68 ConfigParser 5.0.1
dönüştürme tarihi 2.3.2 şifreleme 3.4.7 bisikletçi 0.10.0
cymem 2.0.5 Cython 0.29.23 databricks-automl-runtime 0.2.3
databricks komut satırı arayüzü (CLI) 0.14.3 dbus-python 1.2.16 dekoratör 5.0.6
defusedxml modülü 0.7.1 dereotu 0.3.2 disk önbelleği 5.2.1
daistlib 0.3.3 dağıtım bilgisi 0.23ubuntu1 giriş noktaları 0,3
ephem 4.1 yönlere genel bakış 1.0.0 fasttext (hızlı metin işleme kütüphanesi) 0.9.2
dosya kilidi 3.0.12 Şişe 1.1.2 FlatBuffers 1.12
fsspec 0.9.0 gelecek 0.18.2 Misafir 0.4.0
gitdb 4.0.7 GitPython 3.1.12 google kimlik doğrulama 1.22.1
google-auth-oauthlib 0.4.2 Google-Pasta 0.2.0 grpcio 1.39.0
gunicorn 20.0.4 gviz-api 1.10.0 h5py 3.1.0
hijri-converter 2.2.2 Tatil 0.11.3.1 Slav halk dansı 'horovod' 0.23.0
htmlmin (HTML küçültme aracı) 0.1.12 huggingface-hub (Hugging Face merkezi) 0.0.19 Uluslararası Alan Adları Uygulaması (IDNA) 2.10
Görüntü Hash 4.2.1 dengesiz-öğrenme 0.8.1 importlib-metadata 3.10.0
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets (Python'da interaktif widget kütüphanesi) 7.6.3 izodat 0.6.0 bu tehlikeli 1.1.0
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib kütüphanesi 1.0.1 joblibspark 0.3.0 JSON şeması 3.2.0
Jupyter Client 6.1.12 Jupyter Çekirdek 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab pencere öğeleri 1.0.0 Keras 2.6.0 Keras-Ön İşleme 1.1.2
kiwisolver 1.3.1 Koala 1.8.2 korece-ay takvimi 0.2.1
LightGBM (açık kaynak kodlu bir makine öğrenme algoritması) 3.3.0 llvmlite 0.37.0 Ay Takvimi 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib (Python için popüler bir grafik kütüphanesi) 3.4.2 missingno 0.5.0 yanlış akort etmek 0.8.4
mleap 0.18.1 mlflow-skinny 1.21.0 çoklu yöntem 1.6
MurmurHash 1.0.5 nbclient 0.5.3 nbconvert (belge dönüştürme aracı) 6.0.7
nbformat 5.1.3 nest-asyncio 1.5.1 networkx 2,5
nltk 3.6.1 not defteri 6.3.0 numba 0.54.1
numpy kütüphanesi 1.19.2 oauthlib (kimlik doğrulama kütüphanesi) 3.1.0 opt-einsum 3.3.0
Ambalaj 20.9 Pandalar 1.2.4 pandas profili oluşturma 3.1.0
pandoc filtreleri 1.4.3 paramiko 2.7.2 Parso 0.7.0
hastalık 0.6.0 Patsy 0.5.1 petastorm 0.11.3
pexpect 4.8.0 phik 0.12.0 pickleshare (Python veri saklama modülü) 0.7.5
Yastık 8.2.0 Pip 21.0.1 çizim 5.3.0
önceden gösterilmiş 3.0.5 prometheus-client 0.10.1 Prompt Araç Takımı 3.0.17
peygamber 1.0.1 Protobuf 3.17.2 psutil 5.8.0
psycopg2 2.8.5 ptyprocess 0.7.0 serçe 4.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.8.0
pycparser kütüphanesi 2.20 Python programlama dilinde veri doğrulama ve ayar yönetimi için kullanılan "pydantic" kütüphanesi. 1.8.2 Pygmentler 2.8.1
PyGObject 3.36.0 PyMeeus 0.5.11 PyNaCl 1.4.0
pyodbc 4.0.30 pyparsing (bir Python kütüphanesi) 2.4.7 pirsistent 0.17.3
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil (Python tarih ve saat işleme kütüphanesi) 2.8.1
python düzenleyicisi 1.0.4 pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) 2020.5 PyWavelets 1.1.1
PyYAML 5.4.1 pyzmq 20.0.0 regex 2021.4.4
istekler 2.25.1 requests-oauthlib (bir OAuth şifreleme kütüphanesi) 1.3.0 requests-unixsocket 0.2.0
RSA şifreleme algoritması 4.7.2 s3transfer 0.3.7 sacremoses 0.0.46
scikit-learn 0.24.1 scipy (Python için bir bilimsel hesaplama kütüphanesi) 1.6.2 denizanadan 0.11.1
Send2Trash 1.5.0 kurulum araçları 52.0.0 setuptools-git 1,2
Shap 0.39.0 simplejson 3.17.2 Altı 1.15.0
Dilimleyici 0.0.7 akıllı dosya açma 5.2.0 smmap 3.0.5
geniş 3.1.3 spacy-legacy (bir yazılım kütüphanesi veya araç adı olabilir) 3.0.8 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.1 Harbi mi? 2.4.1 ssh-import-id—SSH kimlik aktarımı komutu 5.10
statsmodeller 0.12.2 tablolamak 0.8.7 Unicode ile karmaşık hale gelmiş 0.1.0
Azim 6.2.0 TensorBoard aracı 2.6.0 tensorboard veri sunucusu 0.6.1
tensorboard-plugin-profile (TensorBoard eklenti profili) 2.5.0 tensorboard-plugin-wit eklentisi 1.8.0 tensorflow-cpu 2.6.0
tensorflow-estimatör 2.6.0 termcolor 1.1.0 tamamlandı 0.9.4
testyolu 0.4.4 thinc 8.0.9 threadpoolctl 2.1.0
belirtekleyiciler 0.10.3 meşale 1.9.1+cpu meşale vizyonu 0.10.1+cpu
kasırga 6.1 tqdm (bir Python kütüphanesi) 4.59.0 Traitlets (Python kütüphanesi/modülü) 5.0.5
dönüştürücüler 4.11.3 Typer 0.3.2 yazma uzantıları 3.7.4.3
ujson (hızlı JSON işleme kütüphanesi) 4.0.2 katılımsız yükseltmeler 0,1 urllib3 1.25.11
virtualenv 20.4.1 Vizyonlar 0.7.4 Wasabi 0.8.2
wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) 0.2.5 web kodlamaları 0.5.1 WebSocket istemcisi 0.57.0
Werkzeug 1.0.1 tekerlek 0.36.2 widgetsnbextension 3.5.1
sarılı 1.12.1 xgboost 1.4.2 fermuar çek 3.4.1

GPU kümelerinde Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Dönen/Rolling) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
eşzamansız üreteç 1.10 özellikler 20.3.0 geri arama 0.2.0
bcrypt 3.2.0 çamaşır suyu 3.3.0 mutluluk 0.7.4
boto3 1.16.7 botocore 1.19.7 önbellek araçları 4.2.4
katalog 2.0.6 sertifikalı 2020.12.5 cffi 1.14.5
chardet 4.0.0 clang 5.0 tıkla 7.1.2
cloudpickle (bulut serileştirme modülü) 1.6.0 cmdstanpy 0.9.68 ConfigParser 5.0.1
dönüştürme tarihi 2.3.2 şifreleme 3.4.7 bisikletçi 0.10.0
cymem 2.0.5 Cython 0.29.23 databricks-automl-runtime 0.2.3
databricks komut satırı arayüzü (CLI) 0.14.3 dbus-python 1.2.16 dekoratör 5.0.6
defusedxml modülü 0.7.1 dereotu 0.3.2 disk önbelleği 5.2.1
daistlib 0.3.3 dağıtım bilgisi 0.23ubuntu1 giriş noktaları 0,3
ephem 4.1 yönlere genel bakış 1.0.0 fasttext (hızlı metin işleme kütüphanesi) 0.9.2
dosya kilidi 3.0.12 Şişe 1.1.2 FlatBuffers 1.12
fsspec 0.9.0 gelecek 0.18.2 Misafir 0.4.0
gitdb 4.0.7 GitPython 3.1.12 google kimlik doğrulama 1.22.1
google-auth-oauthlib 0.4.2 Google-Pasta 0.2.0 grpcio 1.39.0
gunicorn 20.0.4 gviz-api 1.10.0 h5py 3.1.0
hijri-converter 2.2.2 Tatil 0.11.3.1 Slav halk dansı 'horovod' 0.23.0
htmlmin (HTML küçültme aracı) 0.1.12 huggingface-hub (Hugging Face merkezi) 0.0.19 Uluslararası Alan Adları Uygulaması (IDNA) 2.10
Görüntü Hash 4.2.1 dengesiz-öğrenme 0.8.1 importlib-metadata 3.10.0
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets (Python'da interaktif widget kütüphanesi) 7.6.3 izodat 0.6.0 bu tehlikeli 1.1.0
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib kütüphanesi 1.0.1 joblibspark 0.3.0 JSON şeması 3.2.0
Jupyter Client 6.1.12 Jupyter Çekirdek 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab pencere öğeleri 1.0.0 Keras 2.6.0 Keras-Ön İşleme 1.1.2
kiwisolver 1.3.1 Koala 1.8.2 korece-ay takvimi 0.2.1
LightGBM (açık kaynak kodlu bir makine öğrenme algoritması) 3.3.0 llvmlite 0.37.0 Ay Takvimi 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib (Python için popüler bir grafik kütüphanesi) 3.4.2 missingno 0.5.0 yanlış akort etmek 0.8.4
mleap 0.18.1 mlflow-skinny 1.21.0 çoklu yöntem 1.6
MurmurHash 1.0.5 nbclient 0.5.3 nbconvert (belge dönüştürme aracı) 6.0.7
nbformat 5.1.3 nest-asyncio 1.5.1 networkx 2,5
nltk 3.6.1 not defteri 6.3.0 numba 0.54.1
numpy kütüphanesi 1.19.2 oauthlib (kimlik doğrulama kütüphanesi) 3.1.0 opt-einsum 3.3.0
Ambalaj 20.9 Pandalar 1.2.4 pandas profili oluşturma 3.1.0
pandoc filtreleri 1.4.3 paramiko 2.7.2 Parso 0.7.0
hastalık 0.6.0 Patsy 0.5.1 petastorm 0.11.3
pexpect 4.8.0 phik 0.12.0 pickleshare (Python veri saklama modülü) 0.7.5
Yastık 8.2.0 Pip 21.0.1 çizim 5.3.0
önceden gösterilmiş 3.0.5 Prompt Araç Takımı 3.0.17 peygamber 1.0.1
Protobuf 3.17.2 psutil 5.8.0 psycopg2 2.8.5
ptyprocess 0.7.0 serçe 4.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.8.1 pycparser kütüphanesi 2.20
Python programlama dilinde veri doğrulama ve ayar yönetimi için kullanılan "pydantic" kütüphanesi. 1.8.2 Pygmentler 2.8.1 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.4.0 pyodbc 4.0.30
pyparsing (bir Python kütüphanesi) 2.4.7 pirsistent 0.17.3 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil (Python tarih ve saat işleme kütüphanesi) 2.8.1 python düzenleyicisi 1.0.4
pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 regex 2021.4.4 istekler 2.25.1
requests-oauthlib (bir OAuth şifreleme kütüphanesi) 1.3.0 requests-unixsocket 0.2.0 RSA şifreleme algoritması 4.7.2
s3transfer 0.3.7 sacremoses 0.0.46 scikit-learn 0.24.1
scipy (Python için bir bilimsel hesaplama kütüphanesi) 1.6.2 denizanadan 0.11.1 Send2Trash 1.5.0
kurulum araçları 52.0.0 setuptools-git 1,2 Shap 0.39.0
simplejson 3.17.2 Altı 1.15.0 Dilimleyici 0.0.7
akıllı dosya açma 5.2.0 smmap 3.0.5 geniş 3.1.3
spacy-legacy (bir yazılım kütüphanesi veya araç adı olabilir) 3.0.8 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.1
Harbi mi? 2.4.1 ssh-import-id—SSH kimlik aktarımı komutu 5.10 statsmodeller 0.12.2
tablolamak 0.8.7 Unicode ile karmaşık hale gelmiş 0.1.0 Azim 6.2.0
TensorBoard aracı 2.6.0 tensorboard veri sunucusu 0.6.1 tensorboard-plugin-profile (TensorBoard eklenti profili) 2.5.0
tensorboard-plugin-wit eklentisi 1.8.0 TensorFlow 2.6.0 tensorflow-estimatör 2.6.0
termcolor 1.1.0 tamamlandı 0.9.4 testyolu 0.4.4
thinc 8.0.9 threadpoolctl 2.1.0 belirtekleyiciler 0.10.3
meşale 1.9.1+cu111 meşale vizyonu 0.10.1+cu111 kasırga 6.1
tqdm (bir Python kütüphanesi) 4.59.0 Traitlets (Python kütüphanesi/modülü) 5.0.5 dönüştürücüler 4.11.3
Typer 0.3.2 yazma uzantıları 3.7.4.3 ujson (hızlı JSON işleme kütüphanesi) 4.0.2
katılımsız yükseltmeler 0,1 urllib3 1.25.11 virtualenv 20.4.1
Vizyonlar 0.7.4 Wasabi 0.8.2 wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) 0.2.5
web kodlamaları 0.5.1 WebSocket istemcisi 0.57.0 Werkzeug 1.0.1
tekerlek 0.36.2 widgetsnbextension 3.5.1 sarılı 1.12.1
xgboost 1.4.2 fermuar çek 3.4.1

Python modülleri içeren Spark paketleri

Spark Paketi Python Modülü Sürüm
GraphFrames GraphFrames 0.8.2-db1-spark3.2

R kütüphaneleri

R kitaplıkları Databricks Runtime 10.1'deki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.12 kümesi)

Databricks Runtime 10.1'deki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 10.1 ML aşağıdaki JAR'leri içerir:

CPU kümeleri

Grup Kimliği Eser Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.17.0-4882dc3
ml.dmlc xgboost4j-spark_2.12 1.4.1
ml.dmlc xgboost4j_2.12 1.4.1
org.graphframes graphframes_2.12 0.8.1-db6-spark3.2
org.mlflow mlflow-client 1.20.2
org.mlflow mlflow-spark 1.20.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU kümeleri

Grup Kimliği Eser Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-gpu_2.12 1.4.1
ml.dmlc xgboost4j-spark-gpu_2.12 1.4.1-spark3.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.21.0
org.mlflow mlflow-spark 1.21.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on