Databricks Runtime 11.3 LTS per Machine Learning (EoS)

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Fine del supporto e cronologia di fine vita. Per tutte le versioni supportate di Databricks Runtime, vedere note di rilascio di Databricks Runtime: versioni e compatibilità.

Databricks Runtime 11.3 LTS per Machine Learning offre un ambiente prontoto-go per machine learning e data science basato su Databricks Runtime 11.3 LTS (EoS). Databricks Runtime per Machine Learning contiene molte di queste librerie, tra cui TensorFlow, PyTorch, Keras e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Databricks Runtime ML supporta inoltre il training di Deep Learning distribuito tramite Horovod.

Nota

LTS indica che questa versione è supportata a lungo termine. Vedere Ciclo di vita della versione LTS di Databricks Runtime.

Per altre informazioni, incluse le istruzioni per la creazione di un cluster Databricks Runtime ML, vedere IA e Machine Learning in Azure Databricks.

Miglioramenti e nuove funzionalità

Databricks Runtime 11.3 LTS ML è basato su Databricks Runtime 11.3 LTS. Per informazioni sulle novità di Databricks Runtime 11.3 LTS, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 11.3 LTS (EoS).

Miglioramenti a AutoML

AutoML supporta ora l'uso delle tabelle delle caratteristiche esistenti del Feature Store nei tuoi esperimenti AutoML. Per informazioni dettagliate, vedere Integrazione dell'archivio funzionalità AutoML.

I notebook di valutazione generati da AutoML contengono ora frammenti di codice che consentono agli utenti di eseguire di nuovo l'ottimizzazione degli iperparametri.

AutoML supporta ora le funzionalità DecimalType.

Correzioni di bug

Databricks Runtime 11.3 LTS ML include una versione aggiornata di sparkdl.xgboost. Le versioni precedenti di sparkdl.xgboost contengono bug corretti in questa versione, quindi Databricks consiglia agli utenti della libreria di eseguire l'aggiornamento a Databricks Runtime 11.3 LTS ML.

Preparatevi per i rilasci futuri

Una versione futura di Databricks Runtime ML includerà sklearn versione 1.0. Consultare la sklearndocumentazione per informazioni su come prepararsi a questa modifica.

Databricks Runtime ML contiene due pacchetti openblas. Il pacchetto /opt/OpenBLAS è deprecato in Databricks Runtime 11.3 LTS ML e verrà rimosso in una versione futura.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 11.3 LTS ML differisce da Databricks Runtime 11.3 LTS come indicato di seguito:

Databricks Runtime 11.3 LTS ML include XGBoost 1.6.1, che non supporta cluster GPU con funzionalità di calcolo 5.2 e versioni precedenti.

Librerie

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 11.3 LTS ML diverse da quelle incluse in Databricks Runtime 11.3 LTS.

Contenuto della sezione:

Librerie di livello superiore

Databricks Runtime 11.3 LTS ML include le librerie di livello superiore seguenti:

librerie Python

Databricks Runtime 11.3 LTS ML usa Virtualenv per la gestione dei pacchetti Python e include molti pacchetti di Machine Learning più diffusi.

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 11.3 LTS ML include anche i pacchetti seguenti:

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • feature_store 0.7.0
  • automl 1.13.2

Per riprodurre l'ambiente Python ml di Databricks Runtime nell'ambiente virtuale Python locale, scaricare il file requirements-11.3.txt ed eseguire pip install -r requirements-11.3.txt. Questo comando installa tutte le librerie di open source usate da Databricks Runtime ML, ma non installa librerie sviluppate da Databricks, ad esempio databricks-automl, databricks-feature-store o il fork databricks di hyperopt.

librerie Python sui cluster di CPU

Biblioteca Versione Biblioteca Versione Biblioteca Versione
absl-py 1.0.0 argon2-cffi 20.1.0 Astor 0.8.1
astunparse 1.6.3 generatore asincrono 1.10 att. 21.2.0
azure-core 1.22.1 azure-cosmos 4.2.0 chiamata di ritorno 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 nero 22.3.0
candeggiare 4.0.0 blis 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools (strumento per la gestione della cache) 5.2.0 catalogo 2.0.8
certificato 2021.10.8 cffi 1.14.6 chardet 4.0.0
normalizzatore di set di caratteri 2.0.4 clic 8.0.3 cloudpickle (libreria Python per la serializzazione degli oggetti) 2.0.0
cmdstanpy 0.9.68 dolce 0.0.1 configparser (analizzatore di configurazione) 5.2.0
convertdate 2.4.0 criptografia 3.4.8 ciclatore 0.10.0
cymem 2.0.6 Cython, un linguaggio di programmazione 0.29.24 databricks-automl-runtime 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 decoratore 5.1.0 defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) 0.7.1
aneto 0.3.4 cache del disco 5.4.0 distlib 0.3.6
punti di ingresso 0,3 ephem 4.1.3 panoramica-delle-facce 1.0.0
fasttext 0.9.2 blocco dei file 3.3.1 Fiaschetta 1.1.2
FlatBuffers 1.12 fsspec 2021.8.1 futuro 0.18.2
Gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth (autenticazione Google) 2.6.0 google-auth-oauthlib 0.4.6 Google Pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 hijri-converter 2.2.4 vacanze 0.15
Horovod 0.25.0 htmlmin (strumento per la minimizzazione del codice HTML) 0.1.12 huggingface-hub 0.9.1
IDNA 3.2 ImageHash 4.3.0 imbalanced-learn (una libreria di apprendimento automatico per la gestione dei set di dati sbilanciati) 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets (una libreria Python per widget interattivi) 7.7.0 isodate 0.6.1
it’s dangerous 2.0.1 jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.9.0
Keras-Preprocessing 1.1.2 kiwisolver 1.3.1 calendario lunare coreano 0.3.1
codici linguistici 3.3.0 libclang 14.0.6 lightgbm 3.3.2
llvmlite 0.37.0 Calendario Lunare 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 missingno 0.5.1 Mistune 0.8.4
mleap 0.20.0 mlflow versione leggera 1.29.0 multimetodo 1.9
algoritmo di hashing murmurhash 1.0.8 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk (Natural Language Toolkit) 3.6.5 taccuino 6.4.5
numba 0.54.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 imballaggio 21.0 Panda 1.3.4
pandas-profiling 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 pathspec 0.9.0 patia 0.6.2
sfigato 0.5.2 Petastorm 0.11.4 pexpect 4.8.0
phik 0.12.2 pickleshare (libreria di software Python) 0.7.5 cuscino 8.4.0
seme 21.2.4 platformdirs 2.5.2 plotly (software di visualizzazione dati) 5.9.0
pmdarima 1.8.5 (Note: Without context, a definitive improved translation cannot be accurately proposed). 3.0.7 prometheus-client 0.11.0
prompt-toolkit 3.0.20 profeta 1.0.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.0 pycparser (un parser scritto in Python) 2.20 pydantic 1.9.2
Pygments 2.10.0 PyGObject 3.36.0 PyJWT 2.5.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pyrsistent 0.18.0 pystan 2.19.1.1
python-dateutil (libreria Python per la gestione delle date) 2.8.2 Editor di Python 1.0.4 pytz 2021.3
PyWavelets 1.1.1 PyYAML 6.0 pyzmq 22.2.1
regex 2021.8.3 richieste 2.26.0 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 RSA 4.9 s3transfer 0.5.2
scikit-learn 0.24.2 scipy 1.7.1 Seaborn 0.11.3
Send2Trash 1.8.0 setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 58.0.4 setuptools-git 1,2
forma 0.41.0 simplejson 3.17.6 sei 1.16.0
strumento di taglio 0.0.7 smart-open 5.2.1 smmap 5.0.0
spazioso 3.4.1 spacy-legacy 3.0.10 spacy-loggers 1.0.3
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 seriamente? 2.4.4
ssh-import-id (comando per l'importazione di chiavi SSH) 5.10 statsmodels 0.12.2 tabulare 0.8.9
intrappolato-nell-unicode 0.1.0 tenacia 8.0.1 TensorBoard 2.9.1
server di dati di TensorBoard 0.6.1 plugin di profilazione per tensorboard 2.8.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.9.1 Stima di tensore tensorflow 2.9.0 tensorflow-io-gcs-filesystem 0.27.0
termcolor 2.0.1 terminato 0.9.4 percorso di test 0.5.0
thinc 8.1.2 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizzatori 0.12.1 tomli 2.0.1 torcia 1.12.1+CPU
visione della torcia 0.13.1+CPU tornado 6.1 tqdm 4.62.3
traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.1.0 trasformatori 4.21.2 Typer 0.4.2
tipizzazione di estensioni 3.10.0.2 ujson (una libreria per la gestione di JSON in Python) 4.0.2 aggiornamenti non presidiati 0,1
urllib3 1.26.7 virtualenv 20.8.0 visioni 0.7.4
wasabi 0.10.1 wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5 codifiche web 0.5.1
cliente WebSocket 1.3.1 attrezzo 2.0.2 ruota 0.37.0
widgetsnbextension 3.6.0 avvolto / assorto 1.12.1 xgboost 1.6.2
Zipp 3.6.0

librerie Python nei cluster GPU

Biblioteca Versione Biblioteca Versione Biblioteca Versione
absl-py 1.0.0 argon2-cffi 20.1.0 Astor 0.8.1
astunparse 1.6.3 generatore asincrono 1.10 att. 21.2.0
azure-core 1.22.1 azure-cosmos 4.2.0 chiamata di ritorno 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 nero 22.3.0
candeggiare 4.0.0 blis 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools (strumento per la gestione della cache) 5.2.0 catalogo 2.0.8
certificato 2021.10.8 cffi 1.14.6 chardet 4.0.0
normalizzatore di set di caratteri 2.0.4 clic 8.0.3 cloudpickle (libreria Python per la serializzazione degli oggetti) 2.0.0
cmdstanpy 0.9.68 dolce 0.0.1 configparser (analizzatore di configurazione) 5.2.0
convertdate 2.4.0 criptografia 3.4.8 ciclatore 0.10.0
cymem 2.0.6 Cython, un linguaggio di programmazione 0.29.24 databricks-automl-runtime 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 decoratore 5.1.0 defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) 0.7.1
aneto 0.3.4 cache del disco 5.4.0 distlib 0.3.6
punti di ingresso 0,3 ephem 4.1.3 panoramica-delle-facce 1.0.0
fasttext 0.9.2 blocco dei file 3.3.1 Fiaschetta 1.1.2
FlatBuffers 1.12 fsspec 2021.8.1 futuro 0.18.2
Gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth (autenticazione Google) 2.6.0 google-auth-oauthlib 0.4.6 Google Pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 hijri-converter 2.2.4 vacanze 0.15
Horovod 0.25.0 htmlmin (strumento per la minimizzazione del codice HTML) 0.1.12 huggingface-hub 0.9.1
IDNA 3.2 ImageHash 4.3.0 imbalanced-learn (una libreria di apprendimento automatico per la gestione dei set di dati sbilanciati) 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets (una libreria Python per widget interattivi) 7.7.0 isodate 0.6.1
it’s dangerous 2.0.1 jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.9.0
Keras-Preprocessing 1.1.2 kiwisolver 1.3.1 calendario lunare coreano 0.3.1
codici linguistici 3.3.0 libclang 14.0.6 lightgbm 3.3.2
llvmlite 0.37.0 Calendario Lunare 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 missingno 0.5.1 Mistune 0.8.4
mleap 0.20.0 mlflow versione leggera 1.29.0 multimetodo 1.9
algoritmo di hashing murmurhash 1.0.8 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk (Natural Language Toolkit) 3.6.5 taccuino 6.4.5
numba 0.54.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 imballaggio 21.0 Panda 1.3.4
pandas-profiling 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 pathspec 0.9.0 patia 0.6.2
sfigato 0.5.2 Petastorm 0.11.4 pexpect 4.8.0
phik 0.12.2 pickleshare (libreria di software Python) 0.7.5 cuscino 8.4.0
seme 21.2.4 platformdirs 2.5.2 plotly (software di visualizzazione dati) 5.9.0
pmdarima 1.8.5 (Note: Without context, a definitive improved translation cannot be accurately proposed). 3.0.7 prompt-toolkit 3.0.20
profeta 1.0.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.0
pycparser (un parser scritto in Python) 2.20 pydantic 1.9.2 Pygments 2.10.0
PyGObject 3.36.0 PyJWT 2.5.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 pystan 2.19.1.1 python-dateutil (libreria Python per la gestione delle date) 2.8.2
Editor di Python 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6.0 pyzmq 22.2.1 regex 2021.8.3
richieste 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
RSA 4.9 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 Seaborn 0.11.3 Send2Trash 1.8.0
setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 58.0.4 setuptools-git 1,2 forma 0.41.0
simplejson 3.17.6 sei 1.16.0 strumento di taglio 0.0.7
smart-open 5.2.1 smmap 5.0.0 spazioso 3.4.1
spacy-legacy 3.0.10 spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 seriamente? 2.4.4 ssh-import-id (comando per l'importazione di chiavi SSH) 5.10
statsmodels 0.12.2 tabulare 0.8.9 intrappolato-nell-unicode 0.1.0
tenacia 8.0.1 TensorBoard 2.9.1 server di dati di TensorBoard 0.6.1
plugin di profilazione per tensorboard 2.8.0 tensorboard-plugin-wit 1.8.1 TensorFlow 2.9.1
Stima di tensore tensorflow 2.9.0 tensorflow-io-gcs-filesystem 0.27.0 termcolor 2.0.1
terminato 0.9.4 percorso di test 0.5.0 thinc 8.1.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizzatori 0.12.1
tomli 2.0.1 torcia 1.12.1+cu113 visione della torcia 0.13.1+cu113
tornado 6.1 tqdm 4.62.3 traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.1.0
trasformatori 4.21.2 Typer 0.4.2 tipizzazione di estensioni 3.10.0.2
ujson (una libreria per la gestione di JSON in Python) 4.0.2 aggiornamenti non presidiati 0,1 urllib3 1.26.7
virtualenv 20.8.0 visioni 0.7.4 wasabi 0.10.1
wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5 codifiche web 0.5.1 cliente WebSocket 1.3.1
attrezzo 2.0.2 ruota 0.37.0 widgetsnbextension 3.6.0
avvolto / assorto 1.12.1 xgboost 1.6.2 Zipp 3.6.0

Librerie R

Le librerie R sono identiche alle librerie R in Databricks Runtime 11.3 LTS.

librerie Java e Scala (cluster Scala 2.12)

Oltre a Java e librerie Scala in Databricks Runtime 11.3 LTS, Databricks Runtime 11.3 LTS ML contiene i file JAR seguenti:

Cluster di CPU

ID del gruppo ID dell'artefatto Versione
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Cluster di GPU

ID del gruppo ID dell'artefatto Versione
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.6.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on