Condividi tramite

Databricks Runtime 13.0 per l'apprendimento automatico (EoS)

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni di Databricks Runtime supportate, vedere Note di rilascio: versioni e compatibilità di Databricks Runtime.

Databricks Runtime 13.0 per Machine Learning è un ambiente pronto all’uso ottimizzato per l'esecuzione di processi di apprendimento automatico e data science basato su Databricks Runtime 13.0 (EoS). Databricks Runtime ML contiene molte di queste popolari librerie per l’apprendimento automatico, tra cui TensorFlow, PyTorch e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Databricks Runtime ML supporta anche l'addestramento distribuito di deep learning utilizzando Horovod.

Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Machine Learning di Databricks Runtime, vedere Intelligenza artificiale e Machine Learning in Databricks.

Miglioramenti e nuove funzionalità

Databricks Runtime 13.0 ML è basato su Databricks Runtime 13.0. Per informazioni sulle novità di Databricks Runtime 13.0, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 13.0 (EoS).

Modifiche a AutoML

In Databricks Runtime 13.0 ML e versioni successive, AutoML non è supportato per le aree di lavoro con conformità FedRAMP.

Per altre informazioni su AutoML, vedere Che cos'è AutoML?.

Miglioramenti a Databricks Feature Store

Nelle aree di lavoro abilitate per Unity Catalog in un cluster che esegue Databricks Runtime 13.0 ML o versione successiva, è possibile pubblicare tabelle delle funzionalità sia dell'area di lavoro che di Unity Catalog negli archivi online di Cosmos DB.

Per altre informazioni sull'archivio funzionalità di Databricks, vedere Archivio funzionalità di Databricks.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 13.0 ML differisce da Databricks Runtime 13.0 come indicato di seguito:

Databricks Runtime 13.0 ML include XGBoost 1.7.2, che non supporta cluster GPU con capacità di calcolo 5.2 e versioni precedenti.

Il pacchetto miniconda è stato rimosso da Databricks Runtime 13.0 ML.

Librerie

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 13.0 ML che differiscono da quelle incluse in Databricks Runtime 13.0.

Contenuto della sezione:

Librerie di livello superiore

Databricks Runtime 13.0 ML include le librerie di livello superiore seguenti:

Librerie Python

Databricks Runtime 13.0 ML usa Virtualenv per la gestione dei pacchetti Python e include molti dei pacchetti ML più diffusi.

Sono state introdotte le librerie Python seguenti con Databricks Runtime 13.0 ML:

  • accelerare
  • set di dati
  • valutare
  • ydata-profiling Profilatura dei dati

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 13.0 ML include anche i pacchetti seguenti:

  • hyperopt 0.2.7+db3
  • 3.0.0_db1 sparkdl
  • automl 1.17.0

Per riprodurre l'ambiente Python di Databricks Runtime ML nell'ambiente virtuale Python locale, scaricare il file requirements-13.0.txt ed eseguire pip install -r requirements-13.0.txt. Questo comando installa tutte le librerie open source usate da Databricks Runtime ML, ma non installa librerie sviluppate da Databricks, come databricks-automl, databricks-feature-store o il fork di Databricks di hyperopt.

Librerie Python nei cluster CPU

Biblioteca Versione Biblioteca Versione Biblioteca Versione
absl-py 1.0.0 accelerare 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 Astor 0.8.1 asttoken 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 att. 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 risposta di richiamata 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 nero 22.6.0
candeggiare 4.1.0 freccia 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools (strumento per la gestione della cache) 4.2.4
catalogo 2.0.8 encoder di categoria 2.6.0 certificato 2022.9.14
cffi 1.15.1 chardet 4.0.0 normalizzatore di set di caratteri 2.0.4
fai clic 8.0.4 cloudpickle (libreria Python per la serializzazione degli oggetti) 2.0.0 cmdstanpy 1.1.0
dolciume 0.0.4 configparser (analizzatore di configurazione) 5.2.0 convertdate 2.4.0
criptografia 37.0.1 ciclatore 0.11.0 cymem 2.0.7
Cython, un linguaggio di programmazione 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
Store delle Funzionalità di Databricks 0.11.0 set di dati 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 debugpy 1.5.1 decoratore 5.1.1
defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) 0.7.1 aneto 0.3.4 cache del disco 5.4.0
distlib 0.3.6 Conversione da docstring a markdown 0.11 punti di accesso 0.4
ephem 4.1.4 valutare 0.4.0 eseguendo 1.2.0
panoramica-faccette 1.0.2 fastjsonschema (Una libreria per la convalida veloce dei dati JSON) 2.16.3 fasttext 0.9.2
blocco dei file 3.6.0 Fiaschetta 1.1.2 FlatBuffers 23.3.3
fonttools (strumenti per caratteri) 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
futuro 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth (autenticazione Google) 1.33.0 google-auth-oauthlib 0.4.6
Google-Pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 vacanze 0.19
Horovod 0.27.0 htmlmin (strumento per la minimizzazione del codice HTML) 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.2 IDNA 3.3 ImageHash 4.3.1
imbalanced-learn (una libreria di apprendimento automatico per la gestione dei set di dati sbilanciati) 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets (una libreria Python per widget interattivi) 7.7.2
isodate 0.6.1 it’s dangerous 2.0.1 jedi 0.18.1
Jeepney (mezzo di trasporto pubblico tipico delle Filippine) 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keras 2.11.0 portachiavi 23.5.0
kiwisolver 1.4.2 calendario lunare coreano 0.3.1 codici linguistici 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
Calendario Lunare 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 mleap 0.20.0
mlflow versione leggera 2.2.1 more-itertools 8.10.0 multidict 6.0.4
multimetodo 1.9.1 multiprocesso 0.70.12.2 algoritmo di hashing murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk (Natural Language Toolkit) 3.7 nodeenv 1.7.0 taccuino 6.4.12
nmbalo 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 imballaggio 21,3 Panda 1.4.4
pandas-profiling 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 patia 0.10.1
capro espiatorio 0.5.2 Petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare (libreria di software Python) 0.7.5 Cuscino 9.2.0
seme 22.2.2 platformdirs 2.5.2 plotly (software di visualizzazione dati) 5.9.0
connettivita 1.0.0 pmdarima 2.0.2 (Note: Without context, a definitive improved translation cannot be accurately proposed). 3.0.8
prometheus-client 0.14.1 prompt-toolkit 3.0.36 profeta 1.1.2
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.3
pycparser (un parser scritto in Python) 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirsistente 0.18.0
python-dateutil (libreria Python per la gestione delle date) 2.8.2 Editor di Python 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 23.2.0
regex 2022.7.9 richieste 2.28.1 requests-oauthlib 1.3.1
risposte 0.18.0 corda 1.7.0 RSA 4.9
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
Seaborn 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 63.4.1 forma 0.41.0 simplejson 3.17.6
sei 1.16.0 strumento di taglio 0.0.7 smart-open 5.2.1
smmap 5.0.0 colino per la zuppa 2.3.1 spazioso 3.5.0
spacy-legacy 3.0.12 spacy-logger 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 seriamente 2.4.6 ssh-import-id (comando per l'importazione di chiavi SSH) 5.11
dati accatastati 0.6.2 statsmodels 0.13.2 tabulare 0.8.10
aggrovigliato-up-in-unicode 0.2.0 tenacia 8.0.1 TensorBoard 2.11.0
server di dati di TensorBoard 0.6.1 plugin di profilazione per tensorboard 2.11.1 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.11.0 Stima di tensore tensorflow 2.11.0 tensorflow-io-gcs-filesystem 0.31.0
termcolor 2.2.0 terminato 0.13.1 percorso di prova 0.6.0
thinc 8.1.9 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizzatori 0.13.2 tomli 2.0.1 torcia 1.13.1+CPU
visione della torcia 0.14.1+CPU tornado 6.1 tqdm 4.64.1
traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.1.1 trasformatori 4.26.1 typeguard 2.13.3
Typer 0.7.0 typing_extensions 4.3.0 ujson (una libreria per la gestione di JSON in Python) 5.4.0
aggiornamenti automatici unattended 0,1 urllib3 1.26.11 virtualenv 20.16.3
visioni 0.7.5 wadllib 1.3.6 wasabi 1.1.1
wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5 codifiche web 0.5.1 cliente WebSocket 0.58.0
Attrezzo 2.0.3 Che cosa è la patch 1.0.2 ruota 0.37.1
widgetsnbextension 3.6.1 avvolto 1.14.1 xgboost 1.7.4
xxhash 3.2.0 yapf 0.31.0 yarl 1.8.2
ydata-profiling Profilatura dei dati 4.1.0 Zipp 3.8.0

Librerie Python nei cluster GPU

Biblioteca Versione Biblioteca Versione Biblioteca Versione
absl-py 1.0.0 accelerare 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 Astor 0.8.1 asttoken 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 att. 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 risposta di richiamata 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 nero 22.6.0
candeggiare 4.1.0 freccia 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools (strumento per la gestione della cache) 4.2.4
catalogo 2.0.8 encoder di categoria 2.6.0 certificato 2022.9.14
cffi 1.15.1 chardet 4.0.0 normalizzatore di set di caratteri 2.0.4
fai clic 8.0.4 cloudpickle (libreria Python per la serializzazione degli oggetti) 2.0.0 cmdstanpy 1.1.0
dolciume 0.0.4 configparser (analizzatore di configurazione) 5.2.0 convertdate 2.4.0
criptografia 37.0.1 ciclatore 0.11.0 cymem 2.0.7
Cython, un linguaggio di programmazione 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
Store delle Funzionalità di Databricks 0.11.0 set di dati 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 debugpy 1.5.1 decoratore 5.1.1
defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) 0.7.1 aneto 0.3.4 cache del disco 5.4.0
distlib 0.3.6 Conversione da docstring a markdown 0.11 punti di accesso 0.4
ephem 4.1.4 valutare 0.4.0 eseguendo 1.2.0
panoramica-faccette 1.0.2 fastjsonschema (Una libreria per la convalida veloce dei dati JSON) 2.16.3 fasttext 0.9.2
blocco dei file 3.6.0 Fiaschetta 1.1.2 FlatBuffers 23.3.3
fonttools (strumenti per caratteri) 4.25.0 frozenlist 1.3.3 fsspec 2022.7.1
futuro 0.18.2 Gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth (autenticazione Google) 1.33.0 google-auth-oauthlib 0.4.6
Google-Pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 vacanze 0.19
Horovod 0.27.0 htmlmin (strumento per la minimizzazione del codice HTML) 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.1 IDNA 3.3 ImageHash 4.3.1
imbalanced-learn (una libreria di apprendimento automatico per la gestione dei set di dati sbilanciati) 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets (una libreria Python per widget interattivi) 7.7.2
isodate 0.6.1 it’s dangerous 2.0.1 jedi 0.18.1
Jeepney (mezzo di trasporto pubblico tipico delle Filippine) 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keras 2.11.0 portachiavi 23.5.0
kiwisolver 1.4.2 calendario lunare coreano 0.3.1 codici linguistici 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
Calendario Lunare 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 mleap 0.20.0
mlflow versione leggera 2.2.1 more-itertools 8.10.0 multidict 6.0.4
multimetodo 1.9.1 multiprocesso 0.70.12.2 algoritmo di hashing murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk (Natural Language Toolkit) 3.7 nodeenv 1.7.0 taccuino 6.4.12
nmbalo 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 imballaggio 21,3 Panda 1.4.4
pandas-profiling 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 patia 0.10.1
capro espiatorio 0.5.2 Petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare (libreria di software Python) 0.7.5 Cuscino 9.2.0
seme 22.2.2 platformdirs 2.5.2 plotly (software di visualizzazione dati) 5.9.0
connettivita 1.0.0 pmdarima 2.0.2 (Note: Without context, a definitive improved translation cannot be accurately proposed). 3.0.8
prompt-toolkit 3.0.36 profeta 1.1.2 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser (un parser scritto in Python) 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pirsistente 0.18.0 python-dateutil (libreria Python per la gestione delle date) 2.8.2
Editor di Python 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6.0 pyzmq 23.2.0 regex 2022.7.9
richieste 2.28.1 requests-oauthlib 1.3.1 risposte 0.18.0
corda 1.7.0 RSA 4.9 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 Seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 63.4.1
forma 0.41.0 simplejson 3.17.6 sei 1.16.0
strumento di taglio 0.0.7 smart-open 5.2.1 smmap 5.0.0
colino per la zuppa 2.3.1 spazioso 3.5.0 spacy-legacy 3.0.12
spacy-logger 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
seriamente 2.4.6 ssh-import-id (comando per l'importazione di chiavi SSH) 5.11 dati accatastati 0.6.2
statsmodels 0.13.2 tabulare 0.8.10 aggrovigliato-up-in-unicode 0.2.0
tenacia 8.0.1 TensorBoard 2.11.0 server di dati di TensorBoard 0.6.1
plugin di profilazione per tensorboard 2.11.1 tensorboard-plugin-wit 1.8.1 TensorFlow 2.11.0
Stima di tensore tensorflow 2.11.0 tensorflow-io-gcs-filesystem 0.31.0 termcolor 2.2.0
terminato 0.13.1 percorso di prova 0.6.0 thinc 8.1.9
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizzatori 0.13.2
tomli 2.0.1 torcia 1.13.1+cu117 visione della torcia 0.14.1+cu117
tornado 6.1 tqdm 4.64.1 traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.1.1
trasformatori 4.26.1 typeguard 2.13.3 Typer 0.7.0
typing_extensions 4.3.0 ujson (una libreria per la gestione di JSON in Python) 5.4.0 aggiornamenti automatici unattended 0,1
urllib3 1.26.11 virtualenv 20.16.3 visioni 0.7.5
wadllib 1.3.6 wasabi 1.1.1 wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5
codifiche web 0.5.1 cliente WebSocket 0.58.0 Attrezzo 2.0.3
Che cosa è la patch 1.0.2 ruota 0.37.1 widgetsnbextension 3.6.1
avvolto 1.14.1 xgboost 1.7.4 xxhash 3.2.0
yapf 0.31.0 yarl 1.8.2 ydata-profiling Profilatura dei dati 4.1.0
Zipp 3.8.0

Librerie R

Le librerie R sono identiche alle Librerie R in Databricks Runtime 13.0.

Librerie Java e Scala (cluster Scala 2.12)

Oltre alle librerie Java e Scala in Databricks Runtime 13.0, Databricks Runtime 13.0 ML contiene i file JAR seguenti:

Cluster di CPU

ID gruppo ID di artefatto Versione
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

cluster di GPU

ID gruppo ID di artefatto Versione
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on