Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Nota
Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.
Databricks ha rilasciato questa versione nell'aprile 2019.
Databricks Runtime 5.3 ML è un ambiente pronto all'uso per l'esecuzione di processi di Machine Learning e data science basato su Databricks Runtime 5.3 (EoS). Databricks Runtime per ML contiene molte di queste popolari librerie per l’apprendimento automatico, tra cui TensorFlow, PyTorch, Keras e XGBoost. Supporta anche il training distribuito del deep learning con Horovod.
Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Machine Learning di Databricks Runtime, vedere Intelligenza artificiale e Machine Learning in Databricks.
Nuove funzionalità
Databricks Runtime 5.3 ML è basato su Databricks Runtime 5.3. Per informazioni sulle novità di Databricks Runtime 5.3, vedere le note sulla versione di Databricks Runtime 5.3 (EoS). Oltre agli aggiornamenti della libreria, Databricks Runtime 5.3 ML introduce le nuove funzionalità seguenti:
Integrazione MLflow + Apache Spark MLlib: Databricks Runtime 5.3 ML supporta la registrazione automatica delle esecuzioni di MLflow per i modelli che si adattano usando algoritmi
CrossValidatordi ottimizzazione PySpark eTrainValidationSplit.Importante
Questa funzionalità è in anteprima privata. Per informazioni sull'abilitazione, contattare il rappresentante di vendita di Azure Databricks.
Aggiorna le librerie seguenti alla versione più recente:
- PyArrow da 0.8.0 a 0.12.1:
BinaryTypeè supportato dalla conversione basata su freccia e può essere usato in PandasUDF. - Horovod da 0.15.2 a 0.16.0.
- TensorboardX da 1.4 a 1.6.
- PyArrow da 0.8.0 a 0.12.1:
L'API di esportazione del modello di ML di Databricks è stata deprecata. Azure Databricks consiglia invece di usare MLeap, che offre una copertura più ampia dei tipi di modello MLlib. Per altre informazioni, vedere Esportazione del modello di ML MLeap.
Nota
Databricks Runtime 5.3 contiene inoltre un nuovo montaggio FUSE ottimizzato per il caricamento dei dati, il checkpoint dei modelli e la registrazione da ogni ruolo di lavoro a una posizione di archiviazione condivisa file:/dbfs/ml, che fornisce operazioni di I/O ad alte prestazioni per carichi di lavoro di Deep Learning. Vedere Caricare i dati per l’apprendimento automatico e il Deep Learning.
Aggiornamenti di manutenzione
Vedere Aggiornamenti di manutenzione di Databricks Runtime 5.4 ML.
Ambiente di sistema
L'ambiente di sistema in Databricks Runtime 5.3 ML differisce da Databricks Runtime 5.3 come indicato di seguito:
- Python: 2.7.15 per cluster Python 2 e 3.6.5 per cluster Python 3.
- DBUtils: Databricks Runtime 5.3 ML non contiene l'utilità libreria (dbutils.library) (legacy).
- Per i cluster GPU, le librerie GPU NVIDIA seguenti:
- Driver Tesla 396.44
- CUDA 9.2
- CUDNN 7.2.1
Librerie
Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 5.3 ML che differiscono da quelle incluse in Databricks Runtime 5.3.
Librerie di livello superiore
Databricks Runtime 5.3 ML include le librerie di livello superiore seguenti:
- GraphFrames
- Horovod e HorovodRunner
- PyTorch
- spark-tensorflow-connector (connettore per Spark e TensorFlow)
- TensorFlow
- TensorBoard
Librerie Python
Databricks Runtime 5.3 ML usa Conda per la gestione dei pacchetti Python. Di conseguenza, esistono importanti differenze nelle librerie Python preinstallate, rispetto a Databricks Runtime. Di seguito è riportato un elenco completo dei pacchetti e delle versioni Python forniti installati con Gestione pacchetti Conda.
| Libreria | Versione | Libreria | Versione | Libreria | Versione |
|---|---|---|---|---|---|
| absl-py | 0.7.0 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1,5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.6 | candeggiare | 2.1.3 |
| bot | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certificato | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle (libreria Python per la serializzazione degli oggetti) | 0.5.3 | colorama | 0.3.9 | configparser (analizzatore di configurazione) | 3.5.0 |
| criptografia | 2.2.2 | ciclista | 0.10.0 | Cython, un linguaggio di programmazione | 0.28.2 |
| Decoratore | 4.3.0 | docutils | 0.14 | punti di ingresso | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsig | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | contratti futures | 3.2.0 |
| Gast | 0.2.2 | grpcio | 1.12.1 | h5py | 2.8.0 |
| Horovod | 0.16.0 | html5lib | 1.0.1 | IDNA | 2.6 |
| indirizzo IP | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | Mistune | 0.8.3 | mleap | 0.8.1 |
| finto | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | naso | 1.3.7 | nose-exclude | 0.5.0 |
| nmbalo | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | Panda | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | vittima | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare (libreria di software Python) | 0.7.4 |
| Cuscino | 5.1.0 | seme | 10.0.1 | filo | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psutil | 5.6.0 |
| psycopg2 | 2.7.5 | ptyprocess | 0.5.2 | pyarrow | 0.12.1 |
| pyasn1 | 0.4.5 | pycparser (un parser scritto in Python) | 2.18 | Pygments | 2.2.0 |
| PyNaCl | 1.3.0 | pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 |
| PySocks | 1.6.8 | Pitone | 2.7.15 | python-dateutil (libreria Python per la gestione delle date) | 2.7.3 |
| pytz | 2018.4 | PyYAML | 3.12 | pyzmq | 17.0.0 |
| richieste | 2.18.4 | s3transfer | 0.1.13 | scandir | 1.7 |
| scikit-learn | 0.19.1 | scipy | 1.1.0 | Seaborn | 0.8.1 |
| setuptools (pacchetto Python per gestire la configurazione e la distribuzione) | 39.1.0 | simplegeneric | 0.8.1 | singledispatch (funzionalità di sovraccarico di funzioni in Python) | 3.4.0.3 |
| sei | 1.11.0 | statsmodels | 0.9.0 | subprocesso32 | 3.5.3 |
| TensorBoard | 1.12.2 | tensorboardX | 1.6 | TensorFlow | 1.12.0 |
| termcolor | 1.1.0 | percorso di prova | 0.3.1 | Torch | 0.4.1 |
| visione della torcia | 0.2.1 | tornado | 5.0.2 | traceback2 | 1.4.0 |
| traitlets (una libreria per la configurazione dei parametri nei programmi Python) | 4.3.2 | unittest2 | 1.1.0 | urllib3 | 1.22 |
| virtualenv | 16.0.0 | wcwidth (funzione per determinare la larghezza dei caratteri) | 0.1.7 | codifiche web | 0.5.1 |
| Attrezzo | 0.14.1 | ruota | 0.31.1 | rapito | 1.10.11 |
| wsgiref | 0.1.2 |
I pacchetti Spark seguenti includono anche i moduli Python:
| Pacchetti Spark | Modulo Python | Versione |
|---|---|---|
| GraphFrames | GraphFrames | 0.7.0-db1-spark2.4 |
| Deep Learning Spark | sparkdl | 1.5.0-db1-spark2.4 |
| tensorframe | tensorframe | 0.6.0-s_2.11 |
Librerie R
Le librerie R sono identiche alle librerie R in Databricks Runtime 5.3.
Librerie Java e Scala (cluster Scala 2.11)
Oltre alle librerie Java e Scala in Databricks Runtime 5.3, Databricks Runtime 5.3 ML contiene i file JAR seguenti:
| ID gruppo | ID artefatto | Versione |
|---|---|---|
| com.databricks | Deep Learning Spark | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0.81 |
| ml.dmlc | xgboost4j-spark | 0.81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | TensorFlow | 1.12.0 |
| org.tensorframes | tensorframe | 0.6.0-s_2.11 |