Databricks Runtime 11.3 LTS pro Machine Learning
Databricks Runtime 11.3 LTS for Machine Learning poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 11.3 LTS. Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí Horovodu.
Poznámka
LTS znamená, že tato verze je dlouhodobě podporována. Viz životní cyklus verze LTS modulu Databricks Runtime.
Další informace, včetně pokynů k vytvoření clusteru Databricks Runtime ML, najdete v tématu AI a strojové učení v Databricks.
Tip
Poznámky k vydáním verzí Databricks Runtime, které dosáhly konce podpory (EoS), najdete v sekci Poznámky k vydáním verzí Databricks Runtime s ukončenou podporou. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.
Databricks Runtime 11.3 LTS ML je postaven na Databricks Runtime 11.3 LTS. Informace o novinkách v Databricks Runtime 11.3 LTS, včetně Apache Spark MLlib a SparkR, najdete v poznámkách k verzi Databricks Runtime 11.3 LTS .
AutoML teď podporuje použití existujících tabulek s vlastnostmi úložiště funkcí v experimentech AutoML. Podrobnosti najdete v integraci obchodu funkcí AutoML.
Zkušební poznámkové bloky vygenerované službou AutoML teď obsahují fragmenty kódu, které uživatelům umožňují znovu spustit ladění hyperparametrů.
AutoML teď podporuje DecimalType funkce.
Databricks Runtime 11.3 LTS ML obsahuje upgradovanou verzi sparkdl.xgboost. Předchozí verze sparkdl.xgboost obsahují chyby opravené v této verzi, takže Databricks doporučuje uživatelům upgradu knihovny na Databricks Runtime 11.3 LTS ML.
Připravovaná verze Databricks Runtime ML bude obsahovat sklearn verzi 1.0.
sklearn
Informace o tom, jak se na tuto změnu připravit, najdete v dokumentaci.
Databricks Runtime ML obsahuje dva openblas balíčky. Balíček /opt/OpenBLAS je zastaralý v Databricks Runtime 11.3 LTS ML a v nadcházející verzi se odebere.
Systémové prostředí v Databricks Runtime 11.3 LTS ML se liší od Databricks Runtime 11.3 LTS následujícím způsobem:
-
DBUtils: Databricks Runtime ML nezahrnuje nástroj knihovny (dbutils.library) (starší verze).
Místo toho použijte
%pippříkazy. Další informace najdete v tématu Knihovny Pythonu v rámci poznámkových bloků - Pro clustery GPU zahrnuje Databricks Runtime ML následující knihovny NVIDIA GPU:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 11.3 LTS ML zahrnuje XGBoost 1.6.1, který nepodporuje clustery GPU s výpočetní schopností 5.2 a nižší.
Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 11.3 LTS ML, které se liší od knihoven zahrnutých v Databricks Runtime 11.3 LTS.
- Knihovny nejvyšší úrovně
- Knihovny Pythonu
- Knihovny jazyka R
- Knihovny Java a Scala (cluster Scala 2.12)
Databricks Runtime 11.3 LTS ML obsahuje následující knihovny nejvyšší úrovně:
- GraphFrames
- Horovod a HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Databricks Runtime 11.3 LTS ML používá Virtualenv ke správě balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.
Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 11.3 LTS ML také následující balíčky:
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- feature_store 0.7.0
- automl 1.13.2
Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si soubor requirements-11.3.txt a spusťte pip install -r requirements-11.3.txt. Tento příkaz nainstaluje všechny open source knihovny, které Databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl, databricks-feature-store nebo Databricks fork hyperopt.
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | asynchronní generátor | 1,10 | attrs | 21.2.0 |
| Azure-Core | 1.22.1 | azure-cosmos | 4.2.0 | zpětné volání | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | bcrypt | 4.0.0 | černý | 22.3.0 |
| blesk | 4.0.0 | blaženost | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | katalog | 2.0.8 |
| certifikát | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klikni | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | cukroví | 0.0.1 | configparser | 5.2.0 |
| convertdate | 2.4.0 | kryptografie | 3.4.8 | cyklista | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| Databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | dekoratér | 5.1.0 | defusedxml | 0.7.1 |
| kopr | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| vstupní body | 0.3 | ephem | 4.1.3 | přehled aspektů | 1.0.0 |
| fasttext | 0.9.2 | zamčení souboru | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | budoucnost | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | prázdniny | 0.15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | nevyvážené učení | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jehodangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | JupyterLab-widgety | 1.0.0 | keras | 2.9.0 |
| Předběžné zpracování Kerasu | 1.1.2 | kiwisolver | 1.3.1 | korejský lunární kalendář | 0.3.1 |
| jazykové kódy | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | Lunární kalendář | 0.0.9 | Žralok mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | Nepřítomné číslo | 0.5.1 | špatné ladění | 0.8.4 |
| mleap | 0.20.0 | mlflow-odlehčená | 1.29.0 | multimetoda | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | poznámkový blok | 6.4.5 |
| numba | 0.54.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | balení | 21.0 | pandas | 1.3.4 |
| pandas-profiling | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | patie | 0.6.2 |
| bábovka | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| Phik | 0.12.2 | pickleshare | 0.7.5 | Polštář | 8.4.0 |
| pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | předem uvolněný | 3.0.7 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | prorok | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2,20 | pydantic | 1.9.2 |
| Pygments | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.5.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | PyStan | 2.19.1.1 |
| python-dateutil | 2.8.2 | python-editor | 1.0.4 | pytz | 2021.3 |
| PyWavelets | 1.1.1 | PyYAML | 6.0 | pyzmq | 22.2.1 |
| regex | 2021.8.3 | žádosti | 2.26.0 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | rsa | 4,9 | s3transfer | 0.5.2 |
| scikit-learn | 0.24.2 | scipy | 1.7.1 | seaborn | 0.11.3 |
| Send2Trash | 1.8.0 | setuptools | 58.0.4 | setuptools-git | 1.2 |
| tvar | 0.41.0 | simplejson | 3.17.6 | Šest | 1.16.0 |
| kráječ | 0.0.7 | chytré otevření | 5.2.1 | smmap | 5.0.0 |
| snění | 3.4.1 | spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | srsly | 2.4.4 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | zapsat do tabulky | 0.8.9 |
| zamotán v Unicode | 0.1.0 | houževnatost | 8.0.1 | tensorboard | 2.9.1 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.9.1 | tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 |
| termcolor | 2.0.1 | dokončeno | 0.9.4 | testovací cesta | 0.5.0 |
| tenká | 8.1.2 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tokenizátory | 0.12.1 | tomli | 2.0.1 | pochodeň | 1.12.1+cpu |
| torchvision | 0.13.1+cpu | tornádo | 6.1 | tqdm | 4.62.3 |
| traitlets | 5.1.0 | Transformátory | 4.21.2 | Typer | 0.4.2 |
| typing-extensions | 3.10.0.2 | ujson | 4.0.2 | bezobslužné aktualizace | 0,1 |
| urllib3 | 1.26.7 | virtualenv | 20.8.0 | vize | 0.7.4 |
| wasabi | 0.10.1 | wcwidth | 0.2.5 | web kódování | 0.5.1 |
| klient pro websocket | 1.3.1 | Werkzeug | 2.0.2 | kolo | 0.37.0 |
| widgetsnbextension | 3.6.0 | zabalený | 1.12.1 | xgboost | 1.6.2 |
| zipp | 3.6.0 |
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | asynchronní generátor | 1,10 | attrs | 21.2.0 |
| Azure Core | 1.22.1 | azure-cosmos | 4.2.0 | zpětné volání | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | bcrypt | 4.0.0 | černý | 22.3.0 |
| bělidlo | 4.0.0 | blaženost | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | katalog | 2.0.8 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klikni | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | cukroví | 0.0.1 | configparser | 5.2.0 |
| convertdate | 2.4.0 | kryptografie | 3.4.8 | cyklista | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| Databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | dekoratér | 5.1.0 | defusedxml | 0.7.1 |
| kopr | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| vstupní body | 0.3 | ephem | 4.1.3 | přehled aspektů | 1.0.0 |
| fasttext | 0.9.2 | zámek souboru | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | budoucnost | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | prázdniny | 0.15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | nevyvážené učení | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jeho nebezpečný | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Předběžné zpracování Keras | 1.1.2 | kiwisolver | 1.3.1 | korejský lunární kalendář | 0.3.1 |
| jazykové kódy | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | Lunární kalendář | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | špatné naladění | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | multimethod | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | poznámkový blok | 6.4.5 |
| numba | 0.54.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | balení | 21.0 | pandas | 1.3.4 |
| pandas-profiling | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | specifikace cesty | 0.9.0 | pathy | 0.6.2 |
| bábovka | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| Phik | 0.12.2 | pickleshare | 0.7.5 | Polštář | 8.4.0 |
| pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | předpřipravený | 3.0.7 | prompt-toolkit | 3.0.20 |
| prorok | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 |
| pycparser | 2,20 | pydantic | 1.9.2 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | PyJWT | 2.5.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | pystan | 2.19.1.1 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | regex | 2021.8.3 |
| žádosti | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4,9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| scipy | 1.7.1 | seaborn | 0.11.3 | Send2Trash | 1.8.0 |
| setuptools | 58.0.4 | setuptools-git (název softwarového balíčku) | 1.2 | Šap | 0.41.0 |
| simplejson | 3.17.6 | Šest | 1.16.0 | kráječ | 0.0.7 |
| chytré otevření | 5.2.1 | smmap | 5.0.0 | prostorný | 3.4.1 |
| spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | sestavit do tabulky | 0.8.9 | zapletený-do-unicode | 0.1.0 |
| houževnatost | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 | termcolor | 2.0.1 |
| dokončeno | 0.9.4 | testovací cesta | 0.5.0 | tenká | 8.1.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizátory | 0.12.1 |
| tomli | 2.0.1 | pochodeň | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| tornádo | 6.1 | tqdm | 4.62.3 | vlastnosti | 5.1.0 |
| Transformátory | 4.21.2 | Typer | 0.4.2 | typing-extensions | 3.10.0.2 |
| ujson | 4.0.2 | bezobslužné aktualizace | 0,1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | vize | 0.7.4 | wasabi | 0.10.1 |
| wcwidth | 0.2.5 | kódování webových stránek | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | kolo | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.6.2 | zipp | 3.6.0 |
Knihovny R jsou stejné jako R knihovny v Databricks Runtime 11.3 LTS.
Kromě knihoven Java a Scala v Databricks Runtime 11.3 LTS obsahuje Databricks Runtime 11.3 LTS ML následující JARy:
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |