Databricks Runtime 11.3 LTS pro Machine Learning
Databricks Runtime 11.3 LTS for Machine Learning poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 11.3 LTS. Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí Horovodu.
Poznámka:
LTS znamená, že tato verze je dlouhodobě podporována. Viz životní cyklus verze LTS modulu Databricks Runtime.
Další informace, včetně pokynů k vytvoření clusteru Databricks Runtime ML, najdete v tématu AI a strojové učení v Databricks.
Tip
Poznámky k verzi pro verze Databricks Runtime, které dosáhly konce podpory (EoS), najdete v poznámkách k verzi Databricks Runtime pro ukončení podpory. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.
Nové funkce a vylepšení
Databricks Runtime 11.3 LTS ML je postaven na Databricks Runtime 11.3 LTS. Informace o novinkách v Databricks Runtime 11.3 LTS, včetně Apache Spark MLlib a SparkR, najdete v poznámkách k verzi Databricks Runtime 11.3 LTS .
Vylepšení aplikace Mosaic AutoML
Aplikace Mosaic AutoML teď podporuje použití existujících tabulek funkcí úložiště funkcí v experimentech AutoML. Podrobnosti najdete v tématu Integrace úložiště funkcí.
Zkušební poznámkové bloky vygenerované službou AutoML teď obsahují fragmenty kódu, které uživatelům umožňují znovu spustit ladění hyperparametrů.
AutoML teď podporuje DecimalType funkce.
Opravy chyb
Databricks Runtime 11.3 LTS ML obsahuje upgradovanou verzi sparkdl.xgboost. Předchozí verze sparkdl.xgboost obsahují chyby opravené v této verzi, takže Databricks doporučuje uživatelům upgradu knihovny na Databricks Runtime 11.3 LTS ML.
Příprava na budoucí verze
Připravovaná verze Databricks Runtime ML bude obsahovat sklearn verzi 1.0. sklearn Informace o tom, jak se na tuto změnu připravit, najdete v dokumentaci.
Databricks Runtime ML obsahuje dva openblas balíčky. Balíček /opt/OpenBLAS je zastaralý v Databricks Runtime 11.3 LTS ML a v nadcházející verzi se odebere.
Prostředí systému
Systémové prostředí v Databricks Runtime 11.3 LTS ML se liší od Databricks Runtime 11.3 LTS následujícím způsobem:
- DBUtils: Databricks Runtime ML nezahrnuje nástroj knihovny (dbutils.library) (starší verze).
Místo toho použijte
%pippříkazy. Další informace najdete v tématu Knihovny Pythonu v rámci poznámkových bloků - Pro clustery GPU zahrnuje Databricks Runtime ML následující knihovny NVIDIA GPU:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 11.3 LTS ML zahrnuje XGBoost 1.6.1, který nepodporuje clustery GPU s výpočetní schopností 5.2 a nižší.
Knihovny
Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 11.3 LTS ML, které se liší od knihoven zahrnutých v Databricks Runtime 11.3 LTS.
V této části:
- Knihovny nejvyšší úrovně
- Knihovny Pythonu
- Knihovny jazyka R
- Knihovny Java a Scala (cluster Scala 2.12)
Knihovny nejvyšší úrovně
Databricks Runtime 11.3 LTS ML obsahuje následující knihovny nejvyšší úrovně:
- GraphFrames
- Horovod a HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Knihovny Pythonu
Databricks Runtime 11.3 LTS ML používá Virtualenv ke správě balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.
Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 11.3 LTS ML také následující balíčky:
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- feature_store 0.7.0
- automl 1.13.2
Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si soubor requirements-11.3.txt a spusťte pip install -r requirements-11.3.txt. Tento příkaz nainstaluje všechny opensourcové knihovny, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl, databricks-feature-storenebo fork Databricks fork hyperopt.
Knihovny Pythonu v clusterech procesorů
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1,10 | attrs | 21.2.0 |
| Azure-Core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | šifra | 4.0.0 | černý | 22.3.0 |
| bělit | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | katalog | 2.0.8 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kliknutí | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | cukroví | 0.0.1 | configparser | 5.2.0 |
| convertdate | 2.4.0 | kryptografie | 3.4.8 | cyklista | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| Databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| ladění | 1.4.1 | dekoratér | 5.1.0 | defusedxml | 0.7.1 |
| kopr | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| vstupní body | 0.3 | ephem | 4.1.3 | přehled omezujících vlastností | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | budoucnost | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | prázdniny | 0.15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | nevyvážené učení | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jehodangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgety | 1.0.0 | keras | 2.9.0 |
| Předběžné zpracování Kerasu | 1.1.2 | verizonsolver | 1.3.1 | korejský lunární kalendář | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunárníCalendar | 0.0.9 | Druh žraloka | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | špatně zamyšlení | 0.8.4 |
| mleap | 0.20.0 | mlflow-hubená | 1.29.0 | multimethod | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | poznámkový blok | 6.4.5 |
| numba | 0.54.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | balení | 21.0 | pandas | 1.3.4 |
| profilace pandas | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| bábovka | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| Phik | 0.12.2 | pickleshare | 0.7.5 | Polštář | 8.4.0 |
| jádro | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | předběžně připravený | 3.0.7 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | prorok | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2,20 | pydantic | 1.9.2 |
| Pygments | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.5.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-dateutil | 2.8.2 | python-editor | 1.0.4 | pytz | 2021.3 |
| PyWavelets | 1.1.1 | PyYAML | 6.0 | pyzmq | 22.2.1 |
| regex | 2021.8.3 | žádosti | 2.26.0 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | rsa | 4,9 | s3transfer | 0.5.2 |
| scikit-learn | 0.24.2 | scipy | 1.7.1 | seaborn | 0.11.3 |
| Send2Trash | 1.8.0 | setuptools | 58.0.4 | setuptools-git | 1.2 |
| Shap | 0.41.0 | simplejson | 3.17.6 | Šest | 1.16.0 |
| kráječ | 0.0.7 | inteligentní otevření | 5.2.1 | smmap | 5.0.0 |
| spacy | 3.4.1 | spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | srsly | 2.4.4 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | sestavit v tabulku | 0.8.9 |
| tangled-up-in-unicode | 0.1.0 | houževnatost | 8.0.1 | tensorboard | 2.9.1 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.9.1 | tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 |
| termcolor | 2.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| tenká | 8.1.2 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tokenizátory | 0.12.1 | tomli | 2.0.1 | pochodeň | 1.12.1+cpu |
| torchvision | 0.13.1+cpu | tornádo | 6.1 | tqdm | 4.62.3 |
| vlastnosti | 5.1.0 | Transformátory | 4.21.2 | Typer | 0.4.2 |
| typing-extensions | 3.10.0.2 | ujson | 4.0.2 | bezobslužné upgrady | 0,1 |
| urllib3 | 1.26.7 | virtualenv | 20.8.0 | vize | 0.7.4 |
| wasabi | 0.10.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Werkzeug | 2.0.2 | kolo | 0.37.0 |
| widgetsnbextension | 3.6.0 | wrapt | 1.12.1 | xgboost | 1.6.2 |
| zipp | 3.6.0 |
Knihovny Pythonu v clusterech GPU
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1,10 | attrs | 21.2.0 |
| Azure-Core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | šifra | 4.0.0 | černý | 22.3.0 |
| bělit | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | katalog | 2.0.8 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kliknutí | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | cukroví | 0.0.1 | configparser | 5.2.0 |
| convertdate | 2.4.0 | kryptografie | 3.4.8 | cyklista | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| Databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| ladění | 1.4.1 | dekoratér | 5.1.0 | defusedxml | 0.7.1 |
| kopr | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| vstupní body | 0.3 | ephem | 4.1.3 | přehled omezujících vlastností | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | budoucnost | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | prázdniny | 0.15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | nevyvážené učení | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jehodangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgety | 1.0.0 | keras | 2.9.0 |
| Předběžné zpracování Kerasu | 1.1.2 | verizonsolver | 1.3.1 | korejský lunární kalendář | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunárníCalendar | 0.0.9 | Druh žraloka | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | špatně zamyšlení | 0.8.4 |
| mleap | 0.20.0 | mlflow-hubená | 1.29.0 | multimethod | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | poznámkový blok | 6.4.5 |
| numba | 0.54.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | balení | 21.0 | pandas | 1.3.4 |
| profilace pandas | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| bábovka | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| Phik | 0.12.2 | pickleshare | 0.7.5 | Polštář | 8.4.0 |
| jádro | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | předběžně připravený | 3.0.7 | prompt-toolkit | 3.0.20 |
| prorok | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 |
| pycparser | 2,20 | pydantic | 1.9.2 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | PyJWT | 2.5.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | pystan | 2.19.1.1 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | regex | 2021.8.3 |
| žádosti | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4,9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| scipy | 1.7.1 | seaborn | 0.11.3 | Send2Trash | 1.8.0 |
| setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.41.0 |
| simplejson | 3.17.6 | Šest | 1.16.0 | kráječ | 0.0.7 |
| inteligentní otevření | 5.2.1 | smmap | 5.0.0 | spacy | 3.4.1 |
| spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | sestavit v tabulku | 0.8.9 | tangled-up-in-unicode | 0.1.0 |
| houževnatost | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 | termcolor | 2.0.1 |
| terminado | 0.9.4 | testpath | 0.5.0 | tenká | 8.1.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizátory | 0.12.1 |
| tomli | 2.0.1 | pochodeň | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| tornádo | 6.1 | tqdm | 4.62.3 | vlastnosti | 5.1.0 |
| Transformátory | 4.21.2 | Typer | 0.4.2 | typing-extensions | 3.10.0.2 |
| ujson | 4.0.2 | bezobslužné upgrady | 0,1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | vize | 0.7.4 | wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | kolo | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.6.2 | zipp | 3.6.0 |
Knihovny jazyka R
Knihovny R jsou stejné jako knihovny R v Databricks Runtime 11.3 LTS.
Knihovny Java a Scala (cluster Scala 2.12)
Kromě knihoven Java a Scala v Databricks Runtime 11.3 LTS obsahuje Databricks Runtime 11.3 LTS ML následující žádosti o přijetí změn:
Clustery procesoru
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clustery GPU
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |