Databricks Runtime 11.3 LTS for Machine Edukacja
Środowisko Databricks Runtime 11.3 LTS for Machine Edukacja zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 11.3 LTS. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.
Uwaga
LTS oznacza, że ta wersja jest objęta długoterminową pomocą techniczną. Zobacz Cykl życia wersji LTS środowiska Databricks Runtime.
Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks, zobacz AI and Machine Edukacja on Databricks (Sztuczna inteligencja i maszyna Edukacja w usłudze Databricks).
Nowe funkcje i ulepszenia
Środowisko Databricks Runtime 11.3 LTS ML jest oparte na środowisku Databricks Runtime 11.3 LTS. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 11.3 LTS, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 11.3 LTS .
Ulepszenia rozwiązania AutoML usługi Databricks
Rozwiązanie AutoML usługi Databricks obsługuje teraz korzystanie z istniejących tabel funkcji magazynu funkcji w eksperymentach rozwiązania AutoML. Aby uzyskać szczegółowe informacje, zobacz Integracja z magazynem funkcji.
Notesy w wersji próbnej generowane przez rozwiązanie AutoML zawierają teraz fragmenty kodu, które umożliwiają użytkownikom ponowne uruchamianie dostrajania hiperparametrów.
Rozwiązanie AutoML obsługuje DecimalType teraz funkcje.
Poprawki błędów
Środowisko Databricks Runtime 11.3 LTS ML zawiera uaktualnioną wersję programu sparkdl.xgboost. Poprzednie wersje sparkdl.xgboost zawierają usterki, które zostały naprawione w tej wersji, dlatego usługa Databricks zaleca użytkownikom uaktualnienia biblioteki do środowiska Databricks Runtime 11.3 LTS ML.
Przygotowanie do przyszłych wydań
Nadchodzące wydanie środowiska Databricks Runtime ML będzie zawierać sklearn wersję 1.0. Zapoznaj się z dokumentacją, sklearnaby uzyskać informacje na temat przygotowania do tej zmiany.
Środowisko Databricks Runtime ML zawiera dwa openblas pakiety. Pakiet /opt/OpenBLAS jest przestarzały w środowisku Databricks Runtime 11.3 LTS ML i zostanie usunięty w nadchodzącej wersji.
Środowisko systemu
Środowisko systemowe w środowisku Databricks Runtime 11.3 LTS ML różni się od środowiska Databricks Runtime 11.3 LTS w następujący sposób:
- DBUtils: Środowisko uruchomieniowe Databricks Runtime ML nie zawiera narzędzia biblioteki (dbutils.library) (starsza wersja).
Zamiast tego użyj
%pippoleceń. Zobacz Biblioteki języka Python o zakresie notesu. - W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Środowisko Databricks Runtime 11.3 LTS ML zawiera bibliotekę XGBoost 1.6.1, która nie obsługuje klastrów gpu z możliwościami obliczeniowymi 5.2 i nowszymi.
Biblioteki
W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 11.3 LTS ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 11.3 LTS.
W tej sekcji:
- Biblioteki najwyższego poziomu
- Biblioteki języka Python
- Biblioteki języka R
- Biblioteki Java i Scala (klaster Scala 2.12)
Biblioteki najwyższego poziomu
Środowisko Databricks Runtime 11.3 LTS ML zawiera następujące biblioteki najwyższego poziomu:
- GraphFrames
- Horovod i HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Biblioteki języka Python
Środowisko Databricks Runtime 11.3 LTS ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.
Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 11.3 LTS ML zawiera również następujące pakiety:
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- feature_store 0.7.0
- automl 1.13.2
Aby odtworzyć środowisko Języka Python środowiska Databricks Runtime ML w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-11.3.txt i uruchom polecenie pip install -r requirements-11.3.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-storelub rozwidlenie usługi Databricks .hyperopt
Biblioteki języka Python w klastrach procesora CPU
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1.10 | attrs | 21.2.0 |
| azure-core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | bcrypt | 4.0.0 | black (czarny) | 22.3.0 |
| Bleach | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Katalog | 2.0.8 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kliknięcie | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | Konfekcji | 0.0.1 | configparser | 5.2.0 |
| konwertuj | 2.4.0 | Kryptografii | 3.4.8 | Cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | Dekorator | 5.1.0 | defusedxml | 0.7.1 |
| Koperek | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| punkty wejścia | 0.3 | efem | 4.1.3 | aspekty — omówienie | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Przyszłości | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | makaron google | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | konwerter hidżri | 2.2.4 | Wakacje | 0,15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | przytulanieface-hub | 0.9.1 |
| Idna | 3.2 | ImageHash | 4.3.0 | niezrównoważona nauka | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | Ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jegodangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Przetwarzanie wstępne protokołu Keras | 1.1.2 | kiwisolver | 1.3.1 | koreański kalendarz księżycowy | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | KsiężycowyCalendar | 0.0.9 | Mako | 1.2.0 |
| Znaczniki języka Markdown | 3.3.6 | Znaczniki Sejf | 2.0.1 | matplotlib | 3.4.3 |
| biblioteka matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | multimethod | 1,9 |
| szmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | notes | 6.4.5 |
| numba | 0.54.1 | Numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Opakowania | 21,0 | Pandas | 1.3.4 |
| Profilowanie biblioteki pandas | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| phik | 0.12.2 | pickleshare | 0.7.5 | Poduszkę | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | kreślenie | 5.9.0 |
| pmdarima | 1.8.5 | preshed | 3.0.7 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | Proroka | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2,20 | pydantic | 1.9.2 |
| Pygments | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.5.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pirstent | 0.18.0 | pystan | 2.19.1.1 |
| python-dateutil | 2.8.2 | Python-editor | 1.0.4 | pytz | 2021.3 |
| PyWavelets | 1.1.1 | PyYAML | 6.0 | pyzmq | 22.2.1 |
| Regex | 2021.8.3 | żądania | 2.26.0 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | rsa | 4.9 | s3transfer | 0.5.2 |
| scikit-learn | 0.24.2 | scipy | 1.7.1 | seaborn | 0.11.3 |
| Send2Trash | 1.8.0 | setuptools | 58.0.4 | setuptools-git | 1.2 |
| Shap | 0.41.0 | simplejson | 3.17.6 | Sześć | 1.16.0 |
| Fragmentatora | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| spacy | 3.4.1 | spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | srsly | 2.4.4 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tabulacji | 0.8.9 |
| splątane-up-in-unicode | 0.1.0 | Wytrzymałość | 8.0.1 | tablica tensorboard | 2.9.1 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.9.1 | tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 |
| termcolor | 2.0.1 | terminado | 0.9.4 | ścieżka testowa | 0.5.0 |
| cienki | 8.1.2 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tokenizatory | 0.12.1 | tomli | 2.0.1 | Palnika | 1.12.1+ procesor |
| torchvision | 0.13.1+ procesor | Tornado | 6.1 | tqdm | 4.62.3 |
| traitlety | 5.1.0 | Transformatory | 4.21.2 | typer | 0.4.2 |
| wpisywanie rozszerzeń | 3.10.0.2 | ujson | 4.0.2 | nienadzorowane uaktualnienia | 0.1 |
| urllib3 | 1.26.7 | Virtualenv | 20.8.0 | Wizje | 0.7.4 |
| Wasabi | 0.10.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Werkzeug | 2.0.2 | Koła | 0.37.0 |
| widgetsnbextension | 3.6.0 | zawijanie | 1.12.1 | xgboost | 1.6.2 |
| zipp | 3.6.0 |
Biblioteki języka Python w klastrach gpu
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1.10 | attrs | 21.2.0 |
| azure-core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | bcrypt | 4.0.0 | black (czarny) | 22.3.0 |
| Bleach | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Katalog | 2.0.8 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kliknięcie | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | Konfekcji | 0.0.1 | configparser | 5.2.0 |
| konwertuj | 2.4.0 | Kryptografii | 3.4.8 | Cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | Dekorator | 5.1.0 | defusedxml | 0.7.1 |
| Koperek | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| punkty wejścia | 0.3 | efem | 4.1.3 | aspekty — omówienie | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Przyszłości | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | makaron google | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | konwerter hidżri | 2.2.4 | Wakacje | 0,15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | przytulanieface-hub | 0.9.1 |
| Idna | 3.2 | ImageHash | 4.3.0 | niezrównoważona nauka | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | Ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jegodangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Przetwarzanie wstępne protokołu Keras | 1.1.2 | kiwisolver | 1.3.1 | koreański kalendarz księżycowy | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | KsiężycowyCalendar | 0.0.9 | Mako | 1.2.0 |
| Znaczniki języka Markdown | 3.3.6 | Znaczniki Sejf | 2.0.1 | matplotlib | 3.4.3 |
| biblioteka matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | multimethod | 1,9 |
| szmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | notes | 6.4.5 |
| numba | 0.54.1 | Numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Opakowania | 21,0 | Pandas | 1.3.4 |
| Profilowanie biblioteki pandas | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| phik | 0.12.2 | pickleshare | 0.7.5 | Poduszkę | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | kreślenie | 5.9.0 |
| pmdarima | 1.8.5 | preshed | 3.0.7 | prompt-toolkit | 3.0.20 |
| Proroka | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 |
| pycparser | 2,20 | pydantic | 1.9.2 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | PyJWT | 2.5.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pirstent | 0.18.0 | pystan | 2.19.1.1 | python-dateutil | 2.8.2 |
| Python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | Regex | 2021.8.3 |
| żądania | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4.9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| scipy | 1.7.1 | seaborn | 0.11.3 | Send2Trash | 1.8.0 |
| setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.41.0 |
| simplejson | 3.17.6 | Sześć | 1.16.0 | Fragmentatora | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | spacy | 3.4.1 |
| spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tabulacji | 0.8.9 | splątane-up-in-unicode | 0.1.0 |
| Wytrzymałość | 8.0.1 | tablica tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 | termcolor | 2.0.1 |
| terminado | 0.9.4 | ścieżka testowa | 0.5.0 | cienki | 8.1.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizatory | 0.12.1 |
| tomli | 2.0.1 | Palnika | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| Tornado | 6.1 | tqdm | 4.62.3 | traitlety | 5.1.0 |
| Transformatory | 4.21.2 | typer | 0.4.2 | wpisywanie rozszerzeń | 3.10.0.2 |
| ujson | 4.0.2 | nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.7 |
| Virtualenv | 20.8.0 | Wizje | 0.7.4 | Wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | Koła | 0.37.0 | widgetsnbextension | 3.6.0 |
| zawijanie | 1.12.1 | xgboost | 1.6.2 | zipp | 3.6.0 |
Biblioteki języka R
Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 11.3 LTS.
Biblioteki Java i Scala (klaster Scala 2.12)
Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 11.3 LTS środowisko Databricks Runtime 11.3 LTS ML zawiera następujące jednostki JAR:
Klastry procesora CPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Klastry procesora GPU
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |