Databricks Runtime 11.0 for Machine Edukacja (nieobsługiwane)
Środowisko Databricks Runtime 11.0 for Machine Edukacja zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 11.0 (nieobsługiwane). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.
Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks, zobacz AI and Machine Edukacja on Databricks (Sztuczna inteligencja i maszyna Edukacja w usłudze Databricks).
Nowe funkcje i ulepszenia
Środowisko Databricks Runtime 11.0 ML jest oparte na środowisku Databricks Runtime 11.0. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 11.0, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 11.0 (nieobsługiwane).
Ulepszenia rozwiązania AutoML usługi Databricks
Rozwiązanie AutoML usługi Databricks obsługuje teraz wyższe ułamki próbkowania w celu uzyskania lepszej wydajności w dużych zestawach danych. Aby uzyskać szczegółowe informacje, zobacz Próbkowanie dużych zestawów danych.
Środowisko systemu
Środowisko systemowe w środowisku Databricks Runtime 11.0 ML różni się od środowiska Databricks Runtime 11.0 w następujący sposób:
- DBUtils: Środowisko uruchomieniowe Databricks Runtime ML nie zawiera narzędzia biblioteki (dbutils.library) (starsza wersja).
Zamiast tego użyj
%pip
poleceń. Zobacz Biblioteki języka Python o zakresie notesu. - W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Biblioteki
W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 11.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 11.0.
W tej sekcji:
- Biblioteki najwyższego poziomu
- Biblioteki języka Python
- Biblioteki języka R
- Biblioteki Java i Scala (klaster Scala 2.12)
Biblioteki najwyższego poziomu
Środowisko Databricks Runtime 11.0 ML obejmuje następujące biblioteki najwyższego poziomu:
- GraphFrames
- Horovod i HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Biblioteki języka Python
Środowisko Databricks Runtime 11.0 ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.
Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 11.0 ML zawiera również następujące pakiety:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.4.1
- automl 1.10
Biblioteki języka Python w klastrach procesora CPU
Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
---|---|---|---|---|---|
absl-py | 1.0.0 | Antergos Linux | 2015.10 (rolling ISO) | argon2-cffi | 20.1.0 |
Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1.10 |
attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
bcrypt | 3.2.2 | Bleach | 4.0.0 | blis | 0.7.7 |
boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.1.0 |
Katalog | 2.0.7 | certifi | 2021.10.8 | cffi | 1.14.6 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | kliknięcie | 8.0.3 |
cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
konwertuj | 2.4.0 | Kryptografii | 3.4.8 | Cycler | 0.10.0 |
cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.8 |
databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
debugpy | 1.4.1 | Dekorator | 5.1.0 | defusedxml | 0.7.1 |
Koperek | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.4 |
dystrybucja informacji | 0.23ubuntu1 | punkty wejścia | 0.3 | efem | 4.1.3 |
aspekty — omówienie | 1.0.0 | fasttext | 0.9.2 | filelock | 3.3.1 |
Flask | 1.1.2 | flatbuffers | 2.0 | fsspec | 2021.8.1 |
Przyszłości | 0.18.2 | Gast | 0.5.3 | gitdb | 4.0.9 |
GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
makaron google | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
gviz-api | 1.10.0 | h5py | 3.3.0 | konwerter hidżri | 2.2.3 |
Wakacje | 0,13 | horovod | 0.24.3 | htmlmin | 0.1.12 |
przytulanieface-hub | 0.6.0 | Idna | 3.2 | ImageHash | 4.2.1 |
niezrównoważona nauka | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
Ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
isodate | 0.6.1 | jegodangerous | 2.0.1 | Jedi | 0.18.0 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
keras | 2.8.0 | Przetwarzanie wstępne protokołu Keras | 1.1.2 | kiwisolver | 1.3.1 |
koreański kalendarz księżycowy | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.1 |
lightgbm | 3.3.2 | llvmlite | 0.38.0 | KsiężycowyCalendar | 0.0.9 |
Mako | 1.2.0 | Znaczniki języka Markdown | 3.3.6 | Znaczniki Sejf | 2.0.1 |
matplotlib | 3.4.3 | biblioteka matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.26.0 |
multimethod | 1.8 | szmurhash | 1.0.7 | nbclient | 0.5.3 |
nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
networkx | 2.6.3 | nltk | 3.6.5 | notes | 6.4.5 |
numba | 0.55.1 | Numpy | 1.20.3 | oauthlib | 3.2.0 |
opt-einsum | 3.3.0 | Opakowania | 21,0 | Pandas | 1.3.4 |
Profilowanie biblioteki pandas | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
parso | 0.8.2 | pathy | 0.6.1 | Patsy | 0.5.2 |
petastorm | 0.11.4 | pexpect | 4.8.0 | phik | 0.12.2 |
pickleshare | 0.7.5 | Poduszkę | 8.4.0 | Pip | 21.2.4 |
platformdirs | 2.5.2 | kreślenie | 5.6.0 | pmdarima | 1.8.5 |
preshed | 3.0.6 | prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 |
Proroka | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 |
pycparser | 2,20 | pydantic | 1.8.2 | Pygments | 2.10.0 |
PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
pyodbc | 4.0.31 | pyparsing | 3.0.4 | pirstent | 0.18.0 |
pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
Python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
PyYAML | 6.0 | pyzmq | 22.2.1 | Regex | 2021.8.3 |
żądania | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
rsa | 4.8 | s3transfer | 0.5.2 | sacremoses | 0.0.53 |
scikit-learn | 0.24.2 | scipy | 1.7.1 | seaborn | 0.11.2 |
Send2Trash | 1.8.0 | setuptools | 58.0.4 | setuptools-git | 1.2 |
Shap | 0.40.0 | simplejson | 3.17.6 | Sześć | 1.16.0 |
Fragmentatora | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
spacy | 3.2.3 | spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 |
spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | srsly | 2.4.3 |
ssh-import-id | 5.10 | statsmodels | 0.12.2 | tabulacji | 0.8.9 |
splątane-up-in-unicode | 0.1.0 | Wytrzymałość | 8.0.1 | tablica tensorboard | 2.8.0 |
tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.5.0 | tensorboard-plugin-wit | 1.8.1 |
tensorflow-cpu | 2.8.0 | tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 |
termcolor | 1.1.0 | terminado | 0.9.4 | ścieżka testowa | 0.5.0 |
tf-estimator-nightly | 2.8.0.dev2021212109 | cienki | 8.0.15 | threadpoolctl | 2.2.0 |
tokenizatory | 0.12.1 | Palnika | 1.11.0+procesor | torchvision | 0.12.0+ procesor |
Tornado | 6.1 | tqdm | 4.62.3 | traitlety | 5.1.0 |
Transformatory | 4.17.0 | typer | 0.4.1 | wpisywanie rozszerzeń | 3.10.0.2 |
ujson | 4.0.2 | nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.7 |
Virtualenv | 20.8.0 | Wizje | 0.7.4 | Wasabi | 0.9.1 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
Werkzeug | 2.0.2 | Koła | 0.37.0 | widgetsnbextension | 3.6.0 |
zawijanie | 1.12.1 | xgboost | 1.5.2 | zipp | 3.6.0 |
Biblioteki języka Python w klastrach gpu
Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
---|---|---|---|---|---|
absl-py | 1.0.0 | Antergos Linux | 2015.10 (rolling ISO) | argon2-cffi | 20.1.0 |
Astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1.10 |
attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
bcrypt | 3.2.2 | Bleach | 4.0.0 | blis | 0.7.7 |
boto3 | 1.21.18 | botocore | 1.24.18 | cachetools | 5.1.0 |
Katalog | 2.0.7 | certifi | 2021.10.8 | cffi | 1.14.6 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | kliknięcie | 8.0.3 |
cloudpickle | 2.0.0 | cmdstanpy | 0.9.68 | configparser | 5.2.0 |
konwertuj | 2.4.0 | Kryptografii | 3.4.8 | Cycler | 0.10.0 |
cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.8 |
databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
debugpy | 1.4.1 | Dekorator | 5.1.0 | defusedxml | 0.7.1 |
Koperek | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.4 |
dystrybucja informacji | 0.23ubuntu1 | punkty wejścia | 0.3 | efem | 4.1.3 |
aspekty — omówienie | 1.0.0 | fasttext | 0.9.2 | filelock | 3.3.1 |
Flask | 1.1.2 | flatbuffers | 2.0 | fsspec | 2021.8.1 |
Przyszłości | 0.18.2 | Gast | 0.5.3 | gitdb | 4.0.9 |
GitPython | 3.1.27 | google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 |
makaron google | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
gviz-api | 1.10.0 | h5py | 3.3.0 | konwerter hidżri | 2.2.3 |
Wakacje | 0,13 | horovod | 0.24.3 | htmlmin | 0.1.12 |
przytulanieface-hub | 0.6.0 | Idna | 3.2 | ImageHash | 4.2.1 |
niezrównoważona nauka | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
Ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
isodate | 0.6.1 | jegodangerous | 2.0.1 | Jedi | 0.18.0 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
keras | 2.8.0 | Przetwarzanie wstępne protokołu Keras | 1.1.2 | kiwisolver | 1.3.1 |
koreański kalendarz księżycowy | 0.2.1 | langcodes | 3.3.0 | libclang | 14.0.1 |
lightgbm | 3.3.2 | llvmlite | 0.38.0 | KsiężycowyCalendar | 0.0.9 |
Mako | 1.2.0 | Znaczniki języka Markdown | 3.3.6 | Znaczniki Sejf | 2.0.1 |
matplotlib | 3.4.3 | biblioteka matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.26.0 |
multimethod | 1.8 | szmurhash | 1.0.7 | nbclient | 0.5.3 |
nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
networkx | 2.6.3 | nltk | 3.6.5 | notes | 6.4.5 |
numba | 0.55.1 | Numpy | 1.20.3 | oauthlib | 3.2.0 |
opt-einsum | 3.3.0 | Opakowania | 21,0 | Pandas | 1.3.4 |
Profilowanie biblioteki pandas | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
parso | 0.8.2 | pathy | 0.6.1 | Patsy | 0.5.2 |
petastorm | 0.11.4 | pexpect | 4.8.0 | phik | 0.12.2 |
pickleshare | 0.7.5 | Poduszkę | 8.4.0 | Pip | 21.2.4 |
platformdirs | 2.5.2 | kreślenie | 5.6.0 | pmdarima | 1.8.5 |
preshed | 3.0.6 | prompt-toolkit | 3.0.20 | Proroka | 1.0.1 |
protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 | pycparser | 2,20 |
pydantic | 1.8.2 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
pyparsing | 3.0.4 | pirstent | 0.18.0 | pystan | 2.19.1.1 |
python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | Python-editor | 1.0.4 |
pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6.0 |
pyzmq | 22.2.1 | Regex | 2021.8.3 | żądania | 2.26.0 |
requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | rsa | 4.8 |
s3transfer | 0.5.2 | sacremoses | 0.0.53 | scikit-learn | 0.24.2 |
scipy | 1.7.1 | seaborn | 0.11.2 | Send2Trash | 1.8.0 |
setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.40.0 |
simplejson | 3.17.6 | Sześć | 1.16.0 | Fragmentatora | 0.0.7 |
smart-open | 5.2.1 | smmap | 5.0.0 | spacy | 3.2.3 |
spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
sqlparse | 0.4.2 | srsly | 2.4.3 | ssh-import-id | 5.10 |
statsmodels | 0.12.2 | tabulacji | 0.8.9 | splątane-up-in-unicode | 0.1.0 |
Wytrzymałość | 8.0.1 | tablica tensorboard | 2.8.0 | tensorboard-data-server | 0.6.1 |
tensorboard-plugin-profile | 2.5.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.8.0 |
tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 | termcolor | 1.1.0 |
terminado | 0.9.4 | ścieżka testowa | 0.5.0 | tf-estimator-nightly | 2.8.0.dev2021212109 |
cienki | 8.0.15 | threadpoolctl | 2.2.0 | tokenizatory | 0.12.1 |
Palnika | 1.11.0+cu113 | torchvision | 0.12.0+cu113 | Tornado | 6.1 |
tqdm | 4.62.3 | traitlety | 5.1.0 | Transformatory | 4.17.0 |
typer | 0.4.1 | wpisywanie rozszerzeń | 3.10.0.2 | ujson | 4.0.2 |
nienadzorowane uaktualnienia | 0.1 | urllib3 | 1.26.7 | Virtualenv | 20.8.0 |
Wizje | 0.7.4 | Wasabi | 0.9.1 | wcwidth | 0.2.5 |
webencodings | 0.5.1 | websocket-client | 1.3.1 | Werkzeug | 2.0.2 |
Koła | 0.37.0 | widgetsnbextension | 3.6.0 | zawijanie | 1.12.1 |
xgboost | 1.5.2 | zipp | 3.6.0 |
Pakiety platformy Spark zawierające moduły języka Python
Pakiet Platformy Spark | Moduł języka Python | Wersja |
---|---|---|
ramki grafu | ramki grafu | 0.8.2-db1-spark3.2 |
Biblioteki języka R
Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 11.0.
Biblioteki Java i Scala (klaster Scala 2.12)
Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 11.0 środowisko Databricks Runtime 11.0 ML zawiera następujące elementy JAR:
Klastry procesora CPU
Identyfikator grupy | Identyfikator artefaktu | Wersja |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
ml.dmlc | xgboost4j_2.12 | 1.5.2 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
org.mlflow | mlflow-client | 1.26.0 |
org.mlflow | mlflow-spark | 1.26.0 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Klastry procesora GPU
Identyfikator grupy | Identyfikator artefaktu | Wersja |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
ml.dmlc | xgboost4j_2.12 | 1.5.2 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
org.mlflow | mlflow-client | 1.26.0 |
org.mlflow | mlflow-spark | 1.26.0 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |