Udostępnij przez

Databricks Runtime 12.0 for Machine Learning (EoS)

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime znajdziesz w notatkach o wersjach i zgodności środowiska Databricks Runtime.

Środowisko Databricks Runtime 12.0 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 12.0 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 12.0 ML jest oparte na środowisku Databricks Runtime 12.0. Aby uzyskać informacje o nowościach w Databricks Runtime 12.0, w tym Apache Spark MLlib i SparkR, zobacz informacje o wersji Databricks Runtime 12.0 (EoS).

Ulepszenia rozwiązania AutoML

  • Modele prognozowania mogą teraz opcjonalnie obejmować wakacje w kraju.
  • Prognozowanie obsługuje teraz częstotliwości miesięczne, kwartalne i roczne.
  • Rozwiązanie AutoML może teraz używać większych zestawów danych do trenowania. Rozwiązanie AutoML automatycznie przydziela więcej rdzeni procesora CPU dla dużych zestawów danych.

Aby uzyskać więcej informacji na temat rozwiązania AutoML, zobacz Co to jest rozwiązanie AutoML?.

MLflow 2.0

Środowisko Databricks Runtime 12.0 ML obejmuje platformę MLflow 2.0. Platforma MLflow 2.0 opiera się na silnej platformie MLflow i obejmuje obszerne opinie użytkowników, aby uprościć przepływy pracy nauki o danych i dostarczać innowacyjne, najwyższej klasy narzędzia dla metodyki MLOps. Funkcje i ulepszenia obejmują rozszerzenia do MLflow Recipes (dawniej MLflow Pipelines), takie jak AutoML, dostrajanie hiperparametrów i obsługa klasyfikacji, a także zmodernizowane integracje z ekosystemem uczenia maszynowego, usprawniony interfejs użytkownika śledzenia MLflow, odświeżanie podstawowych interfejsów API między składnikami platformy MLflow i nie tylko. Aby uzyskać więcej informacji, zobacz dokumentację platformy MLflow 2.0 lub zapoznaj się z wpisem w blogu.

scikit-learn 1.0

Środowisko Databricks Runtime ML 12.0 zawiera scikit-learn wersję 1.0. scikit-learn Odwiedź dokumentację, aby dowiedzieć się więcej o zmianach w tej wersji biblioteki scikit-learn.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 12.0 ML różni się od środowiska Databricks Runtime 12.0 w następujący sposób:

Środowisko Databricks Runtime 12.0 ML zawiera bibliotekę XGBoost 1.6.2, która nie obsługuje klastrów gpu z możliwościami obliczeniowymi 5.2 i nowszymi.

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 12.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 12.0.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 12.0 ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 12.0 ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 12.0 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • automl 1.14.1

Aby odtworzyć środowisko języka Python z Databricks Runtime ML w lokalnym wirtualnym środowisku Python, pobierz plik requirements-12.0.txt i uruchom pip install -r requirements-12.0.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-storelub rozwidlenie usługi Databricks .hyperopt

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.1 azure-cosmos 4.2.0
wywołanie zwrotne 0.2.0 backports.ustawienia-punktów-wejścia 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 czarny 22.3.0 wybielacz 4.1.0
błogostan 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools (narzędzia do zarządzania pamięcią podręczną) 4.2.2 katalog 2.0.8 kodery kategorii 2.5.1.post0
certyfikat 2021.10.8 cffi 1.15.0 chardet 4.0.0
normalizator zestawu znaków 2.0.4 kliknij 8.0.4 cloudpickle (biblioteka Python do serializacji obiektów) 2.0.0
cmdstanpy 1.0.8 słodycze 0.0.3 configparser 5.2.0
konwersjadaty 2.4.0 kryptografia 3.4.8 rowerzysta 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 Sklep z funkcjami Databricks (databricks-feature-store) 0.8.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 dekorator 5.1.1
defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 koper 0.3.4 bufor dyskowy 5.4.0
distlib 0.3.6 punkty wejścia 0,4 efem 4.1.3
Wykonywanie 0.8.3 aspekty — omówienie 1.0.0 fastjsonschema 2.16.2
FastText 0.9.2 blokada plików 3.6.0 Flask 1.1.2
flatbuffers 22.10.26 fonttools 4.25.0 fsspec 2022.2.0
przyszłość 0.18.2 gość 0.4.0 gitdb (baza danych Git) 4.0.9
GitPython 3.1.27 google-auth (autoryzacja Google) 1.33.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 0.4.6
Makaron Google 0.2.0 grpcio 1.42.0 gunicorn 20.1.0
Gviz-API 1.10.0 h5py 3.6.0 konwerter hidżri 2.2.4
wakacje 0,16 korowód 0.25.0 htmlmin 0.1.12
Hugging Face Hub 0.11.0 IDNA 3.3 ImageHash 4.3.1
niezrównoważona nauka 0.8.1 importlib-metadata 4.11.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jegodangerous 2.0.1 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
joblibspark 0.5.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0
Keras 2.10.0 Przetwarzanie wstępne Keras 1.1.2 kiwisolver 1.3.2
koreański kalendarz księżycowy 0.3.1 kody językowe 3.3.0 libclang 14.0.6
lightgbm 3.3.3 llvmlite 0.38.0 Kalendarz księżycowy 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
biblioteka matplotlib 3.5.1 biblioteka matplotlib-inline 0.1.2 missingno (błąd w grze Pokémon) 0.5.1
rozstrajać 0.8.4 mleap 0.20.0 mlflow-skinny 2.0.1
multimetoda 1.8 szmurhash 1.0.9 mypy-extensions 0.4.3
NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 Natural Language Toolkit (nltk) 3.7
notes 6.4.8 numba 0.55.1 numpy 1.21.5
oauthlib 3.2.0 opt-einsum 3.3.0 opakowanie 21,3
Pandas 1.4.2 Profilowanie pandas 3.3.0 pandocfilters 1.5.0
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3 specyfikacja ścieżki 0.9.0
patia 0.6.1 Patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 9.0.1 pip (menedżer pakietów Pythona) 21.2.4 platformdirs 2.5.4
kreślenie 5.6.0 pmdarima 2.0.1 przeszhetowany 3.0.8
prometheus-client 0.13.1 zestaw narzędzi prompt 3.0.20 prorok 1.1.1
Protobuf (w skrócie od Protocol Buffers) 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.1
pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.9.2 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.4
pirstent 0.18.0 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 Python-editor 1.0.4
pytz (biblioteka Pythona do obliczeń stref czasowych) 2021.3 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 22.3.0 wyrażenie regularne 2022-03-15 żądania 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 RSA 4.7.2
s3transfer 0.5.0 scikit-learn 1.0.2 scipy (biblioteka naukowa dla Pythona) 1.7.3
urodzony na morzu 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
setuptools-git 1.2 Shap 0.41.0 simplejson 3.17.6
Sześć 1.16.0 fragmentator 0.0.7 inteligentne otwarcie 5.1.0
smmap 5.0.0 sito do zupy 2.3.1 rozkojarzony 3.4.1
spacy-legacy 3.0.10 spacy-loggers 1.0.3 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0
sqlparse 0.4.2 serio 2.4.5 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10
stos danych 0.2.0 statsmodels - biblioteka do modelowania statystycznego 0.13.2 zliczanie danych 0.8.9
splątane-w-unicode 0.2.0 Wytrzymałość 8.0.1 tablica tensorboard 2.10.0
serwer danych TensorBoard 0.6.1 wtyczka TensorBoard do profilowania 2.8.0 wtyczka-tensorboard-wit 1.8.1
tensorflow-cpu 2.10.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.10.0 tensorflow-io-gcs-filesystem 0.28.0
termcolor (narzędzie do zarządzania kolorami w terminalu) 2.1.1 ukończony 0.13.1 ścieżka testowa 0.5.0
cienki 8.1.5 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizatory 0.13.2 tomli 1.2.2 pochodnia 1.12.1+ procesor
TorchVision (Wizja Pochodni 0.13.1+ procesor tornado 6.1 tqdm 4.64.0
traitlety 5.1.1 Transformatory 4.23.1 pisarz 0.4.2
moduł typing_extensions 4.1.1 nienadzorowane uaktualnienia 0.1 urllib3 1.26.9
virtualenv 20.8.0 Wizje 0.7.5 wasabi 0.10.1
szerokość(wcwidth) 0.2.5 kodowania webowe 0.5.1 klient websocket 0.58.0
Narzędzie 2.0.3 wheel 0.37.1 widgetsnbextension 3.6.1
zawijanie 1.12.1 zamek błyskawiczny 3.7.0

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.1 azure-cosmos 4.2.0
wywołanie zwrotne 0.2.0 backports.ustawienia-punktów-wejścia 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 czarny 22.3.0 wybielacz 4.1.0
błogostan 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools (narzędzia do zarządzania pamięcią podręczną) 4.2.2 katalog 2.0.8 kodery kategorii 2.5.1.post0
certyfikat 2021.10.8 cffi 1.15.0 chardet 4.0.0
normalizator zestawu znaków 2.0.4 kliknij 8.0.4 cloudpickle (biblioteka Python do serializacji obiektów) 2.0.0
cmdstanpy 1.0.8 słodycze 0.0.3 configparser 5.2.0
konwersjadaty 2.4.0 kryptografia 3.4.8 rowerzysta 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 Sklep z funkcjami Databricks (databricks-feature-store) 0.8.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 dekorator 5.1.1
defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 koper 0.3.4 bufor dyskowy 5.4.0
distlib 0.3.6 punkty wejścia 0,4 efem 4.1.3
Wykonywanie 0.8.3 aspekty — omówienie 1.0.0 fastjsonschema 2.16.2
FastText 0.9.2 blokada plików 3.6.0 Flask 1.1.2
flatbuffers 22.10.26 fonttools 4.25.0 fsspec 2022.2.0
przyszłość 0.18.2 gość 0.4.0 gitdb (baza danych Git) 4.0.9
GitPython 3.1.27 google-auth (autoryzacja Google) 1.33.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 0.4.6
Makaron Google 0.2.0 grpcio 1.42.0 gunicorn 20.1.0
Gviz-API 1.10.0 h5py 3.6.0 konwerter hidżri 2.2.4
wakacje 0,16 korowód 0.25.0 htmlmin 0.1.12
Hugging Face Hub 0.11.0 IDNA 3.3 ImageHash 4.3.1
niezrównoważona nauka 0.8.1 importlib-metadata 4.11.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jegodangerous 2.0.1 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
joblibspark 0.5.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0
Keras 2.10.0 Przetwarzanie wstępne Keras 1.1.2 kiwisolver 1.3.2
koreański kalendarz księżycowy 0.3.1 kody językowe 3.3.0 libclang 14.0.6
lightgbm 3.3.3 llvmlite 0.38.0 Kalendarz księżycowy 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
biblioteka matplotlib 3.5.1 biblioteka matplotlib-inline 0.1.2 missingno (błąd w grze Pokémon) 0.5.1
rozstrajać 0.8.4 mleap 0.20.0 mlflow-skinny 2.0.1
multimetoda 1.8 szmurhash 1.0.9 mypy-extensions 0.4.3
NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 Natural Language Toolkit (nltk) 3.7
notes 6.4.8 numba 0.55.1 numpy 1.21.5
oauthlib 3.2.0 opt-einsum 3.3.0 opakowanie 21,3
Pandas 1.4.2 Profilowanie pandas 3.3.0 pandocfilters 1.5.0
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3 specyfikacja ścieżki 0.9.0
patia 0.6.1 Patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 9.0.1 pip (menedżer pakietów Pythona) 21.2.4 platformdirs 2.5.4
kreślenie 5.6.0 pmdarima 2.0.1 przeszhetowany 3.0.8
zestaw narzędzi prompt 3.0.20 prorok 1.1.1 Protobuf (w skrócie od Protocol Buffers) 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.1 pycparser 2.21
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.9.2 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.4 pirstent 0.18.0
python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 Python-editor 1.0.4 pytz (biblioteka Pythona do obliczeń stref czasowych) 2021.3
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 22.3.0
wyrażenie regularne 2022-03-15 żądania 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 RSA 4.7.2 s3transfer 0.5.0
scikit-learn 1.0.2 scipy (biblioteka naukowa dla Pythona) 1.7.3 urodzony na morzu 0.11.2
Send2Trash 1.8.0 setuptools 61.2.0 setuptools-git 1.2
Shap 0.41.0 simplejson 3.17.6 Sześć 1.16.0
fragmentator 0.0.7 inteligentne otwarcie 5.1.0 smmap 5.0.0
sito do zupy 2.3.1 rozkojarzony 3.4.1 spacy-legacy 3.0.10
spacy-loggers 1.0.3 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 sqlparse 0.4.2
serio 2.4.5 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10 stos danych 0.2.0
statsmodels - biblioteka do modelowania statystycznego 0.13.2 zliczanie danych 0.8.9 splątane-w-unicode 0.2.0
Wytrzymałość 8.0.1 tablica tensorboard 2.10.0 serwer danych TensorBoard 0.6.1
wtyczka TensorBoard do profilowania 2.8.0 wtyczka-tensorboard-wit 1.8.1 TensorFlow 2.10.0
tensorflow-estimator (moduł TensorFlow do estymacji) 2.10.0 tensorflow-io-gcs-filesystem 0.28.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 2.1.1
ukończony 0.13.1 ścieżka testowa 0.5.0 cienki 8.1.5
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizatory 0.13.2
tomli 1.2.2 pochodnia 1.12.1+cu113 TorchVision (Wizja Pochodni 0.13.1+cu113
tornado 6.1 tqdm 4.64.0 traitlety 5.1.1
Transformatory 4.23.1 pisarz 0.4.2 moduł typing_extensions 4.1.1
nienadzorowane uaktualnienia 0.1 urllib3 1.26.9 virtualenv 20.8.0
Wizje 0.7.5 wasabi 0.10.1 szerokość(wcwidth) 0.2.5
kodowania webowe 0.5.1 klient websocket 0.58.0 Narzędzie 2.0.3
wheel 0.37.1 widgetsnbextension 3.6.1 zawijanie 1.12.1
zamek błyskawiczny 3.7.0

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 12.0.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 12.0 środowisko Databricks Runtime 12.0 ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.6.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on