Udostępnij przez

Databricks Runtime 9.1 LTS na potrzeby uczenia maszynowego

Databricks opublikował ten obraz i ogłosił go jako Wsparcie Długoterminowe (LTS) we wrześniu 2021 r.

Środowisko Databricks Runtime 9.1 LTS for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 9.1 LTS. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Uwaga / Notatka

LTS oznacza, że ta wersja jest objęta długoterminową pomocą techniczną. Zobacz Cykl życia wersji LTS środowiska Databricks Runtime.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.

Nowe funkcje i ulepszenia

zautomatyzowane uczenie maszynowe

Poniższe ulepszenia są dostępne w środowisku Databricks Runtime 9.1 LTS ML lub nowszym.

Rozwiązanie AutoML obsługuje większe zestawy danych przez próbkowanie

Rozwiązanie AutoML teraz próbkuje zestawy danych, które mogą przekraczać ograniczenia pamięci, co pozwala na uruchamianie ich na większych zestawach danych z mniejszym ryzykiem błędów braku pamięci. Aby uzyskać szczegółowe informacje, zobacz Próbkowanie dużych zestawów danych.

AutoML preprocessuje kolumny na podstawie typu semantycznego

Rozwiązanie AutoML wykrywa niektóre kolumny, które mają typ semantyczny, który różni się od typu danych platformy Spark lub biblioteki pandas. Następnie rozwiązanie AutoML konwertuje i stosuje kroki przetwarzania wstępnego danych na podstawie wykrytego typu semantycznego. W szczególności rozwiązanie AutoML wykonuje następujące konwersje:

  • Kolumny ciągów i liczb całkowitych reprezentujące dane daty lub znacznika czasu są konwertowane na typ znacznika czasu.
  • Kolumny ciągów reprezentujące dane liczbowe są konwertowane na typ liczbowy.

Ulepszenia notatników generowanych przez AutoML

Kroki wstępnego przetwarzania kolumn daty i znacznika czasu są teraz uwzględniane w pakiecie databricks-automl-runtime, co upraszcza notatniki generowane przez trening AutoML. databricks-automl-runtime jest zawarty w środowisku Databricks Runtime 9.1 LTS ML i nowszym, a także dostępny na PyPI.

Magazyn funkcji

Poniższe ulepszenia są dostępne w środowisku Databricks Runtime 9.1 LTS ML lub nowszym.

  • Podczas tworzenia zestawu TrainingSet można teraz ustawić label=None na obsługę aplikacji szkoleniowych bez nadzoru.
  • Teraz można określić więcej niż jedną funkcję w jednym FeatureLookupelemencie.
  • Teraz możesz określić niestandardową ścieżkę dla tabel funkcji. Użyj parametru path w pliku create_feature_table(). Wartość domyślna to lokalizacja bazy danych.
  • Nowe obsługiwane typy danych PySpark: ArrayType i ShortType.

Przepływ danych

Poniższe ulepszenia są dostępne począwszy od platformy MLflow w wersji 1.20.2, która jest zawarta w środowisku Databricks Runtime 9.1 LTS ML.

  • Automatyczne rejestrowanie dla biblioteki scikit-learn rejestruje teraz metryki po trenowaniu za każdym razem, gdy wywoływany jest interfejs API oceny biblioteki scikit-learn, taki jak sklearn.metrics.mean_squared_error, .
  • Automatyczne rejestrowanie dla PySpark ML teraz zapisuje metryki po trenowaniu za każdym razem, gdy wywoływany jest interfejs API oceny modelu, taki jak Evaluator.evaluate().
  • mlflow.*.log_model i mlflow.*.save_model teraz mają argumenty pip_requirements i extra_pip_requirements, dzięki którym można bezpośrednio określić wymagania pip modelu do rejestrowania lub zapisywania.
  • mlflow.*.log_model a mlflow.*.save_model teraz automatycznie wywnioskują wymagania pip modelu w celu rejestrowania lub zapisywania na podstawie bieżącego środowiska oprogramowania.
  • stdMetrics wpisy są teraz rejestrowane jako metryki szkoleniowe podczas automatycznego rejestrowania walidacji krzyżowej PySpark.
  • Automatyczne rejestrowanie PyTorch Lightning obsługuje teraz wykonywanie w środowisku rozproszonym.

Autologging w Databricks (publiczna wersja próbna)

Publiczna wersja zapoznawcza automatycznego rejestrowania usługi Databricks została rozszerzona do nowych regionów. Automatyczne rejestrowanie usługi Databricks to rozwiązanie bez kodu, które zapewnia automatyczne śledzenie eksperymentów na potrzeby sesji uczenia maszynowego w usłudze Azure Databricks. Dzięki Databricks Autologging parametry modelu, metryki, pliki i informacje o pochodzeniu są automatycznie przechwytywane podczas trenowania modeli z różnych popularnych bibliotek uczenia maszynowego. Sesje szkoleniowe są rejestrowane jako MLflow Tracking Runs. Pliki modelu są również śledzone, dzięki czemu można je łatwo rejestrować w rejestrze modeli MLflow i wdrażać je na potrzeby oceniania w czasie rzeczywistym za pomocą usługi MLflow Model Serving.

Aby uzyskać więcej informacji na temat automatycznego rejestrowania w usłudze Databricks, zobacz Automatyczne rejestrowanie w usłudze Databricks.

Istotne zmiany w środowisku Databricks Runtime ML dla języka Python

Uaktualnione pakiety języka Python

  • automl 1.1.1 => 1.2.1
  • feature_store 0,3,3 => 0,3,4,1
  • dni wolne 0.10.5.2 => 0.11.2
  • Keras 2.5.0 => 2.6.0
  • mlflow 1.19.0 => 1.20.2
  • Petastorm 0.11.1 => 0.11.2
  • Wykres 4.14.3 => 5.1.0
  • rozdzielacz iskrowy tensorflow 0,1,0 => 1,0,0
  • Błyszczący 2.2.0_db1 => 2.2.0_db3
  • tensorboard 2.5.0 => 2.6.0
  • TensorFlow 2.5.0 => 2.6.0

Dodane pakiety języka Python

  • databricks-automl-runtime 0.1.0

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 9.1 LTS ML różni się od środowiska Databricks Runtime 9.1 LTS w następujący sposób:

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 9.1 LTS ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 9.1 LTS.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 9.1 LTS ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 9.1 LTS ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 9.1 LTS ML zawiera również następujące pakiety:

  • hyperopt 0.2.5.db2
  • Błyszczące 2.2.0_db3
  • feature_store 0.3.4.1
  • automl 1.2.1

Biblioteki języka Python w klastrach procesora CPU

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 0.11.0 Antergos Linux 2015.10 (ISO w trybie ciągłym) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
generator asynchroniczny 1.10 attrs 20.3.0 Wezwanie zwrotne 0.2.0
bcrypt 3.2.0 wybielacz 3.3.0 boto3 1.16.7
botocore 1.19.7 Wąskie gardło 1.3.2 cachetools (narzędzia do zarządzania pamięcią podręczną) 4.2.2
certyfikat 2020.12.5 cffi 1.14.5 chardet 4.0.0
dzwonienie 5,0 kliknij 7.1.2 cloudpickle (biblioteka Python do serializacji obiektów) 1.6.0
cmdstanpy 0.9.68 configparser 5.0.1 konwertuj datę 2.3.2
kryptografia 3.4.7 rowerzysta 0.10.0 Cython 0.29.23
databricks-automl-runtime 0.1.0 databricks-cli 0.14.3 dbus-python 1.2.16
dekorator 5.0.6 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 koper 0.3.2
bufor dyskowy 5.2.1 distlib 0.3.2 informacje o dystrybucji 0.23ubuntu1
punkty wejścia 0,3 efem 4.0.0.2 aspekty — omówienie 1.0.0
blokada plików 3.0.12 Flask 1.1.2 flatbuffers 1.12
fsspec 0.9.0 przyszłość 0.18.2 Гаст 0.4.0
gitdb (baza danych Git) 4.0.7 GitPython 3.1.12 google-auth (autoryzacja Google) 1.22.1
google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 0.4.2 Google-pasta 0.2.0 grpcio 1.39.0
gunicorn 20.0.4 h5py 3.1.0 konwerter hidżryjski 2.2.1
wakacje 0.11.2 korowód 0.22.1 htmlmin 0.1.12
IDNA 2.10 ImageHash 4.2.1 importlib-metadata 3.10.0
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 isodate 0.6.0 to jest niebezpieczne 1.1.0
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 joblibspark 0.3.0 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
Widżety JupyterLab 1.0.0 Keras 2.6.0 Przetwarzanie wstępne w Keras 1.1.2
kiwisolver 1.3.1 Koale 1.8.1 koreański kalendarz księżycowy 0.2.1
lightgbm 3.1.1 llvmlite 0.37.0 Księżycowy Kalendarz 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 1.1.1
biblioteka matplotlib 3.4.2 missingno (błąd w grze Pokémon) 0.5.0 Mistune 0.8.4
mleap 0.17.0 mlflow-skinny 1.20.2 wielometoda 1.4
NBClient 0.5.3 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 networkx 2,5 Natural Language Toolkit (nltk) 3.6.1
notes 6.3.0 numba 0.54.0 numpy 1.19.2
oauthlib 3.1.0 opt-einsum 3.3.0 opakowanie 20.9
Pandas 1.2.4 Pandas Profiling 3.0.0 pandocfilters 1.4.3
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.7.2 parso 0.7.0 ofiara 0.5.1
petastorm 0.11.2 pexpect 4.8.0 phik 0.12.0
pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 8.2.0 pip (menedżer pakietów Pythona) 21.0.1
kreślenie 5.1.0 prometheus-client 0.10.1 zestaw narzędzi prompt 3.0.17
prorok 1.0.1 Protobuf (w skrócie od Protocol Buffers) 3.17.2 psutil 5.8.0
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pycparser 2,20
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.8.2 Pygments 2.8.1 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.3.0 pyodbc 4.0.30
pyparsing – biblioteka do przetwarzania tekstu w Pythonie 2.4.7 pirstent 0.17.3 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.1 Pythonowy edytor 1.0.4
pytz (biblioteka Pythona do obliczeń stref czasowych) 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 wyrażenie regularne 2021.4.4 żądania 2.25.1
requests-oauthlib 1.3.0 requests-unixsocket 0.2.0 RSA 4.7.2
s3transfer 0.3.7 scikit-learn 0.24.1 scipy (biblioteka naukowa dla Pythona) 1.6.2
urodzony na morzu 0.11.1 Send2Trash 1.5.0 setuptools 52.0.0
setuptools-git 1.2 kształt 0.39.0 simplejson 3.17.2
sześć 1.15.0 fragmentator 0.0.7 smmap 3.0.5
spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 sqlparse 0.4.1 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10
statsmodels - biblioteka do modelowania statystycznego 0.12.2 sporządzać tabelę 0.8.7 splątane w Unicode 0.1.0
Wytrzymałość 6.2.0 TensorBoard 2.6.0 serwer danych TensorBoard 0.6.1
wtyczka-tensorboard-wit 1.8.0 tensorflow-cpu 2.6.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.6.0
termcolor (narzędzie do zarządzania kolorami w terminalu) 1.1.0 zakończony 0.9.4 ścieżka testowa 0.4.4
threadpoolctl 2.1.0 pochodnia 1.9.0+ procesor TorchVision (Wizja Pochodni 0.10.0+procesor
tornado 6.1 tqdm 4.59.0 traitlety 5.0.5
wpisywanie rozszerzeń 3.7.4.3 ujson (szybka biblioteka do obsługi formatu JSON) 4.0.2 nienadzorowane uaktualnienia 0.1
urllib3 1.25.11 virtualenv 20.4.1 Wizje 0.7.1
szerokość(wcwidth) 0.2.5 kodowania webowe 0.5.1 websocket-klient 0.57.0
Narzędzie 1.0.1 wheel 0.36.2 widgetsnbextension 3.5.1
zawinięty 1.12.1 xgboost 1.4.2 zamek błyskawiczny 3.4.1

Biblioteki języka Python w klastrach gpu

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 0.11.0 Antergos Linux 2015.10 (ISO w trybie ciągłym) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
generator asynchroniczny 1.10 attrs 20.3.0 Wezwanie zwrotne 0.2.0
bcrypt 3.2.0 wybielacz 3.3.0 boto3 1.16.7
botocore 1.19.7 Wąskie gardło 1.3.2 cachetools (narzędzia do zarządzania pamięcią podręczną) 4.2.2
certyfikat 2020.12.5 cffi 1.14.5 chardet 4.0.0
dzwonienie 5,0 kliknij 7.1.2 cloudpickle (biblioteka Python do serializacji obiektów) 1.6.0
cmdstanpy 0.9.68 configparser 5.0.1 konwertuj datę 2.3.2
kryptografia 3.4.7 rowerzysta 0.10.0 Cython 0.29.23
databricks-automl-runtime 0.1.0 databricks-cli 0.14.3 dbus-python 1.2.16
dekorator 5.0.6 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 koper 0.3.2
bufor dyskowy 5.2.1 distlib 0.3.2 informacje o dystrybucji 0.23ubuntu1
punkty wejścia 0,3 efem 4.0.0.2 aspekty — omówienie 1.0.0
blokada plików 3.0.12 Flask 1.1.2 flatbuffers 1.12
fsspec 0.9.0 przyszłość 0.18.2 Гаст 0.4.0
gitdb (baza danych Git) 4.0.7 GitPython 3.1.12 google-auth (autoryzacja Google) 1.22.1
google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 0.4.2 Google-pasta 0.2.0 grpcio 1.39.0
gunicorn 20.0.4 h5py 3.1.0 konwerter hidżryjski 2.2.1
wakacje 0.11.2 korowód 0.22.1 htmlmin 0.1.12
IDNA 2.10 ImageHash 4.2.1 importlib-metadata 3.10.0
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 isodate 0.6.0 to jest niebezpieczne 1.1.0
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 joblibspark 0.3.0 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
Widżety JupyterLab 1.0.0 Keras 2.6.0 Przetwarzanie wstępne w Keras 1.1.2
kiwisolver 1.3.1 Koale 1.8.1 koreański kalendarz księżycowy 0.2.1
lightgbm 3.1.1 llvmlite 0.37.0 Księżycowy Kalendarz 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 1.1.1
biblioteka matplotlib 3.4.2 missingno (błąd w grze Pokémon) 0.5.0 Mistune 0.8.4
mleap 0.17.0 mlflow-skinny 1.20.2 wielometoda 1.4
NBClient 0.5.3 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 networkx 2,5 Natural Language Toolkit (nltk) 3.6.1
notes 6.3.0 numba 0.54.0 numpy 1.19.2
oauthlib 3.1.0 opt-einsum 3.3.0 opakowanie 20.9
Pandas 1.2.4 Pandas Profiling 3.0.0 pandocfilters 1.4.3
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.7.2 parso 0.7.0 ofiara 0.5.1
petastorm 0.11.2 pexpect 4.8.0 phik 0.12.0
pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 8.2.0 pip (menedżer pakietów Pythona) 21.0.1
kreślenie 5.1.0 zestaw narzędzi prompt 3.0.17 prorok 1.0.1
Protobuf (w skrócie od Protocol Buffers) 3.17.2 psutil 5.8.0 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pycparser 2,20 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.8.2
Pygments 2.8.1 PyGObject 3.36.0 PyMeeus 0.5.11
PyNaCl 1.3.0 pyodbc 4.0.30 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 2.4.7
pirstent 0.17.3 pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.1 Pythonowy edytor 1.0.4 pytz (biblioteka Pythona do obliczeń stref czasowych) 2020.5
PyWavelets 1.1.1 PyYAML 5.4.1 pyzmq 20.0.0
wyrażenie regularne 2021.4.4 żądania 2.25.1 requests-oauthlib 1.3.0
requests-unixsocket 0.2.0 RSA 4.7.2 s3transfer 0.3.7
scikit-learn 0.24.1 scipy (biblioteka naukowa dla Pythona) 1.6.2 urodzony na morzu 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 setuptools-git 1.2
kształt 0.39.0 simplejson 3.17.2 sześć 1.15.0
fragmentator 0.0.7 smmap 3.0.5 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0
sqlparse 0.4.1 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10 statsmodels - biblioteka do modelowania statystycznego 0.12.2
sporządzać tabelę 0.8.7 splątane w Unicode 0.1.0 Wytrzymałość 6.2.0
TensorBoard 2.6.0 serwer danych TensorBoard 0.6.1 wtyczka-tensorboard-wit 1.8.0
TensorFlow 2.6.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.6.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 1.1.0
zakończony 0.9.4 ścieżka testowa 0.4.4 threadpoolctl 2.1.0
pochodnia 1.9.0+cu111 TorchVision (Wizja Pochodni 0.10.0+cu111 tornado 6.1
tqdm 4.59.0 traitlety 5.0.5 wpisywanie rozszerzeń 3.7.4.3
ujson (szybka biblioteka do obsługi formatu JSON) 4.0.2 nienadzorowane uaktualnienia 0.1 urllib3 1.25.11
virtualenv 20.4.1 Wizje 0.7.1 szerokość(wcwidth) 0.2.5
kodowania webowe 0.5.1 websocket-klient 0.57.0 Narzędzie 1.0.1
wheel 0.36.2 widgetsnbextension 3.5.1 zawinięty 1.12.1
xgboost 1.4.2 zamek błyskawiczny 3.4.1

Pakiety platformy Spark zawierające moduły języka Python

Pakiet Spark Moduł języka Python wersja
GraphFrames GraphFrames 0.8.1-db3-spark3.1

Biblioteki języka R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 9.1 LTS.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 9.1 LTS środowisko Databricks Runtime 9.1 LTS ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.17.0-4882dc3
ml.dmlc xgboost4j-spark_2.12 1.4.1
ml.dmlc xgboost4j_2.12 1.4.1
org.graphframes graphframes_2.12 0.8.1-db2-spark3.1
org.mlflow mlflow-client 1.20.2
org.mlflow mlflow-spark 1.20.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.17.0-4882dc3
ml.dmlc xgboost4j-gpu_2.12 1.4.1
ml.dmlc xgboost4j-spark-gpu_2.12 1.4.1
org.graphframes graphframes_2.12 0.8.1-db2-spark3.1
org.mlflow mlflow-client 1.20.2
org.mlflow mlflow-spark 1.20.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on