Megosztás a következőn keresztül:

Databricks Runtime 12.0 for Machine Learning (nem támogatott)

  • Cikk

A Databricks Runtime 12.0 for Machine Learning egy használatra kész környezetet biztosít a gépi tanuláshoz és az adatelemzéshez a Databricks Runtime 12.0-n (nem támogatott). A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.

További információkért, beleértve a Databricks Runtime ML-fürt létrehozásának utasításait, tekintse meg a Databricks AI és Machine Learning szolgáltatását.

Új funkciók és fejlesztések

A Databricks Runtime 12.0 ML a Databricks Runtime 12.0-ra épül. A Databricks Runtime 12.0 újdonságairól , beleértve az Apache Spark MLlib és a SparkR újdonságait, tekintse meg a Databricks Runtime 12.0 (nem támogatott) kibocsátási megjegyzéseit.

A Databricks AutoML fejlesztései

  • Az előrejelzési modellek mostantól választhatóan az ország ünnepnapokat is magukban foglalhatják.
  • Az előrejelzés mostantól támogatja a havi, negyedéves és éves gyakoriságot.
  • Az AutoML mostantól nagyobb adatkészleteket is használhat a betanításhoz. Az AutoML automatikusan több processzormagot foglal le a nagy adathalmazokhoz.

További információ a Databricks AutoML-ről: Mi az AutoML?

MLflow 2.0

A Databricks Runtime 12.0 ML tartalmazza az MLflow 2.0-t. Az MLflow 2.0 az MLflow erős platformalapjára épül, és kiterjedt felhasználói visszajelzéseket tartalmaz az adatelemzési munkafolyamatok egyszerűsítése és az MLOps innovatív, első osztályú eszközeinek biztosításához. A funkciók és fejlesztések közé tartoznak az MLflow-receptek (korábbi nevén MLflow Pipelines) bővítményei, például az AutoML, a hiperparaméterek finomhangolása és a besorolás támogatása, valamint az ML-ökoszisztémával való modernizált integráció, az egyszerűsített MLflow Tracking felhasználói felület, az MLflow platformösszetevőinek alapvető API-k frissítése stb. További információt az MLflow 2.0 dokumentációjában vagy a blogbejegyzésben talál.

scikit-learn 1.0

A Databricks Runtime ML 12.0 az 1.0-s verziót tartalmazza scikit-learn . A scikit-learn kiadással kapcsolatos változásokról a scikit-learn dokumentációban olvashat.

Rendszerkörnyezet

A Databricks Runtime 12.0 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 12.0-tól:

A Databricks Runtime 12.0 ML tartalmazza az XGBoost 1.6.2-es verziót, amely nem támogatja az 5.2-es és újabb számítási képességgel rendelkező GPU-fürtöket.

Kódtárak

A következő szakaszok a Databricks Runtime 12.0 ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 12.0-ban szereplő kódtáraktól.

Ebben a szakaszban:

Felső szintű kódtárak

A Databricks Runtime 12.0 ML a következő felső szintű kódtárakat tartalmazza:

Python-kódtárak

A Databricks Runtime 12.0 ML a Virtualenv-t használja a Python-csomagkezeléshez, és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 12.0 ML a következő csomagokat is tartalmazza:

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • automl 1.14.1

A Databricks Runtime ML Python-környezet helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-12.0.txt fájlt, és futtassa pip install -r requirements-12.0.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskód kódtárat, de nem telepíti a Databricks által fejlesztett kódtárakat, például databricks-automla databricks-feature-storeDatabricks elágazásáthyperopt.

Python-kódtárak CPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.1 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 fekete 22.3.0 fehérítő 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools 4.2.2 katalógus 2.0.8 kategóriakódolók 2.5.1.post0
minősítés 2021.10.8 cffi 1.15.0 karakterkészlet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.0.8 édesség 0.0.3 configparser 5.2.0
konvertálás 2.4.0 kriptográfia 3.4.8 biciklista 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 databricks-feature-store 0.8.0 dbl-tempo 0.1.12
dbus-python 1.2.16 hibakeresés 1.5.1 lakberendező 5.1.1
defusedxml 0.7.1 kapor 0.3.4 diskcache 5.4.0
distlib 0.3.6 belépési pontok 0,4 ephem 4.1.3
Végrehajtó 0.8.3 aspektusok áttekintése 1.0.0 fastjsonschema 2.16.2
gyorsszöveg 0.9.2 filelock 3.6.0 Flask 1.1.2
flatbuffers 22.10.26 betűtípusok 4.25.0 fsspec 2022.2.0
jövő 0.18.2 Gast 0.4.0 gitdb 4.0.9
GitPython 3.1.27 google-hitelesítés 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.42.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.6.0 hijri-konverter 2.2.4
szünidő 0,16 horovod 0.25.0 htmlmin 0.1.12
huggingface-hub 0.11.0 idna 3.3 ImageHash 4.3.1
kiegyensúlyozatlan tanulás 0.8.1 importlib-metadata 4.11.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
joblibspark 0.5.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0
keras 2.10.0 Keras-Előfeldolgozás 1.1.2 kiwisolver 1.3.2
koreai-holdnaptár 0.3.1 langcode-k 3.3.0 libclang 14.0.6
lightgbm 3.3.3 llvmlite 0.38.0 LunarCalendar 0.0.9
Makó 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 missingno 0.5.1
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 2.0.1
multimethod 1.8 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
jegyzetfüzet 6.4.8 numba 0.55.1 numpy 1.21.5
oauthlib 3.2.0 opt-einsum 3.3.0 csomagolás 21,3
pandas 1.4.2 pandas-profilkészítés 3.3.0 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.9.0
pathy 0.6.1 Patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Párna 9.0.1 mag 21.2.4 platformdirs 2.5.4
ábrázolás 5.6.0 pmdarima 2.0.1 előre meg van nyitható 3.0.8
prometheus-client 0.13.1 prompt-toolkit 3.0.20 próféta 1.1.1
protobuf 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.1
pycparser 2.21 pydantic 1.9.2 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 python-editor 1.0.4
pytz 2021.3 PyWavelets 1.3.0 PyYAML 6,0
pyzmq 22.3.0 regex 2022.3.15 kérelmek 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 Rsa 4.7.2
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
tengeri 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
setuptools-git 1,2 shap 0.41.0 simplejson 3.17.6
Hat 1.16.0 uborkaszeletelő 0.0.7 smart-open 5.1.0
smmap 5.0.0 levessieve 2.3.1 spacy 3.4.1
spacy-legacy 3.0.10 spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.5 ssh-import-id 5.10
veremadatok 0.2.0 statsmodels 0.13.2 táblázatos 0.8.9
tangled-up-in-unicode 0.2.0 Kitartás 8.0.1 tensorboard 2.10.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.10.0 tensorflow-estimator 2.10.0 tensorflow-io-gcs-fájlrendszer 0.28.0
termcolor 2.1.1 terminado 0.13.1 testpath 0.5.0
thinc 8.1.5 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizers 0.13.2 tomli 1.2.2 fáklya 1.12.1+cpu
torchvision 0.13.1+cpu tornádó 6.1 tqdm 4.64.0
árulók 5.1.1 Transformers 4.23.1 Typer 0.4.2
typing_extensions 4.1.1 felügyelet nélküli frissítések 0,1 urllib3 1.26.9
virtualenv 20.8.0 Látomások 0.7.5 Wasabi 0.10.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 kerék 0.37.1 widgetsnbextension 3.6.1
wrapt 1.12.1 zipp 3.7.0

Python-kódtárak GPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.1 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 fekete 22.3.0 fehérítő 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools 4.2.2 katalógus 2.0.8 kategóriakódolók 2.5.1.post0
minősítés 2021.10.8 cffi 1.15.0 karakterkészlet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.0.8 édesség 0.0.3 configparser 5.2.0
konvertálás 2.4.0 kriptográfia 3.4.8 biciklista 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 databricks-feature-store 0.8.0 dbl-tempo 0.1.12
dbus-python 1.2.16 hibakeresés 1.5.1 lakberendező 5.1.1
defusedxml 0.7.1 kapor 0.3.4 diskcache 5.4.0
distlib 0.3.6 belépési pontok 0,4 ephem 4.1.3
Végrehajtó 0.8.3 aspektusok áttekintése 1.0.0 fastjsonschema 2.16.2
gyorsszöveg 0.9.2 filelock 3.6.0 Flask 1.1.2
flatbuffers 22.10.26 betűtípusok 4.25.0 fsspec 2022.2.0
jövő 0.18.2 Gast 0.4.0 gitdb 4.0.9
GitPython 3.1.27 google-hitelesítés 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.42.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.6.0 hijri-konverter 2.2.4
szünidő 0,16 horovod 0.25.0 htmlmin 0.1.12
huggingface-hub 0.11.0 idna 3.3 ImageHash 4.3.1
kiegyensúlyozatlan tanulás 0.8.1 importlib-metadata 4.11.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
joblibspark 0.5.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0
keras 2.10.0 Keras-Előfeldolgozás 1.1.2 kiwisolver 1.3.2
koreai-holdnaptár 0.3.1 langcode-k 3.3.0 libclang 14.0.6
lightgbm 3.3.3 llvmlite 0.38.0 LunarCalendar 0.0.9
Makó 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 missingno 0.5.1
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 2.0.1
multimethod 1.8 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
jegyzetfüzet 6.4.8 numba 0.55.1 numpy 1.21.5
oauthlib 3.2.0 opt-einsum 3.3.0 csomagolás 21,3
pandas 1.4.2 pandas-profilkészítés 3.3.0 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.9.0
pathy 0.6.1 Patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Párna 9.0.1 mag 21.2.4 platformdirs 2.5.4
ábrázolás 5.6.0 pmdarima 2.0.1 előre meg van nyitható 3.0.8
prompt-toolkit 3.0.20 próféta 1.1.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.1 pycparser 2.21
pydantic 1.9.2 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.4 pyrsistent 0.18.0
python-dateutil 2.8.2 python-editor 1.0.4 pytz 2021.3
PyWavelets 1.3.0 PyYAML 6,0 pyzmq 22.3.0
regex 2022.3.15 kérelmek 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 Rsa 4.7.2 s3transfer 0.5.0
scikit-learn 1.0.2 scipy 1.7.3 tengeri 0.11.2
Send2Trash 1.8.0 setuptools 61.2.0 setuptools-git 1,2
shap 0.41.0 simplejson 3.17.6 Hat 1.16.0
uborkaszeletelő 0.0.7 smart-open 5.1.0 smmap 5.0.0
levessieve 2.3.1 spacy 3.4.1 spacy-legacy 3.0.10
spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.5 ssh-import-id 5.10 veremadatok 0.2.0
statsmodels 0.13.2 táblázatos 0.8.9 tangled-up-in-unicode 0.2.0
Kitartás 8.0.1 tensorboard 2.10.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1 tensorflow 2.10.0
tensorflow-estimator 2.10.0 tensorflow-io-gcs-fájlrendszer 0.28.0 termcolor 2.1.1
terminado 0.13.1 testpath 0.5.0 thinc 8.1.5
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizers 0.13.2
tomli 1.2.2 fáklya 1.12.1+cu113 torchvision 0.13.1+cu113
tornádó 6.1 tqdm 4.64.0 árulók 5.1.1
Transformers 4.23.1 Typer 0.4.2 typing_extensions 4.1.1
felügyelet nélküli frissítések 0,1 urllib3 1.26.9 virtualenv 20.8.0
Látomások 0.7.5 Wasabi 0.10.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.0.3
kerék 0.37.1 widgetsnbextension 3.6.1 wrapt 1.12.1
zipp 3.7.0

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 12.0 R-kódtáraival .

Java- és Scala-kódtárak (Scala 2.12-fürt)

A Databricks Runtime 12.0 Java- és Scala-kódtárai mellett a Databricks Runtime 12.0 ML a következő JAR-eket tartalmazza:

CPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.6.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0