다음을 통해 공유

Machine Learning용 Databricks Runtime 11.2(지원되지 않음)

  • 아티클

Machine Learning용 Databricks Runtime 11.2는 Databricks Runtime 11.2(지원되지 않음)를 기반으로 기계 학습 및 데이터 과학을 위한 즉시 사용할 수 있는 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.

Databricks 런타임 ML 클러스터를 만들기 위한 지침을 비롯한 자세한 내용은 Databricks의 AI 및 Machine Learning을 참조 하세요.

새로운 기능 및 향상 기능

Databricks Runtime 11.2 ML은 Databricks Runtime 11.2을 기준으로 빌드됩니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 11.2의 새로운 기능과 관련된 자세한 내용은 Databricks Runtime 11.2(지원되지 않는) 릴리스 정보를 참조하세요.

Databricks AutoML 개선 사항

Databricks AutoML은 이제 분류 문제에 대한 불균형 데이터 세트를 더 잘 지원합니다. 자세한 내용은 분류 문제에 대한 불균형 데이터 세트 지원을 참조하세요.

Databricks 기능 저장소의 개선 사항

Databricks 기능 저장소가 다음과 같이 개선되었습니다.

  • 온라인 저장소의 경우 사용자 및 암호 필드는 더 이상 사용되지 않습니다. 향후 비호환성을 방지하려면 이러한 필드의 모든 사용을 write_secret_prefix로 변경합니다.

  • 기능 저장소 클라이언트의 모든 설명서 및 출력은 이제 Databricks Runtime ML 버전(예: 11.2) 대신 클라이언트 버전(예: 0.6.1)을 참조하세요.

시스템 환경

Databricks Runtime 11.2 ML의 시스템 환경은 다음과 같은 면에서 Databricks Runtime 11.2과 다릅니다.

  • DBUtils: Databricks Runtime ML에는 라이브러리 유틸리티(dbutils.library)(레거시)가 포함되지 않습니다. 대신 %pip 명령을 사용합니다. Notebook 범위의 Python 라이브러리를 참조하세요.
  • GPU 클러스터의 경우 Databricks Runtime ML에는 다음 NVIDIA GPU 라이브러리가 포함됩니다.
    • CUDA 11.3
    • cuDNN 8.0.5.39
    • NCCL 2.9.9
    • TensorRT 7.2.2

라이브러리

다음 섹션에서는 Databricks Runtime 11.2에 포함된 라이브러리와 다른 Databricks Runtime 11.2 ML에 포함된 라이브러리가 나열되어 있습니다.

이 섹션의 내용:

최상위 계층 라이브러리

Databricks Runtime 11.2 ML에는 다음과 같은 최상위 계층 라이브러리가 포함되어 있습니다.

Python 라이브러리

Databricks Runtime 11.2 ML은 Python 패키지 관리에 Virtualenv를 사용하며 많은 자주 사용되는 ML 패키지를 포함합니다.

다음 섹션에 지정된 패키지 외에도 Databricks Runtime 11.2 ML에는 다음 패키지도 포함됩니다.

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0_db6
  • feature_store 0.6.0
  • automl 1.12.3

CPU 클러스터의 Python 라이브러리

로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면 requirements-11.2.txt 파일을 다운로드하고 pip install -r requirements-11.2.txt를 실행합니다. 이 명령은 Databricks Runtime ML에서 사용하는 모든 오픈 소스 라이브러리를 설치하지만 Azure Databricks 개발 라이브러리(예: databricks-automl, databricks-feature-store 또는 hyperopt의 Databricks 포크)는 설치하지 않습니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
absl-py 1.0.0 Antergos Linux 2015.10(ISO-Rolling) argon2-cffi 20.1.0
astor 0.8.1 astunparse 1.6.3 async-generator 1.10
attrs 21.2.0 azure-core 1.22.1 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 bcrypt 3.2.2
검정색 22.3.0 bleach 4.0.0 blis 0.7.8
boto3 1.21.18 botocore 1.24.18 cachetools 5.2.0
catalogue 2.0.8 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 에서 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
convertdate 2.4.0 암호화 3.4.8 cycler 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.10
databricks-cli 0.17.0 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 decorator 5.1.0 defusedxml 0.7.1
dill 0.3.4 diskcache 5.4.0 distlib 0.3.5
distro-info 0.23ubuntu1 entrypoints 0.3 ephem 4.1.3
facets-overview 1.0.0 fasttext 0.9.2 filelock 3.3.1
Flask 1.1.2 flatbuffers 1.12 fsspec 2021.8.1
future 0.18.2 gast 0.4.0 gitdb 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 hijri-converter 2.2.4
휴일 0.14.2 horovod 0.25.0 htmlmin 0.1.12
huggingface-hub 0.8.1 idna 3.2 ImageHash 4.2.1
imbalanced-learn 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
Keras 2.9.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.1
korean-lunar-calendar 0.2.1 langcodes 3.3.0 libclang 14.0.6
lightgbm 3.3.2 llvmlite 0.37.0 LunarCalendar 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno 0.5.1
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 1.28.0
multimethod 1.8 murmurhash 1.0.8 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 networkx 2.6.3 nltk 3.6.5
Notebook 6.4.5 numba 0.54.1 numpy 1.20.3
oauthlib 3.2.0 opt-einsum 3.3.0 패키징 21.0
pandas 1.3.4 pandas-profiling 3.1.0 pandocfilters 1.4.3
paramiko 2.9.2 parso 0.8.2 pathspec 0.9.0
pathy 0.6.2 patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Pillow 8.4.0 pip 21.2.4 platformdirs 2.5.2
plotly 5.9.0 pmdarima 1.8.5 preshed 3.0.7
prometheus-client 0.11.0 prompt-toolkit 3.0.20 prophet 1.0.1
protobuf 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.0 pycparser 2.20
pydantic 1.9.2 Pygments 2.10.0 PyGObject 3.36.0
PyJWT 2.4.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
python-editor 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6.0 pyzmq 22.2.1 regex 2021.8.3
requests 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
rsa 4.9 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 setuptools-git 1.2 shap 0.41.0
simplejson 3.17.6 six 1.16.0 slicer 0.0.7
smart-open 5.2.1 smmap 5.0.0 spacy 3.4.0
spacy-legacy 3.0.9 spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.4 ssh-import-id 5.10
statsmodels 0.12.2 tabulate 0.8.9 tangled-up-in-unicode 0.1.0
tenacity 8.0.1 tensorboard 2.9.1 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.9.1
tensorflow-estimator 2.9.0 tensorflow-io-gcs-filesystem 0.26.0 termcolor 1.1.0
terminado 0.9.4 testpath 0.5.0 thinc 8.1.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizers 0.12.1
tomli 2.0.1 torch 1.11.0+cpu torchvision 0.12.0+cpu
tornado 6.1 tqdm 4.62.3 traitlets 5.1.0
트랜스 포 머 4.20.1 typer 0.4.2 typing-extensions 3.10.0.2
ujson 4.0.2 unattended-upgrades 0.1 urllib3 1.26.7
virtualenv 20.8.0 visions 0.7.4 wasabi 0.10.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 1.3.1
Werkzeug 2.0.2 wheel 0.37.0 widgetsnbextension 3.6.0
wrapt 1.12.1 xgboost 1.5.2 zipp 3.6.0

GPU 클러스터의 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
absl-py 1.0.0 Antergos Linux 2015.10(ISO-Rolling) argon2-cffi 20.1.0
astor 0.8.1 astunparse 1.6.3 async-generator 1.10
attrs 21.2.0 azure-core 1.22.1 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 bcrypt 3.2.2
검정색 22.3.0 bleach 4.0.0 blis 0.7.8
boto3 1.21.18 botocore 1.24.18 cachetools 5.2.0
catalogue 2.0.8 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 에서 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
convertdate 2.4.0 암호화 3.4.8 cycler 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.10
databricks-cli 0.17.0 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 decorator 5.1.0 defusedxml 0.7.1
dill 0.3.4 diskcache 5.4.0 distlib 0.3.5
distro-info 0.23ubuntu1 entrypoints 0.3 ephem 4.1.3
facets-overview 1.0.0 fasttext 0.9.2 filelock 3.3.1
Flask 1.1.2 flatbuffers 1.12 fsspec 2021.8.1
future 0.18.2 gast 0.4.0 gitdb 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 hijri-converter 2.2.4
휴일 0.14.2 horovod 0.25.0 htmlmin 0.1.12
huggingface-hub 0.8.1 idna 3.2 ImageHash 4.2.1
imbalanced-learn 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
Keras 2.9.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.1
korean-lunar-calendar 0.2.1 langcodes 3.3.0 libclang 14.0.6
lightgbm 3.3.2 llvmlite 0.37.0 LunarCalendar 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno 0.5.1
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 1.28.0
multimethod 1.8 murmurhash 1.0.8 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 networkx 2.6.3 nltk 3.6.5
Notebook 6.4.5 numba 0.54.1 numpy 1.20.3
oauthlib 3.2.0 opt-einsum 3.3.0 패키징 21.0
pandas 1.3.4 pandas-profiling 3.1.0 pandocfilters 1.4.3
paramiko 2.9.2 parso 0.8.2 pathspec 0.9.0
pathy 0.6.2 patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Pillow 8.4.0 pip 21.2.4 platformdirs 2.5.2
plotly 5.9.0 pmdarima 1.8.5 preshed 3.0.7
prompt-toolkit 3.0.20 prophet 1.0.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.0 pycparser 2.20 pydantic 1.9.2
Pygments 2.10.0 PyGObject 3.36.0 PyJWT 2.4.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pyrsistent 0.18.0 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 python-editor 1.0.4
pytz 2021.3 PyWavelets 1.1.1 PyYAML 6.0
pyzmq 22.2.1 regex 2021.8.3 requests 2.26.0
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 rsa 4.9
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
setuptools-git 1.2 shap 0.41.0 simplejson 3.17.6
six 1.16.0 slicer 0.0.7 smart-open 5.2.1
smmap 5.0.0 spacy 3.4.0 spacy-legacy 3.0.9
spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.4 ssh-import-id 5.10 statsmodels 0.12.2
tabulate 0.8.9 tangled-up-in-unicode 0.1.0 tenacity 8.0.1
tensorboard 2.9.1 tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.8.0
tensorboard-plugin-wit 1.8.1 tensorflow 2.9.1 tensorflow-estimator 2.9.0
tensorflow-io-gcs-filesystem 0.26.0 termcolor 1.1.0 terminado 0.9.4
testpath 0.5.0 thinc 8.1.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tokenizers 0.12.1 tomli 2.0.1
torch 1.11.0+cu113 torchvision 0.12.0+cu113 tornado 6.1
tqdm 4.62.3 traitlets 5.1.0 트랜스 포 머 4.20.1
typer 0.4.2 typing-extensions 3.10.0.2 ujson 4.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
visions 0.7.4 wasabi 0.10.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 1.3.1 Werkzeug 2.0.2
wheel 0.37.0 widgetsnbextension 3.6.0 wrapt 1.12.1
xgboost 1.5.2 zipp 3.6.0

R 라이브러리

R 라이브러리는 Databricks Runtime 11.2의 R 라이브러리와 동일합니다.

Java 및 Scala 라이브러리(Scala 2.12 클러스터)

Databricks Runtime 11.2의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 11.2 ML에는 다음 JAR이 포함되어 있습니다.

CPU 클러스터

그룹 ID 아티팩트 ID 버전
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.28.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU 클러스터

그룹 ID 아티팩트 ID 버전
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.5.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.28.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0