다음을 통해 공유


Machine Learning용 Databricks Runtime 11.1(EoS)

참고 항목

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

Machine Learning용 Databricks Runtime 11.1은 Databricks Runtime 11.1(EoS)을 기반으로 즉시 사용 가능한 기계 학습 및 데이터 과학 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.

Databricks Runtime ML 클러스터 만들기 지침을 포함한 자세한 내용은 Databricks에서의 AI 및 기계 학습을 참조하세요.

새로운 기능 및 향상 기능

Databricks Runtime 11.1 ML은 Databricks Runtime 11.1을 기준으로 빌드됩니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 11.1의 새로운 기능에 대한 자세한 내용은 Databricks Runtime 11.1(EoS) 릴리스 정보를 참조하세요.

Databricks AutoML 개선 사항

Databricks AutoML이 다음과 같이 개선되었습니다.

  • AutoML이 분류 문제가 이진인 것을 감지하면 이진 분류 메트릭을 계산하고 문제의 양수 클래스를 유추합니다. 새 pos_label 매개 변수를 사용하여 양수 클래스를 지정할 수도 있습니다. 자세한 내용은 Azure Databricks AutoML Python API 참조를 참조하세요.
  • 예측 문제의 경우 이제 AutoML은 학습 데이터의 시간 범위를 기준으로 구간이 긴 시나리오를 처리할 수 있습니다.

Databricks 기능 저장소의 개선 사항

Databricks 기능 저장소가 다음과 같이 개선되었습니다.

시스템 환경

Databricks Runtime 11.1 ML의 시스템 환경은 다음과 같은 면에서 Databricks Runtime 11.1과 다릅니다.

라이브러리

다음 섹션에서는 Databricks Runtime 11.1에 포함된 라이브러리와 다른 Databricks Runtime 11.1 ML에 포함된 라이브러리가 나열되어 있습니다.

이 섹션의 내용:

최상위 계층 라이브러리

Databricks Runtime 11.1 ML에는 다음과 같은 최상위 계층 라이브러리가 포함되어 있습니다.

Python 라이브러리

Databricks Runtime 11.1 ML은 Python 패키지 관리에 Virtualenv를 사용하며 많은 자주 사용되는 ML 패키지를 포함합니다.

다음 섹션에 지정된 패키지 외에도 Databricks Runtime 11.1 ML에는 다음 패키지도 포함됩니다.

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-db6
  • feature_store 0.5.0
  • automl 1.11.0

CPU 클러스터의 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
absl-py 1.0.0 Antergos Linux 2015.10(ISO-Rolling) argon2-cffi 20.1.0
astor 0.8.1 astunparse 1.6.3 async-generator 1.10
attrs 21.2.0 azure-core 1.22.1 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 bcrypt 3.2.2
bleach 4.0.0 blis 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools 5.2.0 catalogue 2.0.7
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 configparser 5.2.0 convertdate 2.4.0
암호화 3.4.8 cycler 0.10.0 cymem 2.0.6
Cython 0.29.24 databricks-automl-runtime 0.2.9.1 databricks-cli 0.16.8
dbl-tempo 0.1.12 dbus-python 1.2.16 debugpy 1.4.1
decorator 5.1.0 defusedxml 0.7.1 dill 0.3.4
diskcache 5.4.0 distlib 0.3.4 distro-info 0.23ubuntu1
entrypoints 0.3 ephem 4.1.3 facets-overview 1.0.0
fasttext 0.9.2 filelock 3.3.1 Flask 1.1.2
flatbuffers 1.12 fsspec 2021.8.1 future 0.18.2
gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth 2.6.0 google-auth-oauthlib 0.4.6 google-pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 hijri-converter 2.2.4 휴일 0.14.2
horovod 0.24.3 htmlmin 0.1.12 huggingface-hub 0.8.1
idna 3.2 ImageHash 4.2.1 imbalanced-learn 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 isodate 0.6.1
itsdangerous 2.0.1 jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.9.0
Keras-Preprocessing 1.1.2 kiwisolver 1.3.1 korean-lunar-calendar 0.2.1
langcodes 3.3.0 libclang 14.0.1 lightgbm 3.3.2
llvmlite 0.38.1 LunarCalendar 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 missingno 0.5.1 mistune 0.8.4
mleap 0.20.0 mlflow-skinny 1.27.0 multimethod 1.8
murmurhash 1.0.7 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 networkx 2.6.3
nltk 3.6.5 Notebook 6.4.5 numba 0.55.2
numpy 1.20.3 oauthlib 3.2.0 opt-einsum 3.3.0
패키징 21.0 pandas 1.3.4 pandas-profiling 3.1.0
pandocfilters 1.4.3 paramiko 2.9.2 parso 0.8.2
pathy 0.6.2 patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Pillow 8.4.0 pip 21.2.4 platformdirs 2.5.2
plotly 5.8.2 pmdarima 1.8.5 preshed 3.0.6
prometheus-client 0.11.0 prompt-toolkit 3.0.20 prophet 1.0.1
protobuf 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.9.2 pycparser 2.20
pydantic 1.8.2 Pygments 2.10.0 PyGObject 3.36.0
PyJWT 2.4.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
python-editor 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6.0 pyzmq 22.2.1 regex 2021.8.3
requests 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
rsa 4.8 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 setuptools-git 1.2 shap 0.40.0
simplejson 3.17.6 six 1.16.0 slicer 0.0.7
smart-open 5.2.1 smmap 5.0.0 spacy 3.3.1
spacy-legacy 3.0.9 spacy-loggers 1.0.2 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.3 ssh-import-id 5.10
statsmodels 0.12.2 tabulate 0.8.9 tangled-up-in-unicode 0.1.0
tenacity 8.0.1 tensorboard 2.9.1 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.9.1
tensorflow-estimator 2.9.0 tensorflow-io-gcs-filesystem 0.26.0 termcolor 1.1.0
terminado 0.9.4 testpath 0.5.0 thinc 8.0.17
threadpoolctl 2.2.0 tokenizers 0.12.1 torch 1.11.0+cpu
torchvision 0.12.0+cpu tornado 6.1 tqdm 4.62.3
traitlets 5.1.0 transformers 4.20.0 typer 0.4.2
typing-extensions 3.10.0.2 ujson 4.0.2 unattended-upgrades 0.1
urllib3 1.26.7 virtualenv 20.8.0 visions 0.7.4
wasabi 0.9.1 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 1.3.1 Werkzeug 2.0.2 wheel 0.37.0
widgetsnbextension 3.6.0 wrapt 1.12.1 xgboost 1.5.2
zipp 3.6.0

GPU 클러스터의 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
absl-py 1.0.0 Antergos Linux 2015.10(ISO-Rolling) argon2-cffi 20.1.0
astor 0.8.1 astunparse 1.6.3 async-generator 1.10
attrs 21.2.0 azure-core 1.22.1 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 bcrypt 3.2.2
bleach 4.0.0 blis 0.7.8 boto3 1.21.18
botocore 1.24.18 cachetools 5.2.0 catalogue 2.0.7
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 configparser 5.2.0 convertdate 2.4.0
암호화 3.4.8 cycler 0.10.0 cymem 2.0.6
Cython 0.29.24 databricks-automl-runtime 0.2.9.1 databricks-cli 0.16.8
dbl-tempo 0.1.12 dbus-python 1.2.16 debugpy 1.4.1
decorator 5.1.0 defusedxml 0.7.1 dill 0.3.4
diskcache 5.4.0 distlib 0.3.4 distro-info 0.23ubuntu1
entrypoints 0.3 ephem 4.1.3 facets-overview 1.0.0
fasttext 0.9.2 filelock 3.3.1 Flask 1.1.2
flatbuffers 1.12 fsspec 2021.8.1 future 0.18.2
gast 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth 2.6.0 google-auth-oauthlib 0.4.6 google-pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 hijri-converter 2.2.4 휴일 0.14.2
horovod 0.24.3 htmlmin 0.1.12 huggingface-hub 0.8.1
idna 3.2 ImageHash 4.2.1 imbalanced-learn 0.8.1
importlib-metadata 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 isodate 0.6.1
itsdangerous 2.0.1 jedi 0.18.0 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.9.0
Keras-Preprocessing 1.1.2 kiwisolver 1.3.1 korean-lunar-calendar 0.2.1
langcodes 3.3.0 libclang 14.0.1 lightgbm 3.3.2
llvmlite 0.38.1 LunarCalendar 0.0.9 Mako 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 missingno 0.5.1 mistune 0.8.4
mleap 0.20.0 mlflow-skinny 1.27.0 multimethod 1.8
murmurhash 1.0.7 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 networkx 2.6.3
nltk 3.6.5 Notebook 6.4.5 numba 0.55.2
numpy 1.20.3 oauthlib 3.2.0 opt-einsum 3.3.0
패키징 21.0 pandas 1.3.4 pandas-profiling 3.1.0
pandocfilters 1.4.3 paramiko 2.9.2 parso 0.8.2
pathy 0.6.2 patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Pillow 8.4.0 pip 21.2.4 platformdirs 2.5.2
plotly 5.8.2 pmdarima 1.8.5 preshed 3.0.6
prompt-toolkit 3.0.20 prophet 1.0.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.9.2 pycparser 2.20 pydantic 1.8.2
Pygments 2.10.0 PyGObject 3.36.0 PyJWT 2.4.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pyrsistent 0.18.0 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 python-editor 1.0.4
pytz 2021.3 PyWavelets 1.1.1 PyYAML 6.0
pyzmq 22.2.1 regex 2021.8.3 requests 2.26.0
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 rsa 4.8
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
setuptools-git 1.2 shap 0.40.0 simplejson 3.17.6
six 1.16.0 slicer 0.0.7 smart-open 5.2.1
smmap 5.0.0 spacy 3.3.1 spacy-legacy 3.0.9
spacy-loggers 1.0.2 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.3 ssh-import-id 5.10 statsmodels 0.12.2
tabulate 0.8.9 tangled-up-in-unicode 0.1.0 tenacity 8.0.1
tensorboard 2.9.1 tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.8.0
tensorboard-plugin-wit 1.8.1 tensorflow 2.9.1 tensorflow-estimator 2.9.0
tensorflow-io-gcs-filesystem 0.26.0 termcolor 1.1.0 terminado 0.9.4
testpath 0.5.0 thinc 8.0.17 threadpoolctl 2.2.0
tokenizers 0.12.1 torch 1.11.0+cu113 torchvision 0.12.0+cu113
tornado 6.1 tqdm 4.62.3 traitlets 5.1.0
transformers 4.20.0 typer 0.4.2 typing-extensions 3.10.0.2
ujson 4.0.2 unattended-upgrades 0.1 urllib3 1.26.7
virtualenv 20.8.0 visions 0.7.4 wasabi 0.9.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 1.3.1
Werkzeug 2.0.2 wheel 0.37.0 widgetsnbextension 3.6.0
wrapt 1.12.1 xgboost 1.5.2 zipp 3.6.0

Python 모듈이 포함된 Spark 패키지

Spark 패키지 Python 모듈 버전
graphframes graphframes 0.8.2-db1-spark3.2

R 라이브러리

R 라이브러리는 Databricks Runtime 11.1의 R 라이브러리와 동일합니다.

Java 및 Scala 라이브러리(Scala 2.12 클러스터)

Databricks Runtime 11.1의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 11.1 ML에는 다음 JAR이 포함되어 있습니다.

CPU 클러스터

그룹 ID 아티팩트 ID 버전
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.27.0
org.mlflow mlflow-spark 1.27.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU 클러스터

그룹 ID 아티팩트 ID 버전
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.27.0
org.mlflow mlflow-spark 1.27.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0