이 문서에서는 서버리스 환경 버전 4에 대한 시스템 환경 정보를 간략하게 설명합니다.
애플리케이션에 대한 호환성을 보장하기 위해 서버리스 워크로드는 최신 서버 버전과 호환되는 환경 버전이라고 하는 버전이 지정된 API를 사용합니다.
서버리스 Notebook에서 환경 쪽 패널을 사용하여 환경 버전을 선택할 수 있습니다. 환경 버전 선택을 참조하세요.
새로운 기능 및 개선 사항
서버리스 환경 4에서는 다음과 같은 새로운 기능과 향상된 기능을 사용할 수 있습니다.
서버리스 컴퓨팅에서 Spark ML 지원
서버리스 컴퓨팅은 이제 환경 버전 4에서 PySpark(pyspark.ml)의 Spark ML 및 Spark용 MLflow(mlflow.spark)를 지원합니다. 서버리스 컴퓨팅에서 하이퍼 매개 변수 튜닝의 경우 Databricks는 Optuna 및 Joblib Spark를 사용하는 것이 좋습니다.
서버리스 컴퓨팅에서 SparkML을 실행할 때 적용되는 제한 사항은 다음과 같습니다.
- 최대 모델 크기는 100MB입니다.
- 세션당 메모리 내 모델의 최대 총 크기는 1GB입니다.
- 모델 크기가 100MB를 초과할 경우 트리 모델 학습이 일찍 중지됩니다.
- 다음 SparkML 모델은 지원되지 않습니다.
- 분산LDA모델
- FPGrowthModel (FP성장 모델)
스칼라 Python UDF는 이제 서비스 자격 증명을 지원합니다.
스칼라 Python UDF는 Unity 카탈로그 서비스 자격 증명을 사용하여 외부 클라우드 서비스에 안전하게 액세스할 수 있습니다. 자세한 내용은 Scalar Python UDF의 서비스 자격 증명을 참조하세요.
PySpark 및 Spark Connect는 이제 DataFrames API를 지원합니다 df.mergeInto .
PySpark 및 Spark Connect는 이제 이전에 Scala에만 사용할 수 있었던 API를 지원 df.mergeInto 합니다.
API 업데이트
서버리스 환경 4에는 다음과 같은 API 업데이트가 포함됩니다.
-
SPARK-50915 에서 추가
getCondition및 사용 중단getErrorClassPySparkException -
SPARK-50719 PySpark 지원
interruptOperation -
SPARK-50718 PySpark 지원
addArtifact(s) - SPARK-49530 PySpark 그리기에서 원형 하위 플롯 지원
-
SPARK-50357 PySpark에 대한 지원
Interrupt(Tag|All)API -
SPARK-51178 대신 적절한 PySpark 오류 발생
SparkConnectGrpcException -
SPARK-51227 PySpark Connect
_minimum_grpc_version를 1.67.0으로 수정 -
SPARK-50778 PySpark DataFrame에 추가
metadataColumn -
SPARK-50311 PySpark에 대한 지원
(add|remove|get|clear)Tag(s)API -
SPARK-50310 PySpark에 대해 사용하지 않도록 설정할
DataFrameQueryContext플래그 추가 - SPARK-50238 PySpark UDF/UDF/UDAF 및 Python UC UDF에 Variant 지원 추가
- SPARK-50183 Pandas API 및 PySpark 그리기를 위한 내부 함수 통합
-
SPARK-50170 다음으로 이동
_invoke_internal_function_over_columnspyspark.sql.utils - SPARK-50167 PySpark 그리기 오류 메시지 및 가져오기 개선
-
SPARK-48961 JVM과 일치하는 매개 변수 이름 지정
PySparkException - SPARK-49567 PySpark 코드 베이스에서 바닐라 대신 클래식 사용
-
SPARK-48755
transformWithStatePySpark 기본 구현 및ValueState지원 -
SPARK-48714 PySpark에서 구현
DataFrame.mergeInto -
SPARK-47365 PySpark에 DataFrame 메서드 추가
toArrow() - SPARK-48075 PySpark avro 함수에 대한 형식 검사
-
SPARK-46984 제거하다
pyspark.copy_func -
SPARK-46213 오류 프레임워크 소개
PySparkImportError -
SPARK-46226 나머지
RuntimeError모든 항목이 PySpark 오류 프레임워크로 마이그레이션 -
SPARK-45450 PEP8에 따라 가져오기 수정:
pyspark.pandas및pyspark(코어)
시스템 환경
- 운영 체제: Ubuntu 24.04.2 LTS
- Python: 3.12.3
-
Databricks Connect: 17(Databricks Connect는 최신 서버리스 환경 버전에서 지속적으로 업데이트됩니다. 실행
pip list하여 현재 환경에서 정확한 버전을 확인합니다.) - Scala: 2.13.16
- JDK: 17
설치된 Python 라이브러리
로컬 Python 가상 환경에서 서버리스 환경 4를 재현하려면 requirements-env-4.txt 파일을 다운로드하고 실행 pip install -r requirements-env-4.txt합니다. 이 명령은 서버리스 환경 4에서 모든 오픈 소스 라이브러리를 설치합니다.
| Library | 버전 | Library | 버전 | Library | 버전 |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.6.2 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | 화살 | 1.3.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | async-lru | 2.0.4 | attrs | 24.3.0 |
| autocommand | 2.2.2 | azure-common | 1.1.28 | azure-core | 1.34.0 |
| azure-identity | 1.20.0 | azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | babel | 2.16.0 |
| backports.tarfile | 1.2.0 | beautifulsoup4 | 4.12.3 | 검정 | 24.10.0 |
| 표백제 | 6.2.0 | 깜박이 | 1.7.0 | boto3 | 1.36.2 |
| 보토코어 | 1.36.3 | cachetools | 5.5.1 | 서티피 | 2025.1.31 |
| cffi | 1.17.1 | 챠데트 | 4.0.0 | charset-normalizer | 3.3.2 |
| 클릭 | 8.1.7 | cloudpickle (클라우드피클) | 3.0.0 | 통신 | 0.2.1 |
| contourpy | 1.3.1 | 암호화 | 43.0.3 | 자전거 타는 사람 | 0.11.0 |
| 사이톤 (Cython) | 3.0.12 | databricks-connect | 17.2.3 | databricks-sdk | 0.49.0 |
| dbus-python | 1.3.2 | debugpy | 1.8.11 | 장식자 | 5.1.1 |
| defusedxml | 0.7.1 | Deprecated | 1.2.13 | distlib | 0.3.9 |
| docstring-to-markdown | 0.11 | 실행 | 0.8.3 | 패싯 개요 | 1.1.1 |
| fastapi | 0.115.12 | fastjsonschema | 2.21.1 | filelock | 3.18.0 |
| fonttools | 4.55.3 | fqdn | 1.5.1 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.20.0 |
| google-auth | 2.40.0 | google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 |
| google-crc32c | 1.7.1 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 |
| grpcio (Python용 gRPC 패키지) | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.14.0 |
| httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
| 아이드나 | 3.7 | importlib-metadata | 6.6.0 | importlib_resources | 6.4.0 |
| inflect | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.6.1 | isoduration | 20.11.0 |
| jaraco.context | 5.3.0 | jaraco.펑툴스 | 4.0.1 | jaraco.text | 3.12.1 |
| jedi | 0.19.2 | Jinja2 | 3.1.5 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpointer | 3.0.0 |
| JSON 스키마 | 4.23.0 | jsonschema-specifications | 2023.7.1 | jupyter-events | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.3 | jupyter_core | 5.7.2 |
| jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 | jupyterlab | 4.3.4 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | jupyterlab_server | 2.27.3 |
| 키위솔버 (kiwisolver) | 1.4.8 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | markdown-it-py | 2.2.0 | MarkupSafe (마크업세이프) | 3.0.2 |
| matplotlib (매트플롯립) | 3.10.0 | matplotlib-inline | 0.1.7 | mccabe | 0.7.0 |
| mdurl | 0.1.0 | 미스튠 (Mistune) | 2.0.4 | mlflow-스키니 | 2.22.0 |
| mmh3 | 5.1.0 | more-itertools | 10.3.0 | msal | 1.32.3 |
| msal-extensions | 1.3.1 | mypy-extensions | 1.0.0 | nbclient | 0.8.0 |
| nbconvert | 7.16.4 | nbformat | 5.10.4 | nest-asyncio | 1.6.0 |
| nodeenv | 1.9.1 | notebook | 7.3.2 | notebook_shim | 0.2.3 |
| numpy (파이썬의 수치 계산용 라이브러리) | 2.1.3 | oauthlib | 3.2.2 | opentelemetry-api | 1.32.1 |
| opentelemetry-sdk | 1.32.1 | opentelemetry-semantic-conventions | 0.53b1 | 재정의 | 7.4.0 |
| 포장 | 24.1 | 팬더 | 2.2.3 | pandocfilters | 1.5.0 |
| parso | 0.8.4 | pathspec | 0.10.3 | 바보 | 1.0.1 |
| pexpect (피엑스펙트) | 4.8.0 | 베개 | 11.1.0 | 파이썬 패키지 설치 도구 pip | 25.0.1 |
| platformdirs | 3.10.0 | plotly | 5.24.1 | pluggy | 1.5.0 |
| prometheus_client | 0.21.0 | prompt-toolkit (프롬프트 도구 키트) | 3.0.43 | proto-plus | 1.26.1 |
| 프로토버프 (protobuf) | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| PtyProcess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.9 |
| pyarrow | 19.0.1 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.71 | pycparser | 2.21 | pydantic | 2.10.6 |
| pydantic_core | 2.27.2 | pyflakes | 3.2.0 | 파이그먼츠 | 2.15.1 |
| PyGObject | 3.48.2 | pyiceberg | 0.9.0 | PyJWT | 2.10.1 |
| pyodbc | 5.2.0 | pyparsing (파이썬 파싱 라이브러리) | 3.2.0 | 피라이트(pyright) | 1.1.394 |
| pyspark | 4.0.0+databricks.connect.17.2.3 | pytest | 8.3.5 | python-dateutil (파이썬 날짜 유틸) | 2.9.0.post0 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.0 |
| pytoolconfig | 1.2.6 | pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | 참조 | 0.30.2 | 요청사항 | 2.32.3 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | 풍부한 | 13.9.4 |
| 밧줄 | 1.12.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
| s3transfer | 0.11.3 | scikit-learn (파이썬 머신러닝 라이브러리) | 1.6.1 | scipy (과학 컴퓨팅 라이브러리) | 1.15.1 |
| 바다에서 태어난 | 0.13.2 | Send2Trash | 1.8.2 | setuptools (셋업툴즈) | 74.0.0 |
| 6 | 1.16.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sortedcontainers | 2.4.0 | 수프 체 | 2.5 | sqlparse | 0.5.3 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | starlette | 0.46.2 |
| statsmodels (파이썬 통계 모형 라이브러리) | 0.14.4 | strictyaml | 1.7.3 | 강인 | 9.0.0 |
| terminado | 0.17.1 | threadpoolctl | 3.5.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | tomli | 2.0.1 | 토네이도 | 6.4.2 |
| 트레잇렛츠 | 5.14.3 | typeguard | 4.3.0 | types-python-dateutil | 2.9.0.20241206 |
| typing_extensions | 4.12.2 | tzdata | 2024.1 | ujson | 5.10.0 |
| 무인 업그레이드 | 0.1 | uri 템플릿 | 1.3.0 | urllib3 | 2.3.0 |
| uvicorn | 0.34.2 | virtualenv | 20.29.3 | wadllib | 1.3.6 |
| wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 | webcolors | 24.11.1 | 웹인코딩 | 0.5.1 |
| websocket-client | 1.8.0 | whatthepatch | 1.0.2 | 바퀴 | 0.45.1 |
| widgetsnbextension | 3.6.6 | 감싼 | 1.17.0 | yapf | 0.40.2 |
| zipp | 3.21.0 | zstandard | 0.23.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.13 클러스터 버전)
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 17.2.0 |
| com.fasterxml.jackson.core | 잭슨 애노테이션즈 | 2.15.2 |
| com.fasterxml.jackson.core | 잭슨-코어 | 2.15.2 |
| com.fasterxml.jackson.core | 잭슨 데이터바인드 (jackson-databind) | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core (로그4j-코어) | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | interpreter-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |