이 문서는 환경 버전 4의 시스템 환경 정보를 개괄합니다.
애플리케이션에 대한 호환성을 보장하기 위해 서버리스 워크로드는 최신 서버 버전과 호환되는 환경 버전이라고 하는 버전이 지정된 API를 사용합니다.
서버리스 Notebook의 환경 쪽 패널을 사용하여 이 환경 버전을 포함하는 기본 환경을 선택할 수 있습니다. 기본 환경 선택을 참조하세요.
새로운 기능 및 개선 사항
다음 새로운 기능과 개선점들이 환경 버전 4에서 제공됩니다.
서버리스 컴퓨팅에서 Spark ML 지원
서버리스 컴퓨팅은 이제 환경 버전 4에서 PySpark(pyspark.ml)의 Spark ML 및 Spark용 MLflow(mlflow.spark)를 지원합니다. 서버리스 컴퓨팅에서 하이퍼 매개 변수 튜닝의 경우 Databricks는 Optuna 및 Joblib Spark를 사용하는 것이 좋습니다.
서버리스 컴퓨팅에서 SparkML을 실행할 때 적용되는 제한 사항은 다음과 같습니다.
- 최대 모델 크기는 100MB입니다.
- 세션당 메모리 내 모델의 최대 총 크기는 1GB입니다.
- 모델 크기가 100MB를 초과할 경우 트리 모델 학습이 일찍 중지됩니다.
- 다음 SparkML 모델은 지원되지 않습니다.
- 분산LDA모델
- FPGrowthModel (FP성장 모델)
Unity 카탈로그의 Scala 및 Java UDF
서버리스 환경 버전 4는 Unity 카탈로그에서 Scala 및 Java UDF(사용자 정의 함수)를 지원합니다. Unity 카탈로그 거버넌스를 사용하여 컴퓨팅 환경에서 사용자 지정 Scala 및 Java 함수를 만들고 등록하고 공유할 수 있습니다. Unity 카탈로그의 Scala UDF의 경우 Scala 버전 2.13.16만 지원됩니다. Unity 카탈로그의 Scala 및 Java UDF에는 JDK 17이 필요합니다.
자세한 내용은 Unity 카탈로그의 Scala 및 Java UDF(사용자 정의 함수)를 참조하세요.
스칼라 Python UDF는 이제 서비스 자격 증명을 지원합니다.
스칼라 Python UDF는 Unity 카탈로그 서비스 자격 증명을 사용하여 외부 클라우드 서비스에 안전하게 액세스할 수 있습니다. 자세한 내용은 Scalar Python UDF의 서비스 자격 증명을 참조하세요.
PySpark 및 Spark Connect는 이제 DataFrames API를 지원합니다 df.mergeInto .
PySpark 및 Spark Connect는 이제 이전에 Scala에만 사용할 수 있었던 API를 지원 df.mergeInto 합니다.
API 업데이트
환경 버전 4에는 다음과 같은 API 업데이트가 포함되어 있습니다:
-
SPARK-50915에서
getCondition를 추가하고getErrorClassPySparkException를 사용 중단합니다. -
SPARK-50719 PySpark 지원
interruptOperation -
SPARK-50718 PySpark 지원
addArtifact(s) - SPARK-49530 PySpark 그리기에서 원형 하위 플롯 지원
-
SPARK-50357 PySpark에 대한 지원
Interrupt(Tag|All)API -
SPARK-51178 대신 적절한 PySpark 오류를 제기하십시오
SparkConnectGrpcException -
SPARK-51227 PySpark Connect
_minimum_grpc_version를 1.67.0으로 수정 -
SPARK-50778 PySpark DataFrame에 추가
metadataColumn -
SPARK-50311 PySpark에 대한 지원
(add|remove|get|clear)Tag(s)API -
SPARK-50310 PySpark에 대해 사용하지 않도록 설정할
DataFrameQueryContext플래그 추가 - SPARK-50238 PySpark UDF/UDF/UDAF 및 Python UC UDF에 Variant 지원 추가
- SPARK-50183 Pandas API 및 PySpark 그리기를 위한 내부 함수 통합
-
SPARK-50170 다음으로 이동
_invoke_internal_function_over_columnspyspark.sql.utils - SPARK-50167 PySpark 그리기 오류 메시지 및 가져오기 개선
-
SPARK-48961 JVM과 일치하는 매개 변수 이름 지정
PySparkException - SPARK-49567 PySpark 코드 베이스에서 바닐라 대신 클래식 사용
-
SPARK-48755
transformWithStatePySpark 기본 구현 및ValueState지원 -
SPARK-48714 PySpark에서 구현
DataFrame.mergeInto -
SPARK-47365 PySpark에 DataFrame 메서드 추가
toArrow() - SPARK-48075 PySpark avro 함수에 대한 형식 검사
-
SPARK-46984 제거하다
pyspark.copy_func -
SPARK-46213 오류 프레임워크 소개
PySparkImportError - SPARK-46226 남아 있는 모든 항목을 PySpark 오류 프레임워크로 마이그레이션하기
-
SPARK-45450 PEP8에 따라 가져오기 수정:
pyspark.pandas및pyspark(코어)
시스템 환경
- 운영 체제: Ubuntu 24.04.2 LTS
- Python: 3.12.3
-
Databricks Connect: 17 (Databricks Connect는 최신 환경 버전으로 지속적으로 업데이트됩니다. 현재 환경에서 정확한 버전을 확인하려면 실행하세요
pip list.) - Scala: 2.13.16
- JDK: 17
설치된 Python 라이브러리
로컬 Python 가상 환경에서 환경 버전 4를 재현하려면 requirements-env-4.txt 파일을 다운로드하고 pip install -r requirements-env-4.txt. 이 명령어는 환경 버전 4의 모든 라이브러리를 설치합니다.
| Library | 버전 | Library | 버전 | Library | 버전 |
|---|---|---|---|---|---|
| 주석이 달린 유형 | 0.7.0 | anyio | 4.6.2 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | 화살 | 1.3.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | async-lru | 2.0.4 | 속성 | 24.3.0 |
| azure-common | 1.1.28 | azure-core | 1.34.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.23.0 |
| azure-storage-file-datalake (애저 스토리지 파일 데이터레이크) | 12.17.0 | 바벨 | 2.16.0 | beautifulsoup4 | 4.12.3 |
| 검정 | 24.10.0 | 표백제 | 6.2.0 | boto3 | 1.36.2 |
| 보토코어 | 1.36.3 | cachetools | 5.5.1 | 서티피 | 2025.1.31 |
| cffi | 1.17.1 | 챠데트 | 4.0.0 | charset-normalizer (문자셋 정규화 도구) | 3.3.2 |
| 클릭 | 8.1.7 | cloudpickle (클라우드피클) | 3.0.0 | 통신 | 0.2.1 |
| contourpy | 1.3.1 | 암호화 | 43.0.3 | 자전거 타는 사람 | 0.11.0 |
| 사이톤 (Cython) | 3.0.12 | databricks-connect | 17.3.12 | databricks-sdk | 0.49.0 |
| debugpy | 1.8.11 | 장식자 | 5.1.1 | defusedxml | 0.7.1 |
| Deprecated | 1.2.13 | docstring-to-markdown (문서 문자열을 마크다운으로 변환) | 0.11 | 실행 중 | 0.8.3 |
| 패싯 개요 | 1.1.1 | fastapi | 0.115.12 | fastjsonschema | 2.21.1 |
| fonttools | 4.55.3 | fqdn | 1.5.1 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.20.0 |
| google-auth | 2.40.0 | google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 |
| google-crc32c | 1.7.1 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 |
| grpcio (Python용 gRPC 패키지) | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.14.0 |
| httpcore | 1.0.2 | httpx | 0.27.0 | 아이드나 | 3.7 |
| importlib-metadata | 6.6.0 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.6.1 | isoduration | 20.11.0 |
| jedi | 0.19.2 | Jinja2 | 3.1.5 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpointer | 3.0.0 |
| JSON 스키마 | 4.23.0 | jsonschema-specifications | 2023.7.1 | jupyter-events | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.3 | jupyter_core | 5.7.2 |
| jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 | jupyterlab | 4.3.4 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | jupyterlab_server | 2.27.3 |
| 키위솔버 (kiwisolver) | 1.4.8 | markdown-it-py | 2.2.0 | MarkupSafe (마크업세이프) | 3.0.2 |
| matplotlib (매트플롯립) | 3.10.0 | matplotlib-inline | 0.1.7 | mccabe | 0.7.0 |
| mdurl | 0.1.0 | 미스튠 (Mistune) | 2.0.4 | mlflow-스키니 | 2.22.0 |
| mmh3 | 5.1.0 | msal | 1.32.3 | msal-extensions | 1.3.1 |
| mypy-extensions | 1.0.0 | nbclient | 0.8.0 | nbconvert | 7.16.4 |
| nbformat | 5.10.4 | nest-asyncio | 1.6.0 | nodeenv | 1.9.1 |
| notebook | 7.3.2 | notebook_shim | 0.2.3 | numpy (파이썬의 수치 계산용 라이브러리) | 2.1.3 |
| opentelemetry-api | 1.32.1 | opentelemetry-sdk | 1.32.1 | opentelemetry-semantic-conventions | 0.53b1 |
| 오버라이드 | 7.4.0 | 포장 | 24.1 | 팬더 | 2.2.3 |
| pandocfilters | 1.5.0 | parso | 0.8.4 | pathspec | 0.10.3 |
| 바보 | 1.0.1 | pexpect (피엑스펙트) | 4.8.0 | 베개 | 11.1.0 |
| 파이썬 패키지 설치 도구 pip | 25.0.1 | platformdirs | 3.10.0 | plotly | 5.24.1 |
| 플러기 | 1.5.0 | prometheus_client | 0.21.0 | prompt-toolkit (프롬프트 도구 키트) | 3.0.43 |
| proto-plus | 1.26.1 | 프로토버프 (protobuf) | 5.29.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | PtyProcess | 0.7.0 | pure-eval | 0.2.2 |
| py4j | 0.10.9.9 | pyarrow | 19.0.1 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pyccolo | 0.0.71 | pycparser | 2.21 |
| pydantic | 2.10.6 | pydantic_core | 2.27.2 | pyflakes | 3.2.0 |
| 파이그먼츠 | 2.15.1 | pyiceberg | 0.9.0 | PyJWT | 2.10.1 |
| pyodbc | 5.2.0 | pyparsing (파이썬 파싱 라이브러리) | 3.2.0 | 피라이트(pyright) | 1.1.394 |
| pytest | 8.3.5 | python-dateutil (파이썬 날짜 유틸) | 2.9.0.post0 | python-json-logger | 3.2.1 |
| python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.0 | pytoolconfig | 1.2.6 |
| pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2024.1 | PyYAML | 6.0.2 | pyzmq | 26.2.0 |
| 참조 | 0.30.2 | 요청사항 | 2.32.3 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | 풍부한 | 13.9.4 | 밧줄 | 1.12.0 |
| rpds-py | 0.22.3 | rsa | 4.9.1 | s3transfer | 0.11.3 |
| scikit-learn (파이썬 머신러닝 라이브러리) | 1.6.1 | scipy (과학 컴퓨팅 라이브러리) | 1.15.1 | 바다에서 태어난 | 0.13.2 |
| Send2Trash | 1.8.2 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sortedcontainers | 2.4.0 | 수프 체 | 2.5 | sqlparse | 0.5.3 |
| 스택 데이터 | 0.2.0 | 스타렛 | 0.46.2 | statsmodels (파이썬 통계 모형 라이브러리) | 0.14.4 |
| strictyaml | 1.7.3 | 끈기 | 9.0.0 | 종료됨 | 0.17.1 |
| threadpoolctl | 3.5.0 | tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 |
| tomli | 2.0.1 | 토네이도 | 6.4.2 | 트레잇렛츠 | 5.14.3 |
| types-python-dateutil | 2.9.0.20241206 | typing_extensions | 4.12.2 | tzdata | 2024.1 |
| ujson | 5.10.0 | uri 템플릿 | 1.3.0 | urllib3 | 2.3.0 |
| uvicorn | 0.34.2 | wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 | webcolors | 24.11.1 |
| 웹인코딩 | 0.5.1 | 웹소켓 클라이언트 (websocket-client) | 1.8.0 | whatthepatch | 1.0.2 |
| widgetsnbextension | 3.6.6 | 감싼 | 1.17.0 | yapf | 0.40.2 |
| zipp | 3.21.0 | zstandard | 0.23.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.13)
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 17.3.1 |
| com.databricks | databricks-dbutils-scala_2.13 | 0.1.4 |
| com.databricks | databricks-sdk-java | 0.52.0 |
| com.fasterxml.jackson.core | 잭슨 애노테이션즈 | 2.15.2 |
| com.fasterxml.jackson.core | 잭슨-코어 | 2.15.2 |
| com.fasterxml.jackson.core | 잭슨 데이터바인드 (jackson-databind) | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.2 |
| com.google.auth | google-auth-library-credentials | 1.20.0 |
| com.google.auth | google-auth-library-oauth2-http | 1.20.0 |
| com.google.auto.value | 자동 값 주석 | 1.10.4 |
| com.google.code.gson | gson (JSON 처리를 위한 자바 라이브러리) | 2.10.1 |
| com.google.errorprone | error_prone_annotations | 2.18.0 |
| com.google.guava | failureaccess | 1.0.1 |
| com.google.guava | guava | 32.0.1-jre |
| com.google.guava | listenablefuture | 9999.0-empty-to-avoid-conflict-with-guava |
| com.google.http-client | google-http-client | 1.43.3 |
| com.google.http-client | google-http-client-gson | 1.43.3 |
| com.google.j2objc | j2objc-annotations | 2.8 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.8 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.8 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.8 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.8 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.8 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.8 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.8 |
| com.lihaoyi | ammonite-terminal_2.13 | 3.0.8 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.8 |
| com.lihaoyi | fansi_2.13 | 0.5.1 |
| com.lihaoyi | mainargs_2.13 | 0.7.6 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| com.lihaoyi | scalatags_2.13 | 0.13.1 |
| com.thesamet.scalapb | lenses_2.13 | 0.11.15 |
| com.thesamet.scalapb | scalapb-runtime_2.13 | 0.11.15 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| commons-codec | commons-codec | 1.11 |
| commons-io | commons-io | 2.14.0 |
| commons-logging (커먼즈 로깅) | commons-logging (커먼즈 로깅) | 1.3.2 |
| io.github.java-diff-utils | java-diff-utils | 4.15 |
| io.grpc | grpc-context | 1.27.2 |
| io.opencensus | opencensus-api | 0.31.1 |
| io.opencensus | opencensus-contrib-http-util | 0.31.1 |
| org.apache.commons (오픈 소스 자바 라이브러리) | commons-configuration2 | 2.11.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | commons-lang3 | 3.14.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | commons-text | 1.12.0 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core (로그4j-코어) | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.24.3 |
| org.checkerframework | checker-qual | 3.33.0 |
| org.jline | jline | 3.27.1 |
| org.jline | jline-reader | 3.14.1 |
| org.jline | jline-terminal | 3.14.1 |
| org.json | JSON | 20240303 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang | scalap_2.13 | 2.13.13 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.13.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 1.0.2 |
| org.scalameta | io_2.13 | 4.13.10 |
| org.scalameta | mtags-interfaces | 1.6.3 |
| org.scalameta | mtags-shared_2.13.16 | 1.6.3 |
| org.scalameta | mtags_2.13.16 | 1.6.3 |
| org.scalameta | parsers_2.13 | 4.13.10 |
| org.scalameta | scalameta_2.13 | 4.13.10 |
| org.scalameta | semanticdb-scalac-core_2.13.16 | 4.13.10 |
| org.scalameta | trees_2.13 | 4.13.10 |
| org.slf4j | slf4j-api | 2.0.10 |
| org.slf4j | slf4j-nop | 1.7.36 |
| sh.almond | channels_2.13 | 0.14.5 |
| sh.almond | coursier-logger_2.13 | 0.14.5 |
| sh.almond | interpreter-api_2.13 | 0.14.5 |
| sh.almond | interpreter_2.13 | 0.14.5 |
| sh.almond | jupyter-api_2.13 | 0.14.5 |
| sh.almond | kernel_2.13 | 0.14.5 |
| sh.almond | logger-scala2-macros_2.13 | 0.14.5 |
| sh.almond | logger_2.13 | 0.14.5 |
| sh.almond | protocol_2.13 | 0.14.5 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.5 |
| sh.almond | scala-kernel-api_2.13.16 | 0.14.5 |
| sh.almond | scala-kernel_2.13.16 | 0.14.5 |
| sh.almond | shared-directives_2.13 | 0.14.5 |
| sh.almond | toree-hooks_2.13 | 0.14.5 |