이 페이지에서는 서버리스 환경 버전 5에 대한 시스템 환경 정보를 간략하게 설명합니다.
애플리케이션 호환성을 보장하기 위해 서버리스 워크로드는 최신 서버리스 버전과 호환되는 환경 버전이라고 하는 버전이 지정된 API를 사용합니다.
기본 환경을 선택하려면 서버리스 Notebook의 환경 쪽 패널에서 기본 환경 선택기를 사용합니다. 기본 환경 선택을 참조하세요.
새로운 기능 및 개선 사항
서버리스 환경 5에서는 다음과 같은 새로운 기능과 향상된 기능을 사용할 수 있습니다.
MLflow 3.8.1 지원
서버리스 환경 5에는 환경 버전 4에서 MLflow 2.22.0의 주요 업그레이드인 MLflow 3.8.1이 포함됩니다. 이 업그레이드에는 다양한 새로운 기능, 개선 사항 및 버그 수정이 포함됩니다. 변경 내용의 전체 목록은 MLflow 릴리스 정보를 참조하세요.
서버리스 JAR 작업
중요합니다
이 기능은 공개 미리보기 단계에 있습니다.
서버리스 JAR 작업은 이제 환경 버전 5에서 지원됩니다. 이 기능을 사용하면 서버리스 컴퓨팅 인프라에서 JAR 기반 애플리케이션을 실행할 수 있습니다.
Python UDF에 대해 기본적으로 사용하도록 설정된 화살표 최적화
환경 버전 5에서 화살표 최적화는 기본적으로 Python UDF에 대해 사용하도록 설정되므로 UDF 실행 성능이 크게 향상됩니다. 또한 화살표 기반 pandas 직렬 변환기가 개선되어 효율성이 향상되었습니다.
이는 화살표 최적화가 옵트인된 이전 버전의 동작 변경을 나타냅니다.
동작 변경
서버리스 환경 5에는 다음과 같은 동작 변경이 도입되었습니다.
BinaryType은 Python 바이트에 일관되게 매핑됩니다.
PySpark의 BinaryType는 이제 일관되게 Python의 bytes로 매핑됩니다. 이전에는 컨텍스트에 따라 PySpark가 BinaryType를 bytes 또는 bytearray로 매핑했습니다.
자세한 내용은 SPARK-53696을 참조하세요.
암호화를 위한 Linux 커널 수준 소켓 API
환경 버전 5부터 비 FIPS 규격 암호화에서 작동하는 Linux 커널 수준 암호화 소켓 API는 비결정적으로 실패할 수 있습니다. 비 FIPS 규정 준수 암호화 작업에는 이 API를 사용하지 마세요.
API 업데이트
서버리스 환경 5에는 다음과 같은 API 업데이트가 포함됩니다.
- SPARK-53635 Seq[Row] 형식의 입력 인수를 사용하여 Scala UDF 지원
- SPARK-54220 Parquet의 NullType/VOID/UNKNOWN 형식 지원
- SPARK-54153 프로파일링 반복기 기반 Python UDF 지원
- SPARK-54213 Spark Connect에서 Python 3.9 제거
- SPARK-53977 UDF에서 로깅 지원
- SPARK-53976 Pandas/Arrow UDF에서 로깅 지원
- SPARK-53573 어디서나 문자열 리터럴 병합 허용
- SPARK-54269 Python 3.14의 경우 cloudpickle을 3.1.2로 업그레이드
- SPARK-54287 pyspark-client 및 pyspark-connect에서 Python 3.14 지원 추가
- SPARK-53614 Iterator[pandas.DataFrame] 지원을 applyInPandas에 추가합니다.
- SPARK-53921 PySpark API에 GeometryType 및 GeographyType 소개
- SPARK-53920 Java API에 GeometryType 및 GeographyType 소개
- SPARK-53956 PySpark의 try_make_timestamp 함수에서 TIME 지원
- SPARK-53930 PySpark의 make_timestamp 함수에서 TIME 지원
- SPARK-53111 PySpark에서 time_diff 함수 구현
- SPARK-53877 BITMAP_AND_AGG 함수 소개
- SPARK-53357 pandas를 2.3.2로 업데이트
- SPARK-52980 Arrow Python UDTF 지원
- SPARK-52844 numpy를 1.22로 업데이트
- SPARK-50359 PyArrow를 18.0으로 업그레이드
- SPARK-50564 protobuf Python 패키지를 5.29.1로 업그레이드
- SPARK-50601 하위 쿼리에서 withColumns / withColumnsRenamed 기능 지원
- SPARK-51814 PySpark에서 새 API transformWithState 소개
- SPARK-52821 int-DecimalType> pyspark udf 반환 유형 강제 변환을 추가하다
- SPARK-53112 PySpark의 make_timestamp_ntz 및 try_make_timestamp_ntz 함수에서 TIME 지원
- SPARK-53319 try_make_timestamp_ltz() 기준 시간 유형 지원
- SPARK-53696 PySpark의 BinaryType에 대한 기본값은 바이트입니다.
- SPARK-55090 Python 클라이언트에서 DataFrame.toJSON 구현
시스템 환경
- 운영 체제: Ubuntu 24.04.3 LTS
- Python: 3.12.3
-
Databricks Connect: 18(Databricks Connect는 최신 서버리스 환경 버전에서 지속적으로 업데이트됩니다. 실행
pip list하여 현재 환경에서 정확한 버전을 확인합니다.) - Scala: 2.13.16
- JDK: 21
설치된 Python 라이브러리
로컬 Python 가상 환경에서 서버리스 환경 5를 재현하려면 requirements-env-5.txt 파일을 다운로드하고 실행 pip install -r requirements-env-5.txt합니다. 이 명령은 서버리스 환경 5의 모든 오픈 소스 라이브러리를 설치합니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| 주석이 추가된 문서 | 0.0.4 | 주석이 달린 유형 | 0.7.0 | 애니오 | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings (아르곤2-CFFI 바인딩) | 21.2.0 | arro3-core | 0.6.5 |
| 화살표 | 1.3.0 | 에이에스티토큰 | 3.0.0 | astunparse (파이썬 코드 분석 라이브러리) | 1.6.3 |
| async-lru | 2.0.4 | 속성들 | 24.3.0 | 자동 명령어 | 2.2.2 |
| azure-common | 1.1.28 | 애저 코어 | 1.37.0 | azure-identity (아주어 아이덴티티) | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob (애저 스토리지 블롭) | 12.28.0 |
| azure-storage-file-datalake (아주르 스토리지 파일 데이터레이크) | 12.22.0 | Babel | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | 검정색 | 24.10.0 | 표백제 | 6.2.0 |
| 깜빡이 | 1.7.0 | boto3 | 1.40.45 | 보토코어 | 1.40.45 |
| 캐시툴즈 (cachetools) | 5.5.1 | 서티피 | 2025.4.26 | cffi | 1.17.1 |
| 챠데트 | 4.0.0 | 문자셋 정규화기 | 3.3.2 | 클릭하세요 | 8.1.8 |
| cloudpickle (클라우드피클) | 3.0.0 | 통신 | 0.2.1 | contourpy (컨투어파이) | 1.3.1 |
| 암호화 | 44.0.1 | 자전거 타는 사람 | 0.11.0 | 사이톤 (Cython) | 3.1.5 |
| databricks-agents | 1.9.1 | databricks-connect | 18.0.5 | 데이터브릭스 SDK (소프트웨어 개발 키트) | 0.67.0 |
| 데이터클래스-제이슨 (dataclasses-json) | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| 장식자 | 5.1.1 | defusedxml (디퓨즈드 XML) | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | distlib (디스트립 라이브러리) | 0.3.9 | docstring을 Markdown으로 변환하기 | 0.11 |
| 실행 중 | 1.2.0 | 구성 요소 개요 | 1.1.1 | fastapi (파스트API) | 0.128.0 |
| fastjsonschema (파스트제이슨스키마) | 2.21.1 | 파일 잠금 | 3.17.0 | 폰트툴즈 (fonttools) | 4.55.3 |
| fqdn | 1.5.1 | 프로즌리스트 (frozenlist) | 1.5.0 | fsspec | 2023.5.0 |
| GitDB (기트 데이터베이스) | 4.0.11 | GitPython | 3.1.43 | google-api-core (구글 API 핵심) | 2.28.1 |
| 구글 인증 (google-auth) | 2.47.0 | google-cloud-core (구글 클라우드 코어) | 2.5.0 | 구글 클라우드 스토리지 (Google Cloud Storage) | 3.7.0 |
| google-crc32c (구글의 CRC32C 알고리즘) | 1.8.0 | google-resumable-media (구글 재개 가능한 미디어) | 2.8.0 | googleapis-common-protos | 1.65.0 |
| grpcio (Python용 gRPC 패키지) | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.16.0 |
| hf-xet | 1.2.0 | httpcore | 1.0.9 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface_hub | 1.2.4 | 아이드나 | 3.7 |
| importlib_metadata | 8.5.0 | 굴절하다 | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 | ipywidgets (아이파이위젯) | 7.8.1 | 아이소데이트 (isodate) | 0.7.2 |
| isoduration | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.펑크툴즈 | 4.0.1 | jaraco.text | 3.12.1 | Jedi | 0.19.2 |
| Jinja2 | 3.1.6 | 지터 | 0.12.0 | jmespath | 1.0.1 |
| joblib (잡리브) | 1.4.2 | json5 | 0.9.25 | jsonpatch (JSON 패치) | 1.33 |
| jsonpointer (JSON 포인터) | 3.0.0 | JSON 스키마 | 4.23.0 | jsonschema-명세사항 | 2023년 7월 1일 |
| 주피터-이벤트 (Jupyter Events) | 0.12.0 | jupyter-lsp | 2.2.5 | 주피터 클라이언트 (jupyter_client) | 8.6.3 |
| 주피터 코어 (jupyter_core) | 5.7.2 | 주피터_서버 | 2.15.0 | 주피터_서버_터미널 | 0.5.3 |
| 주피터랩 (JupyterLab) | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab 서버 | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | 키위솔버 (kiwisolver) | 1.4.8 | langchain-core | 1.2.6 |
| langchain-openai | 1.1.6 | langsmith | 0.6.1 | launchpadlib (런치패드 라이브러리) | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | litellm | 1.75.9 |
| 마크다운-it-py | 2.2.0 | MarkupSafe (마크업세이프) | 3.0.2 | 마시멜로 | 3.26.2 |
| matplotlib (매트플롯립) | 3.10.0 | matplotlib-inline (매트플롯립-인라인) | 0.1.7 | 맥케이브 | 0.7.0 |
| mdurl | 0.1.0 | 미스튠 (Mistune) | 3.1.2 | mlflow-skinny | 3.8.1 |
| mmh3 | 5.2.0 | more-itertools (모어 이터툴즈) | 10.3.0 | MSAL (Microsoft 인증 라이브러리) | 1.34.0 |
| msal-extensions | 1.3.1 | 멀티딕트 | 6.1.0 | mypy-extensions (마이파이-익스텐션) | 1.0.0 |
| nb클라이언트 | 0.10.2 | nbconvert | 7.16.6 | nb포맷 (nbformat) | 5.10.4 |
| nest-asyncio (파이썬 비동기 I/O 라이브러리) | 1.6.0 | nodeenv | 1.10.0 | notebook | 7.3.2 |
| 노트북_쉼 | 0.2.4 | numpy (파이썬의 수치 계산용 라이브러리) | 2.1.3 | oauthlib | 3.2.2 |
| 오픈AI | 2.14.0 | opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 |
| opentelemetry-sdk (소프트웨어 개발 키트) | 1.39.1 | opentelemetry-semantic-conventions (오픈텔레메트리-시맨틱-컨벤션) | 0.60b1 | orjson | 3.11.5 |
| 오버라이드 | 7.4.0 | 패키징 | 24.2 | 팬더 | 2.2.3 |
| pandocfilters | 1.5.0 | 파르소 | 0.8.4 | 패스스펙 (pathspec) | 0.10.3 |
| 바보 | 1.0.1 | pexpect (피엑스펙트) | 4.8.0 | 베개 | 11.1.0 |
| 파이썬 패키지 설치 도구 pip | 25.0.1 | 플랫폼 디렉토리 | 4.3.7 | plotly (데이터 시각화 라이브러리) | 5.24.1 |
| 플러기 | 1.5.0 | prometheus_client | 0.21.1 | prompt-toolkit (프롬프트 도구 키트) | 3.0.43 |
| propcache | 0.3.1 | proto-plus | 1.27.0 | 프로토버프 (protobuf) | 5.29.4 |
| psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) | 5.9.0 | psycopg2 | 2.9.11 | PtyProcess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | 피콜로 | 0.0.71 |
| pycparser | 2.21 | pydantic (파이썬 데이터 검증 및 설정 관리 라이브러리) | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes (파이플레이크스) | 3.2.0 | 파이그먼츠 | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing (파이썬 파싱 라이브러리) | 3.2.0 | 피라이트(Pyright) | 1.1.394 | 파이로어링 | 1.0.3 |
| pytest | 8.3.5 | python-dateutil (파이썬 날짜 유틸) | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger (파이썬에서 JSON을 사용하는 로깅 라이브러리) | 3.2.1 | 파이썬-LSP-JSON-RPC | 1.1.2 | python-lsp-server (파이썬 LSP 서버) | 1.12.2 |
| 파이툴콘피그 (pytoolconfig) | 1.2.6 | pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | 참조하기 | 0.30.2 | 정규식 | 2024.11.6 |
| 요청사항 | 2.32.3 | requests-toolbelt | 1.0.0 | RFC3339-검증기 (rfc3339-validator) | 0.1.4 |
| rfc3986-검증기 | 0.1.1 | 부유한 | 13.9.4 | 로프 | 1.13.0 |
| rpds-py | 0.22.3 | RSA (암호화 알고리즘) | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn (파이썬 머신러닝 라이브러리) | 1.6.1 | scipy (과학 컴퓨팅 라이브러리) | 1.15.3 | 바다에서 태어난 | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools (셋업툴즈) | 78.1.1 | 셸링엄 | 1.5.4 |
| 6 | 1.17.0 | 스맵 | 5.0.0 | 스니피오 | 1.3.0 |
| 정렬된 컨테이너 | 2.4.0 | 수프시브 | 2.5 | sqlparse | 0.5.5 |
| ssh-import-id 명령어 | 5.11 | 스택 데이터 | 0.6.3 | 스타렛 | 0.50.0 |
| strictyaml | 1.7.3 | 끈기 | 9.0.0 | 끝났다 | 0.17.1 |
| threadpoolctl | 3.5.0 | tiktoken (틱토큰) | 0.12.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | 토크나이저 | 0.22.2 | tomli | 2.0.1 |
| 토네이도 | 6.5.1 | tqdm | 4.67.1 | 트레잇렛츠 | 5.14.3 |
| 타입가드 (typeguard) | 4.3.0 | typer-slim | 0.21.1 | types-python-dateutil | 2.9.0.20251115 |
| 타이핑 검사 | 0.9.0 | 타이핑_익스텐션 | 4.12.2 | tzdata | 2024.1 |
| ujson (파이썬에서 JSON 직렬화를 위한 라이브러리) | 5.10.0 | 사용자 개입 없는 자동 업데이트 | 0.1 | uri 템플릿 | 1.3.0 |
| urllib3 | 2.3.0 | uuid_utils | 0.12.0 | uvicorn | 0.40.0 |
| virtualenv | 20.29.3 | wadllib | 1.3.6 | wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 |
| webcolors | 25.10.0 | 웹인코딩 | 0.5.1 | 웹소켓 클라이언트 (websocket-client) | 1.8.0 |
| 왓더패치 | 1.0.2 | 바퀴 | 0.45.1 | 언제든지 | 0.7.3 |
| widgetsnbextension (위젯 확장 프로그램) | 3.6.6 | 감싼 | 1.17.0 | yapf | 0.40.2 |
| yarl | 1.18.0 | 지프 | 3.21.0 | zstandard | 0.23.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.13)
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 18.0.0 |
| com.fasterxml.jackson.core | 잭슨 애노테이션즈 | 2.15.2 |
| com.fasterxml.jackson.core | 잭슨-코어 | 2.15.2 |
| com.fasterxml.jackson.core | 잭슨 데이터바인드 (jackson-databind) | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core (로그4j-코어) | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | interpreter-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |