共用方式為

無伺服器環境第 4 版

本文概述無伺服器環境第 4 版的系統環境資訊。

為了確保應用程式的相容性，無伺服器工作負載使用版本化 API，稱為環境版本，該 API 與較新的伺服器版本保持相容。

您可以使用無伺服器筆記本中的 環境 側邊面板來選取環境版本。 參見 選擇基礎環境。

新功能和改進

下列新功能和改善功能可在無伺服器環境 4 中使用。

無伺服器運算上的 Spark ML 支援

無伺服器計算現在支援 PySpark 中的 Spark ML （pyspark.ml） 和環境版本 4 中的 MLflow for Spark （mlflow.spark）。 針對無伺服器計算上的超參數微調，Databricks 建議使用 Optuna 和 Joblib Spark。

在無伺服器計算上執行 SparkML 時，會套用下列限制：

  • 模型大小上限為 100MB。
  • 每個工作階段的記憶體內模型總大小上限為 1GB。
  • 如果模型大小即將超過 100MB，樹狀結構模型訓練會提前停止。
  • 不支援下列 SparkML 模型：
    • 分散式LDAModel
    • FPGrowth模型

Scalar Python UDF 現在支援服務憑證

純量 Python UDF 可以使用 Unity 目錄服務認證，安全地存取外部雲端服務。 如需詳細資訊，請參閱 純量 Python UDF 中的服務認證。

PySpark 和 Spark Connect 現在支援 DataFrames df.mergeInto API

PySpark 和 Spark Connect 現在支援 df.mergeInto API，該 API 以前僅適用於 Scala。

API 更新

無伺服器環境 4 包含下列 API 更新：

  • SPARK-50915 添加 getCondition 和 弃用 getErrorClass 在 PySparkException
  • SPARK-50719interruptOperation支援 PySpark
  • SPARK-50718 支援 PySpark
  • SPARK-49530 支援 PySpark 繪圖中的圓餅圖子圖
  • SPARK-50357 支援 Interrupt(Tag|All) PySpark 的 API
  • SPARK-51178引發適當的 PySpark 錯誤，而不是SparkConnectGrpcException
  • SPARK-51227 將 PySpark Connect _minimum_grpc_version 更新至 1.67.0
  • SPARK-50778 新增 metadataColumn 至 PySpark DataFrame
  • SPARK-50311 支持 PySpark 的 API(add|remove|get|clear)Tag(s)
  • SPARK-50310 為 PySpark 新增一個用於停用的旗標
  • SPARK-50238 在 PySpark UDF/UDTF/UDAF 和 Python UC UDF 中增加變體支援
  • SPARK-50183 統一 Pandas API 與 PySpark 繪圖功能內部的函數配置
  • SPARK-50170 移至 _invoke_internal_function_over_columnspyspark.sql.utils
  • SPARK-50167 改善 PySpark 錯誤訊息和導入
  • SPARK-48961 使PySparkException的參數命名與JVM一致
  • SPARK-49567 使用 PySpark 程式碼基底中的 classic 而不是 vanilla
  • Spark-48755transformWithState PySpark 基礎實作與ValueState支援
  • SPARK-48714 在 PySpark 中實作 DataFrame.mergeInto
  • SPARK-47365 在 toArrow() PySpark 中新增 DataFrame 方法
  • SPARK-48075 PySpark avro 函式的類型檢查
  • SPARK-46984 移除 pyspark.copy_func
  • SPARK-46213 引入錯誤架構PySparkImportError
  • SPARK-46226 將所有剩餘部分移轉至 PySpark 錯誤框架
  • SPARK-45450 根據 PEP8 修正匯入：pyspark.pandas和pyspark（核心）

系統環境

  • 作業系統：Ubuntu 24.04.2 LTS
  • Python：3.12.3
  • Databricks Connect：17（Databricks Connect 持續更新為最新的無伺服器環境版本。跑一跑 pip list 確認你目前環境的確切版本。）
  • Scala：2.13.16
  • JDK：17

已安裝的 Python 程式庫

若要在本機 Python 虛擬環境中重現無伺服器環境 4，請下載 requirements-env-4.txt 檔案並執行 pip install -r requirements-env-4.txt。 此命令會從無伺服器環境 4 安裝所有開放原始碼程式庫。

Library 版本 Library 版本 Library 版本
註釋類型 0.7.0 安尼奧 4.6.2 argon2-cffi 21.3.0
Argon2-CFFI綁定 21.2.0 箭頭 1.3.0 asttokens 2.0.5
astunparse 1.6.3 非同步 LRU 2.0.4 屬性 24.3.0
自動指令 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
Azure 儲存 Blob (azure-storage-blob) 12.23.0 azure-storage-file-datalake 12.17.0 Babel編譯器 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 黑 24.10.0
漂白劑 6.2.0 閃光燈 1.7.0 boto3 1.36.2
botocore（AWS的Python程式庫） 1.36.3 緩存工具 5.5.1 證書 2025年1月31日
cffi 1.17.1 chardet 4.0.0 字元集歸一化器 3.3.2
點擊 8.1.7 cloudpickle（Python 程式庫） 3.0.0 通訊 0.2.1
contourpy 1.3.1 加密 43.0.3 騎車者 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-SDK 0.49.0
dbus-python 1.3.2 debugpy 1.8.11 裝飾項目 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 執行中 0.8.3 面向概觀 1.1.1
fastapi 0.115.12 fastjson模式 2.21.1 檔案鎖定 3.18.0
字體工具 4.55.3 FQDN 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 谷歌API核心 2.20.0
谷歌身份驗證 2.40.0 谷歌雲核心 2.4.3 谷歌雲存儲 3.1.0
谷歌-CRC32C 1.7.1 Google 可恢復媒體 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
IDNA 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
屈折 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 iso持續時間 20.11.0
jaraco.context 5.3.0 賈拉科.functools 4.0.1 賈拉科.text 3.12.1
絕地武士 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 json指標 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023年7月1日 Jupyter-事件 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server (Jupyter 伺服器) 2.14.1 jupyter_server_terminals 0.4.4 木星實驗室 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver（開源程式庫） 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 麥凱布 0.7.0
mdurl 0.1.0 米斯圖恩 2.0.4 mlflow-輕量 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 MSAL 1.32.3
MSAL 延伸模組 1.3.1 mypy-extensions 1.0.0 nbclient 0.8.0
nbconvert（文件轉換工具） 7.16.4 nbformat 5.10.4 nest-asyncio（巢狀非同步程式庫） 1.6.0
nodeenv 1.9.1 筆記本 7.3.2 notebook_shim 0.2.3
numpy（數值計算套件） 2.1.3 oauthlib 3.2.2 開放遙測-API 1.32.1
opentelemetry-SDK 1.32.1 opentelemetry-semantic-conventions 0.53b1 覆寫 7.4.0
包裝 24.1 熊貓 2.2.3 pandocfilters (潘多克過濾器) 1.5.0
帕索 0.8.4 路徑規格 0.10.3 替罪羊 1.0.1
pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 枕頭 11.1.0 pip（Python 軟體包管理工具） 25.0.1
platformdirs 3.10.0 陰謀 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 prompt-toolkit（提示工具組） 3.0.43 原型加 1.26.1
協議緩衝區 (Protocol Buffers) 5.29.4 psutil 5.9.0 psycopg2 2.9.3
pty進程 0.7.0 純粹評估 0.2.2 py4j 0.10.9.9
pyarrow 19.0.1 pyasn1 0.4.8 pyasn1 模組 0.2.8
皮科洛 0.0.71 pycparser（Python 的 C 語法分析器） 2.21 皮丹蒂克 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing（Python 字符串解析库） 3.2.0 派賴特 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-服務器 1.12.0
pytoolconfig 1.2.6 pytz（Python 的時區計算函式庫） 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 參考 0.30.2 要求 2.32.3
rfc3339-驗證器 0.1.4 rfc3986-驗證器 0.1.1 富 13.9.4
繩索 1.12.0 rpds-py 0.22.3 RSA 4.9.1
s3transfer 0.11.3 scikit-learn（機器學習套件） 1.6.1 scipy科學計算庫 1.15.1
海上出生 0.13.2 發送2垃圾箱 1.8.2 setuptools 74.0.0
六 1.16.0 SMMAP 5.0.0 sniffio 1.3.0
SortedContainers 2.4.0 湯篩 2.5 sqlparse 0.5.3
ssh-import-id 5.11 堆疊資料 0.2.0 Starlette 0.46.2
statsmodels (統計模型庫) 0.14.4 strictyaml 1.7.3 固執 9.0.0
完成 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 湯姆利 2.0.1 龍捲風 6.4.2
特性 5.14.3 類型防護 4.3.0 「types-python-dateutil」 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
無人值守升級 0.1 uri 模板 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 瓦德利布 1.3.6
wcwidth（字符寬度函數） 0.2.5 網頁顏色 24.11.1 網路編碼 0.5.1
WebSocket 客戶端 1.8.0 什麼補丁 1.0.2 Wheel 0.45.1
widgetsnbextension 3.6.6 包裹著 1.17.0 yapf 0.40.2
拉鍊 3.21.0 Z標準 0.23.0

已安裝 Java 與 Scala 函式庫（Scala 2.13）

群組識別碼 文物識別碼 版本
com.databricks Databricks-connect_2.13 17.2.0
com.fasterxml.jackson.core Jackson 註解 2.15.2
com.fasterxml.jackson.core jackson-core (資料處理核心) 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi Ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi 菊石-解釋-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi OS-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
Sh.杏仁 channels_2.13 0.14.1-1
Sh.杏仁 直譯器-api_2.13 0.14.1-1
Sh.杏仁 interpreter_2.13 0.14.1-1
Sh.杏仁 Jupyter-api_2.13 0.14.1-1
Sh.杏仁 kernel_2.13 0.14.1-1
Sh.杏仁 logger_2.13 0.14.1-1
Sh.杏仁 protocol_2.13 0.14.1-1
Sh.杏仁 Scala-interpreter_2.13.16 0.14.1-1
Sh.杏仁 Scala-kernel_2.13.16 0.14.1-1
Sh.杏仁 共享指令_2.13 0.14.1-1
  • Last updated on