次の方法で共有

サーバーレス環境バージョン 4

この記事では、サーバーレス環境バージョン 4 のシステム環境情報について説明します。

アプリケーションの互換性を確保するために、サーバーレス ワークロードでは、環境バージョンと呼ばれるバージョン管理された API が使用されます。これは、新しいサーバー バージョンとの互換性を維持します。

環境のバージョンは、サーバーレス ノートブックの [環境 ] サイド パネルを使用して選択できます。 「 環境バージョンの選択」を参照してください。

新機能と機能強化

サーバーレス環境 4 では、次の新機能と機能強化を利用できます。

サーバーレス コンピューティングでの Spark ML のサポート

サーバーレス コンピューティングでは、PySpark (pyspark.ml) の Spark ML と、環境バージョン 4 の Spark (mlflow.spark) の MLflow がサポートされるようになりました。 サーバーレス コンピューティングでハイパーパラメーターを調整する場合、Databricks では Optuna と Joblib Spark を使用することをお勧めします。

サーバーレス コンピューティングで SparkML を実行する場合は、次の制限が適用されます。

  • モデルの最大サイズは 100 MB です。
  • セッションあたりのメモリ内モデルの最大合計サイズは 1 GB です。
  • モデル サイズが 100 MB を超える場合、ツリー モデルのトレーニングは早期に停止します。
  • 次の SparkML モデルはサポートされていません。
    • 分散型LDAモデル (DistributedLDAModel)
    • FPGrowthModel

スカラー Python UDF でサービス資格情報がサポートされるようになりました

スカラー Python UDF は、Unity カタログ サービスの資格情報を使用して、外部クラウド サービスに安全にアクセスできます。 詳細については、「 スカラー Python UDF のサービス資格情報」を参照してください。

PySpark と Spark Connect で DataFrames df.mergeInto API がサポートされるようになりました

PySpark と Spark Connect では、以前は Scala でのみ使用できた df.mergeInto API がサポートされるようになりました。

API の更新

サーバーレス環境 4 には、次の API 更新プログラムが含まれています。

  • SPARK-50915getConditionを追加し、getErrorClassを非推奨にするPySparkException
  • SPARK-50719PySpark のサポート interruptOperation
  • SPARK-50718PySpark のサポート addArtifact(s)
  • SPARK-49530 PySpark プロットでの円グラフサブプロットのサポート
  • SPARK-50357 PySpark Interrupt(Tag|All) API のサポート
  • SPARK-51178 代わりに適切な PySpark エラーを発生させる SparkConnectGrpcException
  • SPARK-51227 PySpark Connect _minimum_grpc_version を 1.67.0 に修正する
  • SPARK-50778 PySpark DataFrame に metadataColumn を追加する
  • SPARK-50311 PySpark (add|remove|get|clear)Tag(s) API のサポート
  • SPARK-50310 PySpark の DataFrameQueryContext を無効にするフラグを追加する
  • SPARK-50238 PySpark UDF/UDF/UDAFs および Python UC UDF でバリアント サポートを追加する
  • SPARK-50183 Pandas API と PySpark プロットの内部関数を統合する
  • SPARK-50170_invoke_internal_function_over_columnsの移動先pyspark.sql.utils
  • SPARK-50167 PySpark プロットのエラー メッセージとインポートを改善する
  • SPARK-48961 パラメーターの名前付け PySparkException JVM と一致させる
  • SPARK-49567 PySpark コード ベースからバニラの代わりにクラシックを使用する
  • SPARK-48755transformWithState PySpark の基本実装と ValueState のサポート
  • SPARK-48714 PySpark で DataFrame.mergeInto を実装する
  • SPARK-47365toArrow() DataFrame メソッドを PySpark に追加する
  • SPARK-48075 PySpark avro 関数の型チェック
  • SPARK-46984 取り去る pyspark.copy_func
  • SPARK-46213 エラー フレームワークの PySparkImportError を導入する
  • SPARK-46226 残りのすべての RuntimeError を PySpark エラー フレームワークに移行する
  • SPARK-45450 PEP8 に従ってインポートを修正する: pyspark.pandas と pyspark (コア)

システム環境

  • オペレーティング システム: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect は、最新のサーバーレス環境バージョンで継続的に更新されます。 pip list を実行して、現在の環境の正確なバージョンを確認します)。
  • Scala: 2.13.16
  • JDK: 17

インストールされている Python ライブラリ

ローカルの Python 仮想環境でサーバーレス環境 4 を再現するには、 requirements-env-4.txt ファイルをダウンロードし、 pip install -r requirements-env-4.txt実行します。 このコマンドは、サーバーレス環境 4 のすべてのオープン ソース ライブラリをインストールします。

Library バージョン Library バージョン Library バージョン
annotated-types 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 矢 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
autocommand 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 バベル 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 黒い 24.10.0
漂白剤 6.2.0 ウィンカー 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 サーティフィ 2025.1.31
cffi 1.17.1 チャーデット 4.0.0 charset-normalizer 3.3.2
クリック 8.1.7 クラウドピックル 3.0.0 通信 0.2.1
contourpy 1.3.1 暗号 43.0.3 サイクリスト 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-sdk 0.49.0
dbus-python 1.3.2 debugpy 1.8.11 デコレータ 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 実行 0.8.3 facets-overview 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 filelock 3.18.0
fonttools 4.55.3 fqdn 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
idna 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
活用 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isoduration 20.11.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jedi 0.19.2 ジンジャ2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
JSONスキーマ 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
キウィソルバー 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 マークアップセーフ 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 マッケイブ 0.7.0
mdurl 0.1.0 ミスチューン 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal 1.32.3
msal-extensions 1.3.1 mypy-extensions 1.0.0 nbclient 0.8.0
NBコンバート 7.16.4 nbフォーマット 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 ノートブック 7.3.2 notebook_shim 0.2.3
NumPy (数値計算ライブラリ) 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0.53b1 オーバーライド 7.4.0
包装 24.1 パンダ 2.2.3 パンドックフィルターズ 1.5.0
parso 0.8.4 pathspec 0.10.3 パッツィ 1.0.1
ペキスペクト 4.8.0 枕 11.1.0 種 25.0.1
platformdirs 3.10.0 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 prompt-toolkit（プロンプトツールキット） 3.0.43 proto-plus 1.26.1
プロトバフ 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow (パイアロー) 19.0.1 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser（パイシーパーサー） 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 パイパーシング (Pyparsing) 3.2.0 pyright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil (Python用の日付処理ライブラリ) 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 参照 0.30.2 リクエスト 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 裕福 13.9.4
縄 1.12.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.11.3 scikit-learn（サイキット・ラーン） 1.6.1 scipy 1.15.1
seaborn（シーボーン） 0.13.2 Send2Trash 1.8.2 setuptools（セットアップツール） 74.0.0
6 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2.5 sqlparse 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 starlette 0.46.2
statsmodels（スタッツモデルズ） 0.14.4 strictyaml 1.7.3 持久力 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 竜巻 6.4.2
traitlets（トレイトレット） 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
無人アップグレード 0.1 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth（文字の幅を測定するプログラム関数） 0.2.5 webcolors 24.11.1 ウェブエンコーディングス 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 ホイール 0.45.1
widgetsnbextension 3.6.6 包まれた 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

インストールされている Java および Scala ライブラリ (Scala 2.13 クラスター バージョン)

グループ識別子 アーティファクト ID バージョン
com.databricks databricks-connect_2.13 17.2.0
com.fasterxml.jackson.core jackson-annotations (ジャクソン・アノテーション) 2.15.2
com.fasterxml.jackson.core ジャクソン・コア (jackson-core) 2.15.2
com.fasterxml.jackson.core ジャクソン・データバインド (jackson-databind) 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.アーモンド channels_2.13 0.14.1-1
sh.アーモンド interpreter-api_2.13 0.14.1-1
sh.アーモンド interpreter_2.13 0.14.1-1
sh.アーモンド jupyter-api_2.13 0.14.1-1
sh.アーモンド kernel_2.13 0.14.1-1
sh.アーモンド logger_2.13 0.14.1-1
sh.アーモンド protocol_2.13 0.14.1-1
sh.アーモンド scala-interpreter_2.13.16 0.14.1-1
sh.アーモンド scala-kernel_2.13.16 0.14.1-1
sh.アーモンド shared-directives_2.13 0.14.1-1
  • Last updated on