Bagikan melalui

Lingkungan tanpa server versi 4

Artikel ini menguraikan informasi lingkungan sistem untuk lingkungan tanpa server versi 4.

Untuk memastikan kompatibilitas untuk aplikasi, beban kerja tanpa server menggunakan API versi, yang dikenal sebagai versi lingkungan, yang tetap kompatibel dengan versi server yang lebih baru.

Anda dapat memilih versi lingkungan menggunakan panel sisi Lingkungan di notebook tanpa server Anda. Lihat Memilih versi lingkungan.

Fitur dan peningkatan baru

Fitur dan peningkatan baru berikut tersedia di lingkungan tanpa server 4.

Dukungan Spark ML pada komputasi tanpa server

Komputasi tanpa server sekarang mendukung Spark ML di PySpark (pyspark.ml) dan MLflow untuk Spark (mlflow.spark) di lingkungan versi 4. Untuk penyetelan hiperparameter pada komputasi tanpa server, Databricks merekomendasikan penggunaan Optuna dan Joblib Spark.

Batasan berikut berlaku saat menjalankan SparkML pada komputasi tanpa server:

  • Ukuran model maksimum adalah 100MB.
  • Ukuran total maksimum model dalam memori per sesi adalah 1GB.
  • Pelatihan model pohon berhenti lebih awal jika ukuran model akan melebihi 100MB.
  • Model SparkML berikut ini tidak didukung:
    • DistributedLDAModel
    • FPGrowthModel

UDF Scalar Python sekarang mendukung kredensial layanan

UDF Scalar Python dapat menggunakan kredensial layanan Unity Catalog untuk mengakses layanan cloud eksternal dengan aman. Untuk informasi selengkapnya, lihat Kredensial layanan di Scalar Python UDFs.

PySpark dan Spark Connect sekarang mendukung API DataFrames df.mergeInto

PySpark dan Spark Connect sekarang mendukung df.mergeInto API, yang sebelumnya hanya tersedia untuk Scala.

Pembaruan API

Lingkungan tanpa server 4 mencakup pembaruan API berikut:

  • SPARK-50915 Menambahkan getCondition dan menghentikan getErrorClass penggunaan PySparkException
  • SPARK-50719 Dukungan interruptOperation untuk PySpark
  • SPARK-50718 Dukungan addArtifact(s) untuk PySpark
  • SPARK-49530 Mendukung subplot pai dalam plot PySpark
  • SPARK-50357 API Dukungan Interrupt(Tag|All) untuk PySpark
  • SPARK-51178 Munculkan kesalahan PySpark yang tepat alih-alih SparkConnectGrpcException
  • SPARK-51227 Perbaiki PySpark Connect _minimum_grpc_version ke 1.67.0
  • SPARK-50778 Tambahkan metadataColumn ke PySpark DataFrame
  • SPARK-50311 API Dukungan (add|remove|get|clear)Tag(s) untuk PySpark
  • SPARK-50310 Menambahkan bendera untuk dinonaktifkan DataFrameQueryContext untuk PySpark
  • SPARK-50238 Menambahkan Dukungan Varian di PySpark UDFs/UDTFs/UDAF dan Python UC UDFs
  • SPARK-50183 Menyatukan fungsi internal untuk Pandas API dan PySpark Plotting
  • SPARK-50170 Pindah _invoke_internal_function_over_columns ke pyspark.sql.utils
  • SPARK-50167 Meningkatkan PySpark memplot pesan kesalahan dan impor
  • SPARK-48961 Membuat penamaan PySparkException parameter konsisten dengan JVM
  • SPARK-49567 Gunakan klasik alih-alih vanilla dari basis kode PySpark
  • SPARK-48755transformWithState Implementasi dan ValueState dukungan dasar PySpark
  • SPARK-48714 Menerapkan DataFrame.mergeInto di PySpark
  • SPARK-47365 Menambahkan toArrow() metode DataFrame ke PySpark
  • SPARK-48075 Mengetik pemeriksaan untuk fungsi avro PySpark
  • SPARK-46984 Buka pyspark.copy_func
  • SPARK-46213 Memperkenalkan PySparkImportError kerangka kerja kesalahan
  • SPARK-46226 Migrasikan semua yang tersisa RuntimeError ke dalam kerangka kerja kesalahan PySpark
  • SPARK-45450 Perbaiki impor sesuai dengan PEP8: pyspark.pandas dan pyspark (inti)

Lingkungan sistem

  • Sistem Operasi: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect terus diperbarui dalam versi lingkungan tanpa server terbaru. Jalankan pip list untuk mengonfirmasi versi yang tepat di lingkungan Anda saat ini.)
  • Scala: 2.13.16
  • JDK: 17

Pustaka Python terinstal

Untuk mereproduksi lingkungan tanpa server 4 di lingkungan virtual Python lokal Anda, unduh file requirements-env-4.txt dan jalankan pip install -r requirements-env-4.txt. Perintah ini menginstal semua pustaka sumber terbuka dari lingkungan tanpa server 4.

Library Versi Library Versi Library Versi
jenis anotasi 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 anak panah 1.3.0 asttoken 2.0.5
astunparse 1.6.3 asinkron-lru 2.0.4 attrs 24.3.0
autocommand 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 hitam 24.10.0
pemutih 6.2.0 blinker 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetool 5.5.1 sertifikat 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
Klik 8.1.7 cloudpickle (perpustakaan Python untuk serialisasi objek) 3.0.0 Comm 0.2.1
konturpy 1.3.1 Kriptografi 43.0.3 pengendara sepeda 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-sdk 0.49.0
dbus-python 1.3.2 debugpy 1.8.11 penghias 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 Mengeksekusi 0.8.3 ringkasan faset 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 filelock 3.18.0
fonttools 4.55.3 Fqdn 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
IDNA 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
inflect 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isodurasi 20.11.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 spesifikasi jsonschema 2023.7.1 peristiwa jupyter 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 penyetelan salah 2.0.4 mlflow-kurus 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal 1.32.3
msal-extensions 1.3.1 ekstensi mypy 1.0.0 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numpy (perpustakaan Python untuk operasi numerik) 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0.53b1 Mengabaikan 7.4.0
Kemasan 24.1 Panda 2.2.3 Pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 kambing hitam 1.0.1
pexpect=4.8.0 4.8.0 bantal 11.1.0 pipa 25.0.1
platformdir 3.10.0 secara plot 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 prompt-toolkit 3.0.43 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow 19.0.1 pyasn1 0.4.8 modul pyasn1 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz 2024.1 PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.2
pyzmq 26.2.0 Referensi 0.30.2 permintaan 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 kaya 13.9.4
tali 1.12.0 rpds-py 0.22.3 Rsa 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 scipy (perpustakaan Python untuk komputasi ilmiah) 1.15.1
Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2 Send2Trash 1.8.2 setuptools 74.0.0
Enam 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2.5 sqlparse 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 starlette 0.46.2
statsmodels (paket Python untuk pemodelan statistik) 0.14.4 strictyaml 1.7.3 kegigihan 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 Tornado 6.4.2
traitlets=5.0.5 5.14.3 typeguard 4.3.0 type-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
peningkatan tanpa pengawas 0.1 templat uri 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 warna web 24.11.1 webencodings=0.5.1 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
widgetsnbextension 3.6.6 terbungkus 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.13)

ID Kelompok Identifikasi Artefak Versi
com.databricks databricks-connect_2.13 17.2.0
com.fasterxml.jackson.core Jackson Annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi amonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond interpreter-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond scala-interpreter_2.13.16 0.14.1-1
sh.almond scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on