Bagikan melalui

Lingkungan tanpa server versi 5

Halaman ini menguraikan informasi lingkungan sistem untuk lingkungan tanpa server versi 5.

Untuk memastikan kompatibilitas aplikasi, beban kerja tanpa server menggunakan API versi, yang dikenal sebagai versi lingkungan, yang tetap kompatibel dengan versi tanpa server yang lebih baru.

Untuk memilih lingkungan dasar, gunakan pemilih lingkungan Dasar di panel sisi Lingkungan di notebook tanpa server Anda. Lihat Memilih lingkungan dasar.

Fitur dan peningkatan baru

Fitur dan peningkatan baru berikut tersedia di lingkungan tanpa server 5.

Dukungan MLflow 3.8.1

Lingkungan tanpa server 5 mencakup MLflow 3.8.1, peningkatan utama dari MLflow 2.22.0 di lingkungan versi 4. Peningkatan ini mencakup banyak fitur baru, peningkatan, dan perbaikan bug. Untuk daftar lengkap perubahan, lihat catatan rilis MLflow.

Pekerjaan JAR tanpa server

Penting

Fitur ini ada di Pratinjau Umum.

Pekerjaan JAR tanpa server sekarang didukung di lingkungan versi 5. Fitur ini memungkinkan Anda menjalankan aplikasi berbasis JAR pada infrastruktur komputasi tanpa server.

Pengoptimalan panah diaktifkan secara default untuk UDF Python

Di lingkungan versi 5, Pengoptimalan Arrow diaktifkan secara default untuk UDF Python, secara signifikan meningkatkan performa eksekusi UDF. Selain itu, konversi serializer berbasis Arrow untuk pandas telah ditingkatkan guna meningkatkan efisiensi.

Ini mewakili perubahan perilaku dari versi sebelumnya, yang mana pengoptimalan Arrow bersifat pilihan.

Perubahan perilaku

Perubahan perilaku berikut diperkenalkan di lingkungan tanpa server 5.

BinaryType secara konsisten memetakan ke byte Python

Di PySpark, BinaryType sekarang secara konsisten memetakan ke Python bytes. PySpark sebelumnya memetakan BinaryType ke bytes atau bytearray tergantung pada konteksnya.

Untuk informasi selengkapnya, lihat SPARK-53696.

API soket tingkat Kernel Linux untuk kriptografi

Dimulai dengan lingkungan versi 5, API soket kripto tingkat Kernel Linux yang beroperasi pada sandi yang tidak mematuhi FIPS dapat gagal secara non-deterministik. Jangan gunakan API ini untuk operasi kripto kepatuhan non-FIPS.

Pembaruan API

Lingkungan tanpa server 5 mencakup pembaruan API berikut:

  • SPARK-53635 Mendukung UDF Scala dengan argumen input bertipe Seq[Row]
  • SPARK-54220 Dukungan Tipe NullType/VOID/UNKNOWN di Parquet
  • SPARK-54153 Mendukung pembuatan profil UDF Python berbasis iterator
  • SPARK-54213 Menghapus Python 3.9 dari Spark Connect
  • SPARK-53977 Mendukung pengelogan di UDTF
  • SPARK-53976 Mendukung pengelogan di Pandas/Arrow UDFs
  • SPARK-53573 Mengizinkan penggabungan literal string di mana-mana
  • SPARK-54269 Meningkatkan cloudpickle ke 3.1.2 untuk Python 3.14
  • SPARK-54287 Menambahkan dukungan Python 3.14 di pyspark-client dan pyspark-connect
  • SPARK-53614 Tambahkan dukungan Iterator[pandas.DataFrame] ke applyInPandas
  • SPARK-53921 Memperkenalkan GeometryType dan GeographyType ke PySpark API
  • SPARK-53920 Memperkenalkan GeometryType dan GeographyType ke Java API
  • SPARK-53956 Mendukung TIME dalam fungsi try_make_timestamp di PySpark
  • SPARK-53930 Mendukung TIME dalam fungsi make_timestamp di PySpark
  • SPARK-53111 Menerapkan fungsi time_diff di PySpark
  • SPARK-53877 Memperkenalkan fungsi BITMAP_AND_AGG
  • SPARK-53357 Memperbarui pandas ke 2.3.2
  • SPARK-52980 Dukungan untuk Arrow Python UDTFs
  • SPARK-52844 Memperbarui numpy ke 1.22
  • SPARK-50359 Tingkatkan PyArrow ke 18.0
  • SPARK-50564 Tingkatkan paket protobuf Python ke 5.29.1
  • SPARK-50601 Dukungan dengan withColumns / withColumnsRenamed dalam subkueri
  • SPARK-51814 Memperkenalkan transformasi API baruWithState di PySpark
  • SPARK-52821 menambahkan koersi tipe pengembalian pyspark udf int-DecimalType>
  • SPARK-53112 Mendukung fitur TIME dalam fungsi make_timestamp_ntz dan try_make_timestamp_ntz di PySpark
  • SPARK-53319 Mendukung jenis waktu berdasarkan try_make_timestamp_ltz()
  • SPARK-53696 Menggunakan byte sebagai standar untuk BinaryType di PySpark
  • SPARK-55090 Menerapkan DataFrame.toJSON di Klien Python

Lingkungan sistem

  • Sistem Operasi: Ubuntu 24.04.3 LTS
  • Python: 3.12.3
  • Databricks Connect: 18 (Databricks Connect terus diperbarui dalam versi lingkungan tanpa server terbaru. Jalankan pip list untuk mengonfirmasi versi yang tepat di lingkungan Anda saat ini.)
  • Scala: 2.13.16
  • JDK: 17

Perpustakaan Python yang terinstal

Untuk mereproduksi lingkungan tanpa server 5 di lingkungan virtual Python lokal Anda, unduh file requirements-env-5.txt dan jalankan pip install -r requirements-env-5.txt. Perintah ini menginstal semua pustaka sumber terbuka dari lingkungan tanpa server 5.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
anotasi-doc 0.0.4 tipe beranotasi 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 Pengikatan Argon2-cffi 21.2.0 arro3-core 0.6.5
anak panah 1.3.0 asttoken 3.0.0 astunparse 1.6.3
asinkron-lru 2.0.4 atribut 24.3.0 perintah otomatis 2.2.2
Azure Common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 Azure Storage Blob 12.28.0
Azure Storage File Data Lake 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 hitam 24.10.0 pemutih 6.2.0
blinker 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools (perangkat untuk caching) 5.5.1 sertifikat 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 klik 8.1.8
cloudpickle (perpustakaan Python untuk serialisasi objek) 3.0.0 Komunikasi 0.2.1 Contourpy 1.3.1
Kriptografi 44.0.1 pengendara sepeda 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 databricks-connect 18.0.5 databricks-sdk 0.67.0
dataclasses-json 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
penghias 5.1.1 defusedxml 0.7.1 deltalake 1.1.4
Deprecated 1.2.18 distlib 0.3.9 konversi docstring ke markdown 0.11
eksekusi 1.2.0 gambaran umum aspek 1.1.1 fastapi 0.128.0
fastjsonschema 2.21.1 filelock 3.17.0 alat pengelola font 4.55.3
Fqdn 1.5.1 daftar yang dibekukan 1.5.0 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.28.1
google-auth (autentikasi Google) 2.47.0 google-cloud-core 2.5.0 penyimpanan awan Google 3.7.0
google-crc32c 1.8.0 google-resumable-media (layanan media berkelanjutan dari Google) 2.8.0 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.16.0
hf-xet 1.2.0 httpcore 1.0.9 httplib2 0.20.4
httpx 0.28.1 huggingface_hub 1.2.4 IDNA 3.7
importlib_metadata 8.5.0 memfleksi 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.7.2
isodurasi 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.teks 3.12.1 Jedi 0.19.2
Jinja2 3.1.6 jiter 0.12.0 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpatch 1,33
jsonpointer 3.0.0 jsonschema 4.23.0 Spesifikasi JSON Schema 2023.7.1
peristiwa Jupyter 0.12.0 jupyter-lsp 2.2.5 jupyter_client 8.6.3
jupyter_core 5.7.2 jupyter_server 2.15.0 Terminal Jupyter Server 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-core 1.2.6
langchain-openai 1.1.6 langsmith 0.6.1 launchpadlib 1.11.0
lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.6 lazr.uri 1.0.6 litellm 1.75.9
markdown-it-py 2.2.0 MarkupSafe 3.0.2 kembang gula (marshmallow) 3.26.2
matplotlib 3.10.0 matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 penyetelan salah 3.1.2 mlflow-skinny (versi ringan) 3.8.1
mmh3 5.2.0 more-itertools 10.3.0 msal 1.34.0
msal-extensions 1.3.1 multidict 6.1.0 ekstensi mypy 1.0.0
nbclient 0.10.2 nbconvert 7.16.6 nbformat 5.10.4
nest-asyncio 1.6.0 nodeenv 1.10.0 buku catatan 7.3.2
buku_catatan_shim 0.2.4 numpy (perpustakaan Python untuk operasi numerik) 2.1.3 oauthlib 3.2.2
OpenAI 2.14.0 opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1
opentelemetry-sdk 1.39.1 opentelemetry-konvensi-semantik 0.60b1 orjson 3.11.5
Mengabaikan 7.4.0 pengemasan 24,2 Panda 2.2.3
Pandocfilters 1.5.0 pengurai 0.8.4 spesifikasi jalur 0.10.3
kambing hitam 1.0.1 pexpect 4.8.0 bantal 11.1.0
pipa 25.0.1 platformdirs 4.3.7 plotly 5.24.1
pengaya 1.5.0 prometheus_client 0.21.1 prompt-toolkit 3.0.43
propcache 0.3.1 proto-plus 1.27.0 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
pure-eval 0.2.2 py4j 0.10.9.9 pyarrow 21.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.71
pycparser 2.21 pydantic (perpustakaan Python untuk validasi data) 2.10.6 pydantic_core 2.27.2
pyflakes 3.2.0 Pygments 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing 3.2.0 pyright 1.1.394 pyroaring 1.0.3
pytest 8.3.5 python-dateutil 2.9.0.post0 python-dotenv 1.2.1
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.2
pytoolconfig 1.2.6 pytz 2024.1 PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.2
pyzmq 26.2.0 Merujuk 0.30.2 regex 2024.11.6
requests 2.32.3 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 kaya 13.9.4 tali 1.13.0
rpds-py 0.22.3 rsa 4.9.1 s3transfer 0.14.0
scikit-learn 1.6.1 scipy (perpustakaan Python untuk komputasi ilmiah) 1.15.3 Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2
Send2Trash 1.8.2 setuptools 78.1.1 shellingham 1.5.4
Enam 1.17.0 smmap 5.0.0 Sniffio 1.3.0
sortedcontainers 2.4.0 alat penyaring sup 2.5 sqlparse 0.5.5
ssh-import-id 5.11 stack-data 0.6.3 starlette 0.50.0
strictyaml 1.7.3 kegigihan 9.0.0 selesai 0.17.1
threadpoolctl 3.5.0 tiktoken 0.12.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tokenisasi 0.22.2 tomli 2.0.1
Tornado 6.5.1 tqdm 4.67.1 traitlets 5.14.3
typeguard (penjaga tipe) 4.3.0 typer-slim 0.21.1 type-python-dateutil 2.9.0.20251115
mengetik-memeriksa 0.9.0 ekstensi pengetikan (typing_extensions) 4.12.2 tzdata 2024.1
ujson 5.10.0 pembaruan otomatis tanpa pengawasan 0.1 templat URI 1.3.0
urllib3 2.3.0 uuid_utils 0.12.0 uvicorn 0.40.0
virtualenv 20.29.3 wadllib 1.3.6 wcwidth 0.2.5
warna web 25.10.0 webencodings=0.5.1 0.5.1 websocket-klien 1.8.0
apa itu patch 1.0.2 wheel 0.45.1 Setiap kali 0.7.3
widgetsnbextension 3.6.6 terbungkus 1.17.0 yapf 0.40.2
yarl 1.18.0 zipp 3.21.0 zstandard 0.23.0

Pustaka Java dan Scala terinstal (Scala 2.13)

ID Grup Identifikasi Artefak Versi
com.databricks databricks-connect_2.13 18.0.0
com.fasterxml.jackson.core Jackson Annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi amonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond interpreter-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond scala-interpreter_2.13.16 0.14.1-1
sh.almond scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on