Lingkungan tanpa server versi 4

Artikel ini menguraikan informasi lingkungan sistem untuk lingkungan tanpa server versi 4.

Untuk memastikan kompatibilitas untuk aplikasi, beban kerja tanpa server menggunakan API versi, yang dikenal sebagai versi lingkungan, yang tetap kompatibel dengan versi server yang lebih baru.

Anda dapat memilih lingkungan dasar yang menyertakan versi lingkungan ini menggunakan panel sisi Lingkungan di notebook tanpa server Anda. Lihat Memilih lingkungan dasar.

Fitur dan peningkatan baru

Fitur dan peningkatan baru berikut tersedia di lingkungan tanpa server 4.

Dukungan Spark ML pada komputasi tanpa server

Komputasi tanpa server sekarang mendukung Spark ML di PySpark (pyspark.ml) dan MLflow untuk Spark (mlflow.spark) di lingkungan versi 4. Untuk penyetelan hiperparameter pada komputasi tanpa server, Databricks merekomendasikan penggunaan Optuna dan Joblib Spark.

Batasan berikut berlaku saat menjalankan SparkML pada komputasi tanpa server:

  • Ukuran model maksimum adalah 100MB.
  • Ukuran total maksimum model dalam memori per sesi adalah 1GB.
  • Pelatihan model pohon berhenti lebih awal jika ukuran model akan melebihi 100MB.
  • Model SparkML berikut ini tidak didukung:
    • DistributedLDAModel
    • FPGrowthModel

UDF Scalar Python sekarang mendukung kredensial layanan

UDF Scalar Python dapat menggunakan kredensial layanan Unity Catalog untuk mengakses layanan cloud eksternal dengan aman. Untuk informasi selengkapnya, lihat Kredensial layanan di Scalar Python UDFs.

PySpark dan Spark Connect sekarang mendukung API DataFrames df.mergeInto

PySpark dan Spark Connect sekarang mendukung df.mergeInto API, yang sebelumnya hanya tersedia untuk Scala.

Pembaruan API

Lingkungan tanpa server 4 mencakup pembaruan API berikut:

  • SPARK-50915 Menambahkan getCondition dan mendepresiasi getErrorClass di PySparkException
  • SPARK-50719 Dukungan interruptOperation untuk PySpark
  • SPARK-50718 Dukungan addArtifact(s) untuk PySpark
  • SPARK-49530 Mendukung subplot pai dalam plot PySpark
  • SPARK-50357 API Dukungan Interrupt(Tag|All) untuk PySpark
  • SPARK-51178 Tampilkan kesalahan PySpark yang tepat alih-alih SparkConnectGrpcException
  • SPARK-51227 Perbaiki PySpark Connect _minimum_grpc_version ke 1.67.0
  • SPARK-50778 Tambahkan metadataColumn ke PySpark DataFrame
  • SPARK-50311 Dukungan API (add|remove|get|clear)Tag(s) untuk PySpark
  • SPARK-50310 Menambahkan bendera untuk dinonaktifkan DataFrameQueryContext untuk PySpark
  • SPARK-50238 Menambahkan Dukungan Varian di PySpark UDFs/UDTFs/UDAF dan Python UC UDFs
  • SPARK-50183 Menyatukan fungsi internal untuk Pandas API dan PySpark Plotting
  • SPARK-50170 Pindah _invoke_internal_function_over_columns ke pyspark.sql.utils
  • SPARK-50167 Meningkatkan PySpark memplot pesan kesalahan dan impor
  • SPARK-48961 Membuat penamaan PySparkException parameter konsisten dengan JVM
  • SPARK-49567 Gunakan klasik alih-alih vanilla dari basis kode PySpark
  • SPARK-48755transformWithState Implementasi dan ValueState dukungan dasar PySpark
  • SPARK-48714 Menerapkan DataFrame.mergeInto di PySpark
  • SPARK-47365 Menambahkan toArrow() metode DataFrame ke PySpark
  • SPARK-48075 Pemeriksaan tipe untuk fungsi avro PySpark
  • SPARK-46984 Buka pyspark.copy_func
  • SPARK-46213 Memperkenalkan PySparkImportError untuk kerangka kesalahan
  • SPARK-46226 Migrasikan semua yang tersisa RuntimeError ke dalam kerangka kerja kesalahan PySpark
  • SPARK-45450 Perbaiki impor sesuai dengan PEP8: pyspark.pandas dan pyspark (core)

Lingkungan sistem

  • Sistem Operasi: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect terus diperbarui dalam versi lingkungan tanpa server terbaru. Jalankan pip list untuk mengonfirmasi versi yang tepat di lingkungan Anda saat ini.)
  • Scala: 2.13.16
  • JDK: 17

Pustaka Python terinstal

Untuk mereproduksi lingkungan tanpa server 4 di lingkungan virtual Python lokal Anda, unduh file requirements-env-4.txt dan jalankan pip install -r requirements-env-4.txt. Perintah ini menginstal semua pustaka sumber terbuka dari lingkungan tanpa server 4.

Library Versi Library Versi Library Versi
tipe anotasi 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 anak panah 1.3.0 asttoken 2.0.5
astunparse 1.6.3 asinkron-lru 2.0.4 atribut 24.3.0
autocommand 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 hitam 24.10.0
pemutih 6.2.0 blinker 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 sertifikat 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
Klik 8.1.7 cloudpickle (perpustakaan Python untuk serialisasi objek) 3.0.0 komunikasi 0.2.1
konturpy 1.3.1 Kriptografi 43.0.3 pengendara sepeda 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-sdk 0.49.0
dbus-python 1.3.2 debugpy 1.8.11 penghias 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 Mengeksekusi 0.8.3 ringkasan faset 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 filelock 3.18.0
fonttools 4.55.3 FQDN 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
Google Autentikasi 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
IDNA 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
membelokkan 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isodurasi 20.11.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 spesifikasi jsonschema 2023.7.1 peristiwa jupyter 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 penyetelan salah 2.0.4 mlflow-ringkas 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal (Microsoft Authentication Library) 1.32.3
msal-extensions 1.3.1 mypy-ekstensi 1.0.0 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numpy (perpustakaan Python untuk operasi numerik) 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0.53b1 Mengabaikan 7.4.0
Pengemasan 24.1 Panda 2.2.3 Pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 kambing hitam 1.0.1
pexpect=4.8.0 4.8.0 bantal 11.1.0 pipa 25.0.1
platformdirs 3.10.0 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 prompt-toolkit 3.0.43 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow 19.0.1 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz 2024.1 PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.2
pyzmq 26.2.0 Referensi 0.30.2 permintaan 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 kaya 13.9.4
tali 1.12.0 rpds-py 0.22.3 Rsa 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 scipy (perpustakaan Python untuk komputasi ilmiah) 1.15.1
Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2 Send2Trash 1.8.2 setuptools 74.0.0
Enam 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2.5 sqlparse 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 starlette 0.46.2
statsmodels (paket Python untuk pemodelan statistik) 0.14.4 strictyaml 1.7.3 kegigihan 9.0.0
selesai 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 Tornado 6.4.2
traitlets=5.0.5 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
peningkatan tanpa pengawas 0.1 templat uri 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 warna web 24.11.1 webencodings 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
widgetsnbextension 3.6.6 terbungkus 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Pustaka Java dan Scala terinstal (Scala 2.13)

ID Kelompok Identifikasi Artefak Versi
com.databricks databricks-connect_2.13 17.3.1
com.databricks databricks-dbutils-scala_2.13 0.1.4
com.databricks databricks-sdk-java 0.52.0
com.fasterxml.jackson.core Jackson Annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.2
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value anotasi nilai otomatis 1.10.4
com.google.code.gson Gson 2.10.1
com.google.errorprone error_prone_annotations 2.18.0
com.google.guava failureaccess 1.0.1
com.google.guava jambu 32.0.1-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 2.8
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.8
com.lihaoyi ammonite-compiler_2.13.16 3.0.8
com.lihaoyi amonite-interp-api_2.13.16 3.0.8
com.lihaoyi ammonite-interp_2.13.16 3.0.8
com.lihaoyi ammonite-repl-api_2.13.16 3.0.8
com.lihaoyi ammonite-repl_2.13.16 3.0.8
com.lihaoyi ammonite-runtime_2.13.16 3.0.8
com.lihaoyi ammonite-terminal_2.13 3.0.8
com.lihaoyi ammonite-util_2.13 3.0.8
com.lihaoyi fansi_2.13 0.5.1
com.lihaoyi mainargs_2.13 0.7.6
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
com.lihaoyi scalatags_2.13 0.13.1
com.thesamet.scalapb lenses_2.13 0.11.15
com.thesamet.scalapb scalapb-runtime_2.13 0.11.15
com.thoughtworks.paranamer Paranamer 2.8
commons-codec commons-codec 1.11
commons-io commons-io 2.14.0
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.3.2
io.github.java-diff-utils java-diff-utils 4.15
io.grpc konteks gRPC 1.27.2
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-lang3 3.14.0
org.apache.commons commons-text (teks umum) 1.12.0
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j-impl 2.24.3
org.checkerframework pemeriksa kualitas 3.33.0
org.jline jline 3.27.1
org.jline jline-reader 3.14.1
org.jline jline-terminal 3.14.1
org.json JSON 20240303
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang scalap_2.13 2.13.13
org.scala-lang.modules scala-collection-compat_2.13 2.13.0
org.scala-lang.modules scala-java8-compat_2.13 1.0.2
org.scalameta io_2.13 4.13.10
org.scalameta mtags-interfaces 1.6.3
org.scalameta mtags-shared_2.13.16 1.6.3
org.scalameta mtags_2.13.16 1.6.3
org.scalameta parsers_2.13 4.13.10
org.scalameta scalameta_2.13 4.13.10
org.scalameta semanticdb-scalac-core_2.13.16 4.13.10
org.scalameta trees_2.13 4.13.10
org.slf4j slf4j-api 2.0.10
org.slf4j slf4j-nop 1.7.36
sh.almond channels_2.13 0.14.5
sh.almond coursier-logger_2.13 0.14.5
sh.almond interpreter-api_2.13 0.14.5
sh.almond interpreter_2.13 0.14.5
sh.almond jupyter-api_2.13 0.14.5
sh.almond kernel_2.13 0.14.5
sh.almond logger-scala2-macros_2.13 0.14.5
sh.almond logger_2.13 0.14.5
sh.almond protocol_2.13 0.14.5
sh.almond scala-interpreter_2.13.16 0.14.5
sh.almond scala-kernel-api_2.13.16 0.14.5
sh.almond scala-kernel_2.13.16 0.14.5
sh.almond shared-directives_2.13 0.14.5
sh.almond toree-hooks_2.13 0.14.5
  • Last updated on