Sunucusuz ortam sürüm 4

Bu makalede sunucusuz ortam sürüm 4 için sistem ortamı bilgileri özetlenmiştir.

Uygulamanın uyumluluğunu sağlamak için sunucusuz iş yükleri, ortam sürümü olarak bilinen ve daha yeni sunucu sürümleriyle uyumlu kalan bir sürüme sahip API kullanır.

Sunucusuz not defterlerinizdeki Ortam yan panelini kullanarak bu ortam sürümünü içeren bir temel ortam seçebilirsiniz. Bkz. Temel ortam seçme.

Yeni özellikler ve geliştirmeler

Aşağıdaki yeni özellikler ve geliştirmeler sunucusuz ortam 4'te kullanılabilir.

Sunucusuz işlemde Spark ML desteği

Sunucusuz işlem ortam sürüm 4'te artık PySpark (pyspark.ml) ve Spark için MLflow (mlflow.spark) içindeki Spark ML'i destekliyor. Sunucusuz işlemde hiper parametre ayarlaması için Databricks, Optuna ve Joblib Spark kullanılmasını önerir.

SparkML sunucusuz işlemde çalıştırılırken aşağıdaki sınırlamalar geçerlidir:

  • Maksimum model boyutu 100 MB'tır.
  • Oturum başına bellek içi modellerin toplam boyutu üst sınırı 1 GB'tır.
  • Model boyutu 100 MB'ı aşmak üzereyse ağaç modeli eğitimi erken durdurulur.
  • Aşağıdaki SparkML modelleri desteklenmez:
    • DistributedLDAModel
    • FPGrowthModel

Skaler Python UDF'leri artık hizmet kimlik bilgilerini destekliyor

Skaler Python UDF'leri, dış bulut hizmetlerine güvenli bir şekilde erişmek için Unity Kataloğu hizmeti kimlik bilgilerini kullanabilir. Daha fazla bilgi için bkz. Skalar Python UDF'lerinde hizmet kimlik bilgileri.

PySpark ve Spark Connect artık DataFrames df.mergeInto API'sini destekliyor

PySpark ve Spark Connect artık daha önce yalnızca Scala için kullanılabilen API'yi destekliyor df.mergeInto .

API güncelleştirmeleri

Sunucusuz ortam 4 aşağıdaki API güncelleştirmelerini içerir:

  • SPARK-50915getCondition içinde getErrorClass ekle ve PySparkException kullanımdan kaldır
  • SPARK-50719 PySpark desteği interruptOperation
  • SPARK-50718 PySpark desteği addArtifact(s)
  • SPARK-49530 PySpark çiziminde pasta alt grafiklerini destekleme
  • SPARK-50357 PySpark için destek Interrupt(Tag|All) API'leri
  • SPARK-51178SparkConnectGrpcException yerine düzgün bir PySpark hatası yükselt
  • SPARK-51227 PySpark Connect'i _minimum_grpc_version 1.67.0'a düzeltme
  • SPARK-50778 PySpark DataFrame'e ekle metadataColumn
  • SPARK-50311 PySpark için destek (add|remove|get|clear)Tag(s) API'leri
  • SPARK-50310 PySpark için DataFrameQueryContext devre dışı bırakma bayrağı ekle
  • SPARK-50238 PySpark UDF'lerinde/UDTF'lerinde/UDAF'lerinde ve Python UC UDF'lerinde Değişken Desteği Ekleme
  • SPARK-50183 Pandas API ve PySpark Plotting için iç işlevleri birleştirme
  • SPARK-50170 Şuraya taşı _invoke_internal_function_over_columns : pyspark.sql.utils
  • SPARK-50167 PySpark'ta hata iletilerini ve içeri aktarmaları çizmeyi geliştirme
  • SPARK-48961 parametre adlandırmasını PySparkException JVM ile tutarlı hale getirme
  • SPARK-49567 PySpark kod tabanından vanilya yerine klasik kullanın
  • SPARK-48755transformWithState PySpark temel uygulaması ve ValueState desteği
  • SPARK-48714 PySpark'ta uygulama DataFrame.mergeInto
  • SPARK-47365 PySpark'a DataFrame yöntemi ekleme toArrow()
  • SPARK-48075 PySpark avro işlevleri için tür denetimi
  • SPARK-46984 Kaldırmak pyspark.copy_func
  • SPARK-46213 Hata çerçevesi için tanıt
  • SPARK-46226 Kalanların RuntimeError tümünü PySpark hata çerçevesine geçirme
  • SPARK-45450 İçe aktarmaları PEP8 standardına göre düzeltme: pyspark.pandas ve pyspark (çekirdek)

Sistem ortamı

  • İşletim Sistemi: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect, en son sunucusuz ortam sürümünde sürekli olarak güncelleştirilir. Geçerli ortamınızdaki tam sürümü onaylamak için komutunu çalıştırın pip list .)
  • Scala: 2.13.16
  • JDK: 17

Yüklü Python kitaplıkları

Sunucusuz ortamı 4'i yerel Python sanal ortamınızda yeniden oluşturmak için requirements-env-4.txt dosyasını indirin ve çalıştırın pip install -r requirements-env-4.txt. Bu komut sunucusuz ortam 4'ten tüm açık kaynak kitaplıklarını yükler.

Library Sürüm Library Sürüm Library Sürüm
açıklamalı türler 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 ok 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 özellikler 24.3.0
otomatik komut 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 Babil 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 siyah 24.10.0
beyazlatma 6.2.0 sinyal lambası 1.7.0 boto3 1.36.2
botocore 1.36.3 önbellek araçları 5.5.1 sertifikalı 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
tıklayın 8.1.7 cloudpickle (bulut serileştirme modülü) 3.0.0 İletişim 0.2.1
Contourpy 1.3.1 şifreleme 43.0.3 bisikletçi 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-sdk 0.49.0
dbus-python 1.3.2 debugpy kütüphanesi 1.8.11 dekoratör 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 Çalıştırma 0.8.3 özelliklere genel bakış 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 dosya kilidi 3.18.0
fonttools 4.55.3 Fqdn 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
Google kimlik doğrulaması 2.40.0 google-cloud-core 2.4.3 google-cloud-storage (Google Bulut Depolama) 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
Uluslararası Alan Adları Uygulaması (IDNA) 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
çekmek 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 ISO Tarih 0.6.1 isoduration 20.11.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
JSON şeması 4.23.0 jsonschema-özellikleri 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
"Jupyter sunucusu" (jupyter_server) 2.14.1 jupyter_server_terminalleri 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgetler 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib (Python için popüler bir grafik kütüphanesi) 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 yanlış ayar 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal 1.32.3
msal-extensions 1.3.1 mypy uzantıları 1.0.0 nbclient 0.8.0
nbconvert (belge dönüştürme aracı) 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numpy kütüphanesi 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0,53b1 Geçersiz kılınır 7.4.0
Ambalaj 24.1 Pandalar 2.2.3 pandoc filtreleri 1.5.0
parso 0.8.4 pathspec 0.10.3 günah keçisi 1.0.1
pexpect 4.8.0 yastık 11.1.0 Pip 25.0.1
platformdirs 3.10.0 çizim 5.24.1 takılmış 1.5.0
prometheus_client 0.21.0 Prompt Araç Takımı 3.0.43 proto-plus 1.26.1
Protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 saf değerlendirme 0.2.2 py4j 0.10.9.9
pyarrow 19.0.1 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser kütüphanesi 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygmentler 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT (JWT'leri Python ile oluşturmak, kodlamak ve doğrulamak için kullanılan bir kütüphane) 2.10.1
pyodbc 5.2.0 pyparsing (bir Python kütüphanesi) 3.2.0 pyright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil (Python tarih ve saat işleme kütüphanesi) 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Referans Verme 0.30.2 talepler 2.32.3
rfc3339-validator 0.1.4 rfc3986-doğrulayıcı 0.1.1 zengin 13.9.4
halat 1.12.0 rpds-py 0.22.3 RSA 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 scipy (Python için bir bilimsel hesaplama kütüphanesi) 1.15.1
denizanadan 0.13.2 Send2Trash 1.8.2 kurulum araçları 74.0.0
Altı 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2.5 sqlparse 0.5.3
ssh-import-id 5.11 yığın verisi 0.2.0 starlette 0.46.2
statsmodeller 0.14.4 strictyaml 1.7.3 Azim 9.0.0
tamamlandı 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornado 6.4.2
Traitlets (Python kütüphanesi/modülü) 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
katılımsız yükseltmeler 0.1 uri şablonu 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) 0.2.5 web renkleri 24.11.1 web kodlamaları 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 tekerlek 0.45.1
widgetsnbextension 3.6.6 sarmalanmış 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Yüklü Java ve Scala kitaplıkları (Scala 2.13)

Grup Kimliği Nesne Kimliği Sürüm
com.databricks databricks-connect_2.13 17.3.1
com.databricks databricks-dbutils-scala_2.13 0.1.4
com.databricks databricks-sdk-java 0.52.0
com.fasterxml.jackson.core jackson-annotations (Jackson açıklamaları) 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.2
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value otomatik değer ek açıklamaları 1.10.4
com.google.code.gson gson 2.10.1
com.google.errorprone error_prone_annotations 2.18.0
com.google.guava failureaccess 1.0.1
com.google.guava guava meyvesi 32.0.1-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.http-client google-http-istemci 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 2.8
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.8
com.lihaoyi ammonite-compiler_2.13.16 3.0.8
com.lihaoyi ammonite-interp-api_2.13.16 3.0.8
com.lihaoyi ammonite-interp_2.13.16 3.0.8
com.lihaoyi ammonite-repl-api_2.13.16 3.0.8
com.lihaoyi ammonite-repl_2.13.16 3.0.8
com.lihaoyi ammonite-runtime_2.13.16 3.0.8
com.lihaoyi ammonite-terminal_2.13 3.0.8
com.lihaoyi ammonite-util_2.13 3.0.8
com.lihaoyi fansi_2.13 0.5.1
com.lihaoyi mainargs_2.13 0.7.6
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
com.lihaoyi scalatags_2.13 0.13.1
com.thesamet.scalapb lenses_2.13 0.11.15
com.thesamet.scalapb scalapb-runtime_2.13 0.11.15
com.thoughtworks.paranamer paranamer 2.8
commons-codec commons-codec 1.11
commons-io commons-io 2.14.0
commons-logging (ortak günlükleme) commons-logging (ortak günlükleme) 1.3.2
io.github.java-diff-utils java-diff-utils 4.15
io.grpc grpc-context bağlamı 1.27.2
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-lang3 3.14.0
org.apache.commons ortak metin 1.12.0
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j-impl 2.24.3
org.checkerframework (denetleyici çerçevesi) checker-qual 3.33.0
org.jline jline 3.27.1
org.jline jline-reader 3.14.1
org.jline jline-terminal 3.14.1
org.json JSON 20240303
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang scalap_2.13 2.13.13
org.scala-lang.modules scala-collection-compat_2.13 2.13.0
org.scala-lang.modules scala-java8-compat_2.13 1.0.2
org.scalameta io_2.13 4.13.10
org.scalameta mtags-arayüzler 1.6.3
org.scalameta mtags-shared_2.13.16 1.6.3
org.scalameta mtags_2.13.16 1.6.3
org.scalameta parsers_2.13 4.13.10
org.scalameta scalameta_2.13 4.13.10
org.scalameta semanticdb-scalac-core_2.13.16 4.13.10
org.scalameta trees_2.13 4.13.10
org.slf4j slf4j-api 2.0.10
org.slf4j slf4j-nop 1.7.36
sh.badem channels_2.13 0.14.5
sh.badem coursier-logger_2.13 0.14.5
sh.badem yorumlayıcı-api_2.13 0.14.5
sh.badem interpreter_2.13 0.14.5
sh.badem jupyter-api_2.13 0.14.5
sh.badem kernel_2.13 0.14.5
sh.badem logger-scala2-macros_2.13 0.14.5
sh.badem logger_2.13 0.14.5
sh.badem protocol_2.13 0.14.5
sh.badem scala-interpreter_2.13.16 0.14.5
sh.badem scala-kernel-api_2.13.16 0.14.5
sh.badem scala-kernel_2.13.16 0.14.5
sh.badem shared-directives_2.13 0.14.5
sh.badem toree-hooks_2.13 0.14.5
  • Last updated on