Aracılığıyla paylaş

Sunucusuz ortam sürüm 4

Bu makalede sunucusuz ortam sürüm 4 için sistem ortamı bilgileri özetlenmiştir.

Uygulamanın uyumluluğunu sağlamak için sunucusuz iş yükleri, ortam sürümü olarak bilinen ve daha yeni sunucu sürümleriyle uyumlu kalan bir sürüme sahip API kullanır.

Sunucusuz not defterlerinizdeki Ortam yan panelini kullanarak ortam sürümünü seçebilirsiniz. Bkz. Ortam sürümü seçme.

Yeni özellikler ve geliştirmeler

Aşağıdaki yeni özellikler ve geliştirmeler sunucusuz ortam 4'te kullanılabilir.

Sunucusuz işlemde Spark ML desteği

Sunucusuz işlem ortam sürüm 4'te artık PySpark (pyspark.ml) ve Spark için MLflow (mlflow.spark) içindeki Spark ML'i destekliyor. Sunucusuz işlemde hiper parametre ayarlaması için Databricks, Optuna ve Joblib Spark kullanılmasını önerir.

SparkML sunucusuz işlemde çalıştırılırken aşağıdaki sınırlamalar geçerlidir:

  • Maksimum model boyutu 100 MB'tır.
  • Oturum başına bellek içi modellerin toplam boyutu üst sınırı 1 GB'tır.
  • Model boyutu 100 MB'ı aşmak üzereyse ağaç modeli eğitimi erken durdurulur.
  • Aşağıdaki SparkML modelleri desteklenmez:
    • DistributedLDAModel
    • FPGrowthModel

Skaler Python UDF'leri artık hizmet kimlik bilgilerini destekliyor

Skaler Python UDF'leri, dış bulut hizmetlerine güvenli bir şekilde erişmek için Unity Kataloğu hizmeti kimlik bilgilerini kullanabilir. Daha fazla bilgi için bkz. Skalar Python UDF'lerinde hizmet kimlik bilgileri.

PySpark ve Spark Connect artık DataFrames df.mergeInto API'sini destekliyor

PySpark ve Spark Connect artık daha önce yalnızca Scala için kullanılabilen API'yi destekliyor df.mergeInto .

API güncelleştirmeleri

Sunucusuz ortam 4 aşağıdaki API güncelleştirmelerini içerir:

  • SPARK-50915 içinde ekleme getCondition ve kullanımdan kaldırma getErrorClassPySparkException
  • SPARK-50719 PySpark desteği interruptOperation
  • SPARK-50718 PySpark desteği addArtifact(s)
  • SPARK-49530 PySpark çiziminde pasta alt pilotlarını destekleme
  • SPARK-50357 PySpark için destek Interrupt(Tag|All) API'leri
  • SPARK-51178 Yerine düzgün PySpark hatası oluşturma SparkConnectGrpcException
  • SPARK-51227 PySpark Connect'i _minimum_grpc_version 1.67.0'a düzeltme
  • SPARK-50778 PySpark DataFrame'e ekle metadataColumn
  • SPARK-50311 PySpark için destek (add|remove|get|clear)Tag(s) API'leri
  • SPARK-50310 PySpark'ta devre dışı bırakmak DataFrameQueryContext için bayrak ekleme
  • SPARK-50238 PySpark UDF'lerinde/UDF'lerde/UDAF'lerde ve Python UC UDF'lerinde Değişken Desteği Ekleme
  • SPARK-50183 Pandas API ve PySpark Plotting için iç işlevleri birleştirme
  • SPARK-50170 Şuraya taşı _invoke_internal_function_over_columns : pyspark.sql.utils
  • SPARK-50167 PySpark'ta hata iletilerini ve içeri aktarmaları çizmeyi geliştirme
  • SPARK-48961 parametre adlandırmasını PySparkException JVM ile tutarlı hale getirme
  • SPARK-49567 PySpark kod tabanından vanilya yerine klasik kullanın
  • SPARK-48755transformWithState PySpark temel uygulaması ve ValueState desteği
  • SPARK-48714 PySpark'ta uygulama DataFrame.mergeInto
  • SPARK-47365 PySpark'a DataFrame yöntemi ekleme toArrow()
  • SPARK-48075 PySpark avro işlevleri için tür denetimi
  • SPARK-46984 Kaldırmak pyspark.copy_func
  • SPARK-46213 Hata çerçevesi için tanıtma PySparkImportError
  • SPARK-46226 Kalanların RuntimeError tümünü PySpark hata çerçevesine geçirme
  • SPARK-45450 İÇERI aktarmaları PEP8: pyspark.pandas ve pyspark (çekirdek) değerlerine göre düzeltme

Sistem ortamı

  • İşletim Sistemi: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect, en son sunucusuz ortam sürümünde sürekli olarak güncelleştirilir. Geçerli ortamınızdaki tam sürümü onaylamak için komutunu çalıştırın pip list .)
  • Scala: 2.13.16
  • JDK: 17

Yüklü Python kitaplıkları

Sunucusuz ortamı 4'i yerel Python sanal ortamınızda yeniden oluşturmak için requirements-env-4.txt dosyasını indirin ve çalıştırın pip install -r requirements-env-4.txt. Bu komut sunucusuz ortam 4'ten tüm açık kaynak kitaplıklarını yükler.

Library Sürüm Library Sürüm Library Sürüm
açıklamalı türler 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 ok 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
otomatik komut 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 Babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 siyah 24.10.0
çamaşır suyu 6.2.0 yanıp sönen 1.7.0 boto3 1.36.2
botocore 1.36.3 önbellek araçları 5.5.1 sertifikalı 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
tık 8.1.7 cloudpickle (bulut serileştirme modülü) 3.0.0 Comm 0.2.1
konturlu 1.3.1 şifreleme 43.0.3 bisikletçi 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-sdk 0.49.0
dbus-python 1.3.2 hata ayıklama 1.8.11 dekoratör 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 daistlib 0.3.9
docstring-to-markdown 0.11 Yürütme 0.8.3 modellere genel bakış 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 dosya kilidi 3.18.0
fonttools 4.55.3 Fqdn 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
Uluslararası Alan Adları Uygulaması (IDNA) 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
çekmek 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 izodat 0.6.1 isoduration 20.11.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
JSON şeması 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab pencere öğeleri 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 başlatma çubuğu 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib (Python için popüler bir grafik kütüphanesi) 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 yanlış 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal 1.32.3
msal-extensions 1.3.1 mypy uzantıları 1.0.0 nbclient 0.8.0
nbconvert (belge dönüştürme aracı) 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numpy kütüphanesi 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0,53b1 Geçersiz kılınır 7.4.0
Ambalaj 24.1 Pandalar 2.2.3 pandoc filtreleri 1.5.0
parso 0.8.4 pathspec 0.10.3 Patsy 1.0.1
pexpect 4.8.0 yastık 11.1.0 Pip 25.0.1
platformdirs 3.10.0 çizim 5.24.1 takılmış 1.5.0
prometheus_client 0.21.0 Prompt Araç Takımı 3.0.43 proto-plus 1.26.1
Protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 saf değerlendirme 0.2.2 py4j 0.10.9.9
serçe 19.0.1 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser kütüphanesi 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygmentler 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing (bir Python kütüphanesi) 3.2.0 pyright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil (Python tarih ve saat işleme kütüphanesi) 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Başvuran 0.30.2 istekler 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 zengin 13.9.4
ip 1.12.0 rpds-py 0.22.3 RSA 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 scipy (Python için bir bilimsel hesaplama kütüphanesi) 1.15.1
denizanadan 0.13.2 Send2Trash 1.8.2 kurulum araçları 74.0.0
Altı 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2.5 sqlparse 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 starlette 0.46.2
statsmodeller 0.14.4 strictyaml 1.7.3 Azim 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 hortum 6.4.2
Traitlets (Python kütüphanesi/modülü) 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
katılımsız yükseltmeler 0.1 uri şablonu 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) 0.2.5 web renkleri 24.11.1 web kodlamaları 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 tekerlek 0.45.1
widgetsnbextension 3.6.6 kaydırma 1.17.0 yapf 0.40.2
zipp 3.21.0 standart 0.23.0

Yüklü Java ve Scala kitaplıkları (Scala 2.13 küme sürümü)

Grup Kimliği Nesne Kimliği Sürüm
com.databricks databricks-connect_2.13 17.2.0
com.fasterxml.jackson.core jackson-annotations (Jackson açıklamaları) 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.badem channels_2.13 0.14.1-1
sh.badem yorumlayıcı-api_2.13 0.14.1-1
sh.badem interpreter_2.13 0.14.1-1
sh.badem jupyter-api_2.13 0.14.1-1
sh.badem kernel_2.13 0.14.1-1
sh.badem logger_2.13 0.14.1-1
sh.badem protocol_2.13 0.14.1-1
sh.badem scala-interpreter_2.13.16 0.14.1-1
sh.badem scala-kernel_2.13.16 0.14.1-1
sh.badem shared-directives_2.13 0.14.1-1
  • Last updated on