Aracılığıyla paylaş

Sunucusuz ortam sürüm 5

Bu sayfada sunucusuz ortam sürüm 5 için sistem ortamı bilgileri özetlenmiştir.

Uygulama uyumluluğunu sağlamak için sunucusuz iş yükleri, daha yeni sunucusuz sürümlerle uyumlu kalan, ortam sürümü olarak bilinen bir sürüme sahip API kullanır.

Temel bir ortam seçmek için sunucusuz not defterlerinizdeki Ortam yan panelindeki Temel ortam seçicisini kullanın. Bkz. Temel ortam seçme.

Yeni özellikler ve geliştirmeler

Aşağıdaki yeni özellikler ve geliştirmeler sunucusuz ortam 5'te kullanılabilir.

MLflow 3.8.1 desteği

Sunucusuz ortam 5, ortam sürüm 4'te MLflow 2.22.0'dan önemli bir yükseltme olan MLflow 3.8.1'i içerir. Bu yükseltme çok sayıda yeni özellik, iyileştirme ve hata düzeltmesi içerir. Değişikliklerin tam listesi için bkz. MLflow sürüm notları.

Sunucusuz JAR işleri

Önemli

Bu özellik Genel Önizleme aşamasındadır.

Sunucusuz JAR işleri artık ortam sürüm 5'te desteklenmektedir. Bu özellik, sunucusuz işlem altyapısında JAR tabanlı uygulamalar çalıştırmanıza olanak tanır.

Python UDF'leri için varsayılan olarak etkinleştirilen ok iyileştirmesi

Ortam sürüm 5'te Python UDF'leri için ok iyileştirmesi varsayılan olarak etkindir ve UDF yürütme performansını önemli ölçüde artırır. Ayrıca, daha iyi verimlilik için Arrow tabanlı pandas seri hale getirici dönüşümü geliştirilmiştir.

Bu, önceki sürümlerde kullanıcıların isteğe bağlı olarak Arrow optimizasyonunu seçtiği durumu değiştiren davranış değişikliğini gösterir.

Davranış değişiklikleri

Sunucusuz ortam 5'te aşağıdaki davranış değişiklikleri kullanıma sunulmuştur.

BinaryType tutarlı bir şekilde Python baytlarına eşler

PySpark'ta artık BinaryType tutarlı olarak Python bytesile eşleşiyor. Daha önce PySpark, bağlama bağlı olarak BinaryType ile bytes veya bytearray arasında eşleştiriliyordu.

Daha fazla bilgi için bkz. SPARK-53696.

Şifreleme için Linux Çekirdek düzeyinde yuva API'si

Ortam sürüm 5'den başlayarak, FIPS uyumlu olmayan şifrelemeler üzerinde çalışan Linux Çekirdeği düzeyinde şifreleme yuvası API'si belirlenimci olmayan bir şekilde başarısız olabilir. Bu API'i FIPS dışı uyumluluk şifreleme işlemleri için kullanmayın.

API güncelleştirmeleri

Sunucusuz ortam 5 aşağıdaki API güncelleştirmelerini içerir:

  • SPARK-53635 Seq[Row] türünde giriş args ile Scala UDF'lerini destekleme
  • SPARK-54220 Parquet'de NullType/VOID/UNKNOWN Tür Desteği
  • SPARK-54153 Yineleyici tabanlı Python UDF'lerinin profilini oluşturmayı destekleme
  • SPARK-54213 Spark Connect'ten Python 3.9'u kaldırma
  • SPARK-53977 UDTF'lerde günlüğe kaydetme desteği
  • SPARK-53976 Pandas/Arrow UDF'lerinde günlüğe kaydetme desteği
  • SPARK-53573 Her yerde dize sabitlerini birleştirmeye izin ver
  • SPARK-54269 Cloudpickle'i Python 3.14 için 3.1.2 sürümüne yükseltme
  • SPARK-54287 pyspark-client ve pyspark-connect'e Python 3.14 desteği ekleme
  • SPARK-53614 applyInPandas'a İteratör[pandas.DataFrame] desteği ekleyin
  • SPARK-53921 PySpark API'sine GeometryType ve GeographyType'ı tanıtma
  • SPARK-53920 Java API'sine GeometryType ve GeographyType'ı tanıtma
  • SPARK-53956 PySpark'taki try_make_timestamp işlevinde TIME desteği
  • SPARK-53930 PySpark'ta make_timestamp işlevinde TIME desteği
  • SPARK-53111 PySpark'ta time_diff işlevini uygulama
  • SPARK-53877 BITMAP_AND_AGG işlevi tanıtma
  • SPARK-53357 Pandas'ı 2.3.2'ye güncelleştirme
  • SPARK-52980 Arrow Python UDTF'lerini Destekle
  • SPARK-52844 Numpy'yi 1.22 olarak güncelleştirme
  • SPARK-50359 PyArrow'ı 18.0 sürümüne yükseltme
  • SPARK-50564 protobuf Python paketini 5.29.1 sürümüne yükseltme
  • SPARK-50601 Alt sorgularda withColumns / withColumnsRenamed desteği
  • SPARK-51814 PySpark'ta yeni bir transformWithState API'si tanıtın
  • SPARK-52821 add int-DecimalType> pyspark udf dönüş türü zorlaması
  • SPARK-53112 PySpark'ta make_timestamp_ntz ve try_make_timestamp_ntz işlevlerinde TIME desteği
  • SPARK-53319 try_make_timestamp_ltz() tarafından saat türünü destekleme
  • SPARK-53696 PySpark'ta BinaryType için varsayılan bayt sayısı
  • SPARK-55090 Python İstemcisinde DataFrame.toJSON Uygulama

Sistem ortamı

  • İşletim Sistemi: Ubuntu 24.04.3 LTS
  • Python: 3.12.3
  • Databricks Connect: 18 (Databricks Connect, en son sunucusuz ortam sürümünde sürekli olarak güncelleştirilir. Geçerli ortamınızdaki tam sürümü onaylamak için komutunu çalıştırın pip list .)
  • Scala: 2.13.16
  • JDK: 21

Yüklü Python kitaplıkları

Sunucusuz ortamı 5'i yerel Python sanal ortamınızda yeniden oluşturmak için requirements-env-5.txt dosyasını indirin ve çalıştırın pip install -r requirements-env-5.txt. Bu komut sunucusuz ortam 5'ten tüm açık kaynak kitaplıklarını yükler.

Kütüphane Sürüm Kütüphane Sürüm Kütüphane Sürüm
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
açıklamalı-belge 0.0.4 anotasyonlu türler 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bağlantıları 21.2.0 arro3-core 0.6.5
yön oku 1.3.0 ast jetonları 3.0.0 astunparse 1.6.3
async-lru 2.0.4 özellikler 24.3.0 otomatik komut 2.2.2
azure-common 1.1.28 azure-core 1.37.0 Azure-Kimlik 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 Azure depolama bloğu 12.28.0
Azure Storage File Data Lake 12.22.0 Babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 siyah 24.10.0 ağartıcı 6.2.0
sinyal lambası 1.7.0 boto3 1.40.45 botocore 1.40.45
önbellek araçları 5.5.1 sertifika 2025.4.26 cffi 1.17.1
chardet 4.0.0 karakter seti normalleştirici 3.3.2 tıkla 8.1.8
cloudpickle (bulut serileştirme modülü) 3.0.0 İletişim 0.2.1 ContourPy 1.3.1
şifreleme 44.0.1 bisikletçi 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 databricks-connect 18.0.5 databricks yazılım geliştirme kiti (SDK) 0.67.0
dataclasses-json (veri sınıfları için JSON desteği) 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
dekoratör 5.1.1 defusedxml modülü 0.7.1 deltalake 1.1.4
Deprecated 1.2.18 distlib 0.3.9 docstring'i markdown formatına dönüştürme 0.11
Uygulamak 1.2.0 fasetler-genel bakış 1.1.1 fastapi 0.128.0
fastjsonschema 2.21.1 dosya kilidi 3.17.0 font araçları 4.55.3
FQDN (Tam Nitelikli Alan Adı) 1.5.1 dondurulmuş liste 1.5.0 fsspec 2023.5.0
gitdb (Git veritabanı) 4.0.11 GitPython 3.1.43 google-api-core (Google API çekirdek kütüphanesi) 2.28.1
google-auth (kimlik doğrulama) 2.47.0 google-cloud-core 2.5.0 Google Cloud Storage (Google Bulut Depolama) 3.7.0
google-crc32c 1.8.0 Google Devam Ettirilebilir Medya 2.8.0 googleapis-common-protos kütüphaneleri 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.16.0
hf-xet 1.2.0 httpcore 1.0.9 httplib2 0.20.4
httpx 0.28.1 huggingface_hub 1.2.4 Uluslararası Alan Adları Uygulaması (IDNA) 3.7
importlib_metadata 8.5.0 çekimlemek 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.7.2
İzodurasyon 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.6 titreşim 0.12.0 jmespath 1.0.1
joblib kütüphanesi 1.4.2 json5 0.9.25 json yaması 1.33
jsonpointer 3.0.0 JSON şeması 4.23.0 json şema spesifikasyonları 2023.7.1
Jupyter Etkinlikleri 0.12.0 jupyter-lsp 2.2.5 Jupyter istemcisi 8.6.3
jupyter_core 5.7.2 Jupyter sunucusu 2.15.0 Jupyter Sunucu Terminalleri 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 JupyterLab Sunucusu 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-core 1.2.6
langchain-openai 1.1.6 langsmith 0.6.1 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 litellm 1.75.9
markdown-it-py 2.2.0 MarkupSafe 3.0.2 Marshmallow 3.26.2
matplotlib (Python için popüler bir grafik kütüphanesi) 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 hatalı ayarlamak 3.1.2 mlflow-skinny 3.8.1
mmh3 5.2.0 more-itertools kütüphanesi 10.3.0 Microsoft Kimlik Doğrulama Kitaplığı (MSAL) 1.34.0
msal-eklentileri 1.3.1 Multidict sözlük 6.1.0 mypy uzantıları 1.0.0
nbclient 0.10.2 nbconvert (belge dönüştürme aracı) 7.16.6 nbformat 5.10.4
nest-asyncio 1.6.0 nodeenv 1.10.0 notebook 7.3.2
notebook_shim 0.2.4 numpy kütüphanesi 2.1.3 oauthlib (kimlik doğrulama kütüphanesi) 3.2.2
openai 2.14.0 opentelemetry-API 1.39.1 opentelemetry-proto 1.39.1
opentelemetry-sdk 1.39.1 opentelemetry-anlamsal-kurallar 0,60b1 orjson 3.11.5
Geçersiz kılınır 7.4.0 Ambalaj 24,2 Pandalar 2.2.3
pandoc filtreleri 1.5.0 Parso 0.8.4 pathspec 0.10.3
avanak 1.0.1 pexpect 4.8.0 yastık 11.1.0
Pip 25.0.1 platformdirs 4.3.7 Plotly yazılımı 5.24.1
fişimsi 1.5.0 prometheus_client 0.21.1 Prompt Araç Takımı 3.0.43
propcache 0.3.1 proto-plus 1.27.0 Protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
pure-eval 0.2.2 py4j 0.10.9.9 pyarrow 21.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.71
pycparser kütüphanesi 2.21 Python programlama dilinde veri doğrulama ve ayar yönetimi için kullanılan "pydantic" kütüphanesi. 2.10.6 pydantic_core 2.27.2
pyflakes (bir Python kod analiz aracı) 3.2.0 Pygmentler 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing (bir Python kütüphanesi) 3.2.0 pyright 1.1.394 piroaring 1.0.3
pytest 8.3.5 python-dateutil (Python tarih ve saat işleme kütüphanesi) 2.9.0.post0 python-dotenv 1.2.1
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server (Python LSP Sunucusu) 1.12.2
pytoolconfig 1.2.6 pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 referans alma 0.30.2 regex 2024.11.6
requests 2.32.3 requests-toolbelt 1.0.0 RFC 3339 doğrulayıcı (rfc3339-validator) 0.1.4
RFC 3986 geçerlilik denetleyicisi 0.1.1 zengin 13.9.4 halat 1.13.0
rpds-py 0.22.3 RSA şifreleme algoritması 4.9.1 s3transfer 0.14.0
scikit-learn 1.6.1 scipy (Python için bir bilimsel hesaplama kütüphanesi) 1.15.3 denizanadan 0.13.2
Send2Trash 1.8.2 kurulum araçları 78.1.1 shellingham 1.5.4
altı 1.17.0 smmap 5.0.0 sniffio 1.3.0
Sıralı Konteynerler 2.4.0 çorba süzgeci 2.5 sqlparse 0.5.5
ssh-import-id—SSH kimlik aktarımı komutu 5.11 yığın verisi 0.6.3 yıldızcık 0.50.0
strictyaml 1.7.3 Azim 9.0.0 tamamlandı 0.17.1
threadpoolctl 3.5.0 tiktoken 0.12.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tokenleştiriciler 0.22.2 Tomli 2.0.1
kasırga 6.5.1 tqdm (bir Python kütüphanesi) 4.67.1 Traitlets (Python kütüphanesi/modülü) 5.14.3
typeguard (tip koruma) 4.3.0 typer-slim 0.21.1 types-python-dateutil 2.9.0.20251115
yazım denetimi 0.9.0 typing_extensions 4.12.2 tzdata 2024.1
ujson (hızlı JSON işleme kütüphanesi) 5.10.0 katılımsız yükseltmeler 0,1 URI şablonu 1.3.0
urllib3 2.3.0 uuid_utils 0.12.0 uvicorn 0.40.0
virtualenv 20.29.3 wadllib 1.3.6 wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) 0.2.5
web renkleri 25.10.0 web kodlamaları 0.5.1 WebSocket istemcisi 1.8.0
yama nedir 1.0.2 tekerlek 0.45.1 Ne zaman isterse 0.7.3
widgetsnbextension 3.6.6 sarmalanmış 1.17.0 yapf 0.40.2
yarl 1.18.0 fermuar çek 3.21.0 zstandard 0.23.0

Yüklü Java ve Scala kitaplıkları (Scala 2.13)

Grup Kimliği Nesne Kimliği Sürüm
com.databricks databricks-connect_2.13 18.0.0
com.fasterxml.jackson.core jackson-annotations (Jackson açıklamaları) 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.badem channels_2.13 0.14.1-1
sh.badem yorumlayıcı-api_2.13 0.14.1-1
sh.badem interpreter_2.13 0.14.1-1
sh.badem jupyter-api_2.13 0.14.1-1
sh.badem kernel_2.13 0.14.1-1
sh.badem logger_2.13 0.14.1-1
sh.badem protocol_2.13 0.14.1-1
sh.badem scala-interpreter_2.13.16 0.14.1-1
sh.badem scala-kernel_2.13.16 0.14.1-1
sh.badem shared-directives_2.13 0.14.1-1
  • Last updated on