Bezserverové prostředí verze 4

Tento článek popisuje informace o systémovém prostředí pro bezserverové prostředí verze 4.

K zajištění kompatibility aplikace používají bezserverové úlohy rozhraní API verze označované jako verze prostředí, které zůstává kompatibilní s novějšími verzemi serveru.

Pomocí bočního panelu Prostředí v bezserverových poznámkových blocích můžete vybrat základní prostředí, které obsahuje tuto verzi prostředí. Viz Výběr základního prostředí.

Nové funkce a vylepšení

Následující nové funkce a vylepšení jsou k dispozici v bezserverovém prostředí 4.

Podpora Spark ML na bezserverových výpočetních prostředcích

Bezserverové výpočetní prostředí teď podporuje Spark ML v PySparku (pyspark.ml) a MLflow pro Spark (mlflow.spark) ve verzi 4. Pro ladění hyperparametrů na bezserverovém výpočetním prostředí doporučuje Databricks používat Spark Optuna a Joblib.

Při spouštění SparkML na bezserverové výpočetní prostředí platí následující omezení:

  • Maximální velikost modelu je 100 MB.
  • Maximální celková velikost modelů v paměti na relaci je 1 GB.
  • Trénování stromového modelu se zastaví brzy, pokud velikost modelu překročí 100 MB.
  • Následující modely SparkML nejsou podporované:
    • DistributedLDAModel
    • FPGrowthModel

Skalární uživatelsky definované funkce Pythonu teď podporují přihlašovací údaje služby.

Skalární uživatelsky definované funkce Pythonu mohou pomocí přihlašovacích údajů služby Unity Catalog bezpečně přistupovat k externím cloudovým službám. Další informace najdete v tématu Přihlašovací údaje služby ve skalárních uživatelsky definovaných Python UDF.

PySpark a Spark Connect teď podporují rozhraní DATAFrames df.mergeInto API.

PySpark a Spark Connect teď podporují df.mergeInto rozhraní API, které bylo dříve dostupné jenom pro Scala.

Aktualizace rozhraní API

Bezserverové prostředí 4 obsahuje následující aktualizace rozhraní API:

  • SPARK-50915 Přidání getCondition a označení getErrorClass za zastaralé v PySparkException
  • SPARK-50719 Podpora interruptOperation pro PySpark
  • SPARK-50718 Podpora addArtifact(s) pro PySpark
  • SPARK-49530 Podpora výsečových dílčích grafů v PySpark
  • SPARK-50357 Podpora rozhraní API pro PySpark
  • SPARK-51178 Vyvolejte správnou chybu PySpark místo SparkConnectGrpcException
  • SPARK-51227 Oprava připojení PySpark _minimum_grpc_version k verzi 1.67.0
  • SPARK-50778 Přidat metadataColumn do datového rámce PySpark
  • SPARK-50311 Podpora API pro PySpark
  • SPARK-50310 Přidejte příznak pro zakázání DataFrameQueryContext v PySpark
  • SPARK-50238 Přidání podpory pro varianty v PySpark UDF/UDTF/UDAF a Python UC UDF
  • SPARK-50183 Sjednocení interních funkcí pro rozhraní Pandas API a PySpark Plotting
  • SPARK-50170 Přesunout _invoke_internal_function_over_columns na pyspark.sql.utils
  • SPARK-50167 Vylepšení vykreslování chybových zpráv a importů PySpark
  • SPARK-48961 Nastavení pojmenování parametru PySparkException v souladu s prostředím JVM
  • SPARK-49567 Místo základního kódu PySpark používejte klasické místo vanilky.
  • SPARK-48755transformWithState Základní implementace a ValueState podpora PySpark
  • SPARK-48714 Implementace DataFrame.mergeInto v PySpark
  • SPARK-47365 Přidání toArrow() metody datového rámce do PySpark
  • SPARK-48075 Kontrola typů pro funkce PySpark avro
  • SPARK-46984 Odstranit pyspark.copy_func
  • SPARK-46213 Zavedení PySparkImportError pro architekturu chyb
  • SPARK-46226 Migrace všech zbývajících RuntimeError do architektury chyb PySpark
  • SPARK-45450 Oprava importů podle PEP8: pyspark.pandas a pyspark (základ)

Prostředí systému

  • Operační systém: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect se průběžně aktualizuje v nejnovější verzi bezserverového prostředí. Spuštěním potvrďte pip list přesnou verzi v aktuálním prostředí.)
  • Scala: 2.13.16
  • JDK: 17

Nainstalované knihovny Pythonu

Pokud chcete reprodukovat bezserverové prostředí 4 v místním virtuálním prostředí Pythonu, stáhněte requirements-env-4.txt soubor a spusťte pip install -r requirements-env-4.txt. Tento příkaz nainstaluje všechny opensourcové knihovny z bezserverového prostředí 4.

Library Verze Library Verze Library Verze
anotované typy 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 šíp 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
automatické příkazy 2.2.2 azure-common 1.1.28 Azure-Core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob (úložiště blobů Azure) 12.23.0 azure-storage-file-datalake 12.17.0 babylón 2.16.0
backports.tarfile 1.2.0 BeautifulSoup4 4.12.3 černý 24.10.0
bělit 6.2.0 blinkr 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 certifikát 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
kliknout 8.1.7 cloudpickle 3.0.0 Komunikace 0.2.1
obrysová křivka 1.3.1 kryptografie 43.0.3 cyklista 0.11.0
Cython 3.0.12 Databricks Connect 17.2.3 Databricks-SDK 0.49.0
dbus-python 1.3.2 debugpy 1.8.11 dekoratér 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 provádění 0.8.3 přehled aspektů 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 zamykání souboru 3.18.0
fonttools 4.55.3 Fqdn 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 úložiště Google Cloud 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
IDNA 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
skloňovat 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isoduration 20.11.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
Jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 špatné ladění 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal 1.32.3
msal-extensions 1.3.1 mypy-extensions 1.0.0 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 poznámkový blok 7.3.2 notebook_shim 0.2.3
numpy (knihovna pro numerické výpočty v Pythonu) 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0,53b1 potlačuje 7.4.0
balení 24.1 Pandy 2.2.3 pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 bábovka 1.0.1
pexpect 4.8.0 polštář 11.1.0 pip 25.0.1
platformdirs 3.10.0 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 nástroj "prompt-toolkit" 3.0.43 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow 19.0.1 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 knihovna pytz pro zpracování časových zón v Pythonu 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 referencování 0.30.2 požadavky 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 bohatý 13.9.4
lano 1.12.0 rpds-py 0.22.3 Rsa 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 SciPy 1.15.1
narozený v moři 0.13.2 Send2Trash 1.8.2 setuptools (nástroj pro vytváření a distribuci Python projektů) 74.0.0
Šest 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2.5 sqlparse 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 Starlette 0.46.2
statsmodels 0.14.4 strictyaml 1.7.3 houževnatost 9.0.0
dokončeno 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornádo 6.4.2
traitlets 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
automatické aktualizace 0.1 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth (šířka znaků) 0.2.5 webcolors 24.11.1 webová kódování 0.5.1
websocketový klient 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
widgetsnbextension 3.6.6 zabalený 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Nainstalované knihovny Java a Scala (Scala 2.13)

ID skupiny Identifikátor artefaktu Verze
com.databricks Databricks-connect_2.13 17.3.1
com.databricks databricks-dbutils-scala_2.13 0.1.4
com.databricks databricks-sdk-java 0.52.0
com.fasterxml.jackson.core jackson-annotations (poznámky Jackson) 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core Jackson-databind 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.2
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value automatické poznámky k hodnotám 1.10.4
com.google.code.gson Gson 2.10.1
com.google.errorprone error_prone_annotations 2.18.0
com.google.guava failureaccess 1.0.1
com.google.guava guava 32.0.1-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 2.8
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.8
com.lihaoyi ammonite-compiler_2.13.16 3.0.8
com.lihaoyi ammonite-interp-api_2.13.16 3.0.8
com.lihaoyi ammonite-interp_2.13.16 3.0.8
com.lihaoyi ammonite-repl-api_2.13.16 3.0.8
com.lihaoyi ammonite-repl_2.13.16 3.0.8
com.lihaoyi ammonite-runtime_2.13.16 3.0.8
com.lihaoyi ammonite-terminal_2.13 3.0.8
com.lihaoyi ammonite-util_2.13 3.0.8
com.lihaoyi fansi_2.13 0.5.1
com.lihaoyi mainargs_2.13 0.7.6
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
com.lihaoyi scalatags_2.13 0.13.1
com.thesamet.scalapb lenses_2.13 0.11.15
com.thesamet.scalapb scalapb-runtime_2.13 0.11.15
com.thoughtworks.paranamer Paranamer 2.8
commons-codec commons-codec 1.11
commons-io commons-io 2.14.0
commons-logging (nástroj pro záznamy) commons-logging (nástroj pro záznamy) 1.3.2
io.github.java-diff-utils java-diff-utils 4.15
io.grpc grpc-context 1.27.2
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-lang3 3.14.0
org.apache.commons Commons-text (textové nástroje) 1.12.0
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j-impl 2.24.3
org.checkerframework checker-qual 3.33.0
org.jline jline 3.27.1
org.jline jline-reader 3.14.1
org.jline jline-terminal 3.14.1
org.json JSON 20240303
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang scalap_2.13 2.13.13
org.scala-lang.modules scala-collection-compat_2.13 2.13.0
org.scala-lang.modules scala-java8-compat_2.13 1.0.2
org.scalameta io_2.13 4.13.10
org.scalameta rozhraní mtags 1.6.3
org.scalameta mtags-shared_2.13.16 1.6.3
org.scalameta mtags_2.13.16 1.6.3
org.scalameta parsers_2.13 4.13.10
org.scalameta scalameta_2.13 4.13.10
org.scalameta sémanticdb-scalac-core_2.13.16 4.13.10
org.scalameta trees_2.13 4.13.10
org.slf4j slf4j-api 2.0.10
org.slf4j slf4j-nop 1.7.36
sh.almond channels_2.13 0.14.5
sh.almond coursier-logger_2.13 0.14.5
sh.almond interpretr-api_2.13 0.14.5
sh.almond interpreter_2.13 0.14.5
sh.almond jupyter-api_2.13 0.14.5
sh.almond kernel_2.13 0.14.5
sh.almond logger-scala2-macros_2.13 0.14.5
sh.almond logger_2.13 0.14.5
sh.almond protocol_2.13 0.14.5
sh.almond scala-interpreter_2.13.16 0.14.5
sh.almond scala-kernel-api_2.13.16 0.14.5
sh.almond scala-kernel_2.13.16 0.14.5
sh.almond shared-directives_2.13 0.14.5
sh.almond toree-hooks_2.13 0.14.5
  • Last updated on