Delen via

Serverloze omgeving versie 4

In dit artikel vindt u informatie over de systeemomgeving voor serverloze omgeving versie 4.

Om compatibiliteit voor de toepassing te garanderen, gebruiken serverloze workloads een versieloze API, ook wel de omgevingsversie genoemd, die compatibel blijft met nieuwere serverversies.

U kunt de omgevingsversie selecteren met behulp van het deelvenster Omgeving in uw serverloze notebooks. Zie Een omgevingsversie selecteren.

Nieuwe functies en verbeteringen

De volgende nieuwe functies en verbeteringen zijn beschikbaar in serverloze omgeving 4.

Spark ML-ondersteuning op serverloze berekeningen

Serverloze compute ondersteunt nu Spark ML in PySpark (pyspark.ml) en MLflow voor Spark (mlflow.spark) in omgevingsversie 4. Voor het afstemmen van hyperparameters op serverloze compute raadt Databricks aan optuna en Joblib Spark te gebruiken.

De volgende beperkingen zijn van toepassing bij het uitvoeren van SparkML op serverloze berekeningen:

  • De maximale modelgrootte is 100 MB.
  • De maximale totale grootte van in-memory modellen per sessie is 1 GB.
  • De training van boommodellen stopt vroeg als de modelgrootte de 100 MB dreigt te overschrijden.
  • De volgende SparkML-modellen worden niet ondersteund:
    • DistributedLDAModel
    • FPGrowthModel

Scalar Python UDF's bieden nu ondersteuning voor servicereferenties

Scalar Python UDF's kunnen referenties van de Unity Catalog-service gebruiken om veilig toegang te krijgen tot externe cloudservices. Zie Servicereferenties in Scalar Python UDF's voor meer informatie.

PySpark en Spark Connect ondersteunen nu de DataFrames-API df.mergeInto

PySpark en Spark Connect ondersteunen nu de df.mergeInto API, die voorheen alleen beschikbaar was voor Scala.

API-updates

Serverloze omgeving 4 bevat de volgende API-updates:

  • SPARK-50915 Toevoegen getCondition en verwijderen getErrorClass in PySparkException
  • SPARK-50719 Ondersteuning interruptOperation voor PySpark
  • SPARK-50718 Ondersteuning addArtifact(s) voor PySpark
  • SPARK-49530 Ondersteuning voor cirkelsubplots in PySpark-plotting
  • SPARK-50357 Ondersteunings-API's Interrupt(Tag|All) voor PySpark
  • SPARK-51178 De juiste PySpark-fout genereren in plaats van SparkConnectGrpcException
  • SPARK-51227 PySpark Connect _minimum_grpc_version herstellen met 1.67.0
  • SPARK-50778 Toevoegen metadataColumn aan PySpark DataFrame
  • SPARK-50311 Ondersteunings-API's (add|remove|get|clear)Tag(s) voor PySpark
  • SPARK-50310 Een vlag toevoegen om uit te schakelen DataFrameQueryContext voor PySpark
  • SPARK-50238 Variantondersteuning toevoegen in PySpark UDF's/UDFs/UDAFs en Python UC UDF's
  • SPARK-50183 De interne functies voor Pandas-API en PySpark Plotting samenvoegen
  • SPARK-50170 Verplaatsen _invoke_internal_function_over_columns naar pyspark.sql.utils
  • SPARK-50167 Foutberichten en importbewerkingen in PySpark verbeteren
  • SPARK-48961 De parameternaamgeving PySparkException consistent maken met JVM
  • SPARK-49567 Klassiek gebruiken in plaats van vanille uit pySpark-codebasis
  • SPARK-48755transformWithState PySpark-basis-implementatie en ValueState -ondersteuning
  • SPARK-48714 Implementeren DataFrame.mergeInto in PySpark
  • SPARK-47365 DataFrame-methode toevoegen toArrow() aan PySpark
  • SPARK-48075 Typecontrole voor PySpark avro-functies
  • SPARK-46984 Verwijderen pyspark.copy_func
  • SPARK-46213 Introduceren PySparkImportError voor foutframework
  • SPARK-46226 Alle resterende RuntimeError migreren naar het PySpark-foutframework
  • SPARK-45450 Invoer herstellen volgens PEP8: pyspark.pandas en pyspark (kern)

Systeemomgeving

  • Besturingssysteem: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect wordt continu bijgewerkt in de nieuwste serverloze omgevingsversie. Voer uit pip list om de exacte versie in uw huidige omgeving te bevestigen.)
  • Scala: 2.13.16
  • JDK: 17

Geïnstalleerde Python-bibliotheken

Als u serverloze omgeving 4 wilt reproduceren in uw lokale virtuele Python-omgeving, downloadt u het requirements-env-4.txt-bestand en voert u het uit pip install -r requirements-env-4.txt. Met deze opdracht worden alle opensource-bibliotheken vanuit serverloze omgeving 4 geïnstalleerd.

Library Versie Library Versie Library Versie
geannoteerde typen 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindingen 21.2.0 pijl 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
automatische opdracht 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 Babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 zwart 24.10.0
bleken 6.2.0 oogklep 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 certificaat 2025.1.31
cffiffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
klikken 8.1.7 cloudpickle 3.0.0 Comm 0.2.1
contourpy 1.3.1 cryptografie 43.0.3 wielrijder 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-sdk 0.49.0
dbus-python 1.3.2 foutopsporing 1.8.11 decorateur 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 Uitvoeren 0.8.3 facets-overview 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 filelock 3.18.0
fonttools 4.55.3 Fqdn 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
IDNA 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
Inflect 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isoduratie 20.11.0
ja compute.context 5.3.0 ja tenant.functools 4.0.1 jaeditor.text 3.12.1
jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 onstemmen 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal 1.32.3
msal-extensions 1.3.1 mypy-extensions 1.0.0 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numpy 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0,53b1 Overschrijft 7.4.0
verpakking 24.1 Pandas 2.2.3 pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 Patsy 1.0.1
pexpect 4.8.0 kussen 11.1.0 pit 25.0.1
platformdirs 3.10.0 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 prompt-hulpmiddelenpakket 3.0.43 proto-plus 1.26.1
protocolbuffers 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow 19.0.1 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Verwijzen naar 0.30.2 Verzoeken 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rijk 13.9.4
touw 1.12.0 rpds-py 0.22.3 RSA 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 Scipy (een wetenschappelijke bibliotheek voor Python) 1.15.1
geboren op zee 0.13.2 Send2Trash 1.8.2 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 74.0.0
Zes 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soepsieve 2.5 sqlparse 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 starlette 0.46.2
statsmodels 0.14.4 strictyaml 1.7.3 vasthoudendheid 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornado 6.4.2
Traitlets (Python library voor het configureren van Python-objecten) 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
upgrades zonder toezicht 0.1 URI-sjabloon 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolors 24.11.1 Webencoderingen 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 wiel 0.45.1
widgetsnbextension 3.6.6 omsloten 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.13-clusterversie)

Groeps-id Artefact-ID Versie
com.databricks databricks-connect_2.13 17.2.0
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond interpreter-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond scala-interpreter_2.13.16 0.14.1-1
sh.almond scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on