Omgeving versie 4

Dit artikel geeft een overzicht van de systeemomgevingsinformatie voor omgeving versie 4.

Om compatibiliteit voor de toepassing te garanderen, gebruiken serverloze workloads een versieloze API, ook wel de omgevingsversie genoemd, die compatibel blijft met nieuwere serverversies.

U kunt een basisomgeving selecteren die deze omgevingsversie bevat met behulp van het deelvenster Omgeving in uw serverloze notebooks. Zie Een basisomgeving selecteren.

Nieuwe functies en verbeteringen

De volgende nieuwe functies en verbeteringen zijn beschikbaar in omgeving versie 4.

Spark ML-ondersteuning op serverloze berekeningen

Serverloze compute ondersteunt nu Spark ML in PySpark (pyspark.ml) en MLflow voor Spark (mlflow.spark) in omgevingsversie 4. Voor het afstemmen van hyperparameters op serverloze compute raadt Databricks aan optuna en Joblib Spark te gebruiken.

De volgende beperkingen zijn van toepassing bij het uitvoeren van SparkML op serverloze berekeningen:

  • De maximale modelgrootte is 100 MB.
  • De maximale totale grootte van in-memory modellen per sessie is 1 GB.
  • De training van boommodellen stopt vroeg als de modelgrootte de 100 MB dreigt te overschrijden.
  • De volgende SparkML-modellen worden niet ondersteund:
    • DistributedLDAModel
    • FPGrowthModel

Scala en Java UDFs in Unity Catalog

Serverloze omgevingsversie 4 ondersteunt Scala en Java door de gebruiker gedefinieerde functies (UDF's) in Unity Catalog. U kunt aangepaste Scala- en Java-functies maken, registreren en delen in rekenomgevingen met Unity Catalog-governance. Voor Scala UDF's in Unity Catalog wordt alleen Scala versie 2.13.16 ondersteund. Scala en Java UDF's in Unity Catalog vereisen JDK 17.

Zie Scala en Java door de gebruiker gedefinieerde functies (UDF's) in Unity Catalog voor meer informatie.

Scalar Python UDF's bieden nu ondersteuning voor servicereferenties

Scalar Python UDF's kunnen referenties van de Unity Catalog-service gebruiken om veilig toegang te krijgen tot externe cloudservices. Zie Servicereferenties in Scalar Python UDF's voor meer informatie.

PySpark en Spark Connect ondersteunen nu de DataFrames-API df.mergeInto

PySpark en Spark Connect ondersteunen nu de df.mergeInto API, die voorheen alleen beschikbaar was voor Scala.

API-updates

Omgevingsversie 4 bevat de volgende API-updates:

  • SPARK-50915 Toevoegen getCondition en verwijderen getErrorClass in PySparkException
  • SPARK-50719 Ondersteuning interruptOperation voor PySpark
  • SPARK-50718 Ondersteuning addArtifact(s) voor PySpark
  • SPARK-49530 Ondersteuning voor cirkelsubplots in PySpark-plotting
  • SPARK-50357 Ondersteunings-API's Interrupt(Tag|All) voor PySpark
  • SPARK-51178 De juiste PySpark-fout genereren in plaats van SparkConnectGrpcException
  • SPARK-51227 PySpark Connect _minimum_grpc_version fixen naar 1.67.0
  • SPARK-50778 Toevoegen metadataColumn aan PySpark DataFrame
  • SPARK-50311 Ondersteunings-API's (add|remove|get|clear)Tag(s) voor PySpark
  • SPARK-50310 Een vlag toevoegen om uit te schakelen DataFrameQueryContext voor PySpark
  • SPARK-50238 Variantondersteuning toevoegen in PySpark UDF’s/UDTF’s/UDAF’s en Python UC UDF’s
  • SPARK-50183 De interne functies voor Pandas-API en PySpark Plotting samenvoegen
  • SPARK-50170 Verplaatsen _invoke_internal_function_over_columns naar pyspark.sql.utils
  • SPARK-50167 Verbeter de foutberichten en importbewerkingen voor PySpark-plotten
  • SPARK-48961 De parameternaamgeving PySparkException consistent maken met JVM
  • SPARK-49567 Gebruik klassiek in plaats van vanilla uit de PySpark-codebasis
  • SPARK-48755transformWithState PySpark-basis-implementatie en ValueState -ondersteuning
  • SPARK-48714 Implementeren DataFrame.mergeInto in PySpark
  • SPARK-47365 DataFrame-methode toevoegen toArrow() aan PySpark
  • SPARK-48075 Typecontrole voor PySpark avro-functies
  • SPARK-46984 Verwijderen pyspark.copy_func
  • SPARK-46213 Introduceren PySparkImportError voor foutframework
  • SPARK-46226 Alle resterende RuntimeError migreren naar het PySpark-foutenframework
  • SPARK-45450 Invoer herstellen volgens PEP8: pyspark.pandas en pyspark (kern)

Systeemomgeving

  • Besturingssysteem: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect wordt continu bijgewerkt in de nieuwste omgevingsversie. Voer pip list uit om de exacte versie in je huidige omgeving te bevestigen.)
  • Scala: 2.13.16
  • JDK: 17

Geïnstalleerde Python-bibliotheken

Om omgevingsversie 4 in je lokale virtuele Python-omgeving na te bootsen, download je het bestand requirements-env-4.txt en voer pip install -r requirements-env-4.txt uit. Dit commando installeert alle bibliotheken uit omgevingsversie 4.

Library Versie Library Versie Library Versie
geannoteerde typen 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindingen 21.2.0 pijl 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
azure-common 1.1.28 azure-core 1.34.0 azure-identity 1.20.0
azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 Babel 2.16.0 beautifulsoup4 4.12.3
zwart 24.10.0 bleekmiddel 6.2.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 certificaat 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
klikken 8.1.7 cloudpickle 3.0.0 comm 0.2.1
contourpy 1.3.1 cryptografie 43.0.3 wielrijder 0.11.0
Cython 3.0.12 databricks-connect 17.3.12 databricks-sdk 0.49.0
debugpy 1.8.11 decorateur 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 docstring-to-markdown 0.11 Uitvoeren 0.8.3
facettenoverzicht 1.1.1 fastapi 0.115.12 fastjsonschema 2.21.1
fonttools 4.55.3 FQDN 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httpx 0.27.0 IDNA 3.7
importlib-metadata 6.6.0 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isoduratie 20.11.0
jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 onstemmen 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.8.0 nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 notebook_shim 0.2.3 numpy 2.1.3
opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0,53b1
Overschrijft 7.4.0 verpakking 24.1 Pandas 2.2.3
pandocfilters 1.5.0 parso 0.8.4 pathspec 0.10.3
Patsy 1.0.1 pexpect 4.8.0 kussen 11.1.0
pip 25.0.1 platformdirs 3.10.0 plotly 5.24.1
pluggy 1.5.0 prometheus_client 0.21.0 prompt-hulpmiddelenpakket 3.0.43
proto-plus 1.26.1 protocolbuffers 5.29.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py4j 0.10.9.9 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.71 pycparser 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pytest 8.3.5 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.9.0.post0 python-json-logger 3.2.1
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.2 pyzmq 26.2.0
Verwijzen naar 0.30.2 Verzoeken 2.32.3 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 rijk 13.9.4 touw 1.12.0
rpds-py 0.22.3 RSA 4.9.1 s3transfer 0.11.3
scikit-learn 1.6.1 Scipy (een wetenschappelijke bibliotheek voor Python) 1.15.1 geboren op zee 0.13.2
Send2Trash 1.8.2 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2.5 sqlparse 0.5.3
stack-data 0.2.0 starlette 0.46.2 statsmodels 0.14.4
strictyaml 1.7.3 vasthoudendheid 9.0.0 terminado 0.17.1
threadpoolctl 3.5.0 tinycss2 1.4.0 tokenize_rt 6.1.0
tomli 2.0.1 tornado 6.4.2 Traitlets (Python library voor het configureren van Python-objecten) 5.14.3
types-python-dateutil 2.9.0.20241206 typing_extensions 4.12.2 tzdata 2024.1
ujson 5.10.0 URI-sjabloon 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 wcwidth 0.2.5 webcolors 24.11.1
Webencoderingen 0.5.1 websocket-client 1.8.0 whatthepatch 1.0.2
widgetsnbextension 3.6.6 omsloten 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.13)

Groeps-id Artefact-ID Versie
com.databricks databricks-connect_2.13 17.3.1
com.databricks databricks-dbutils-scala_2.13 0.1.4
com.databricks databricks-sdk-java 0.52.0
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.2
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value automatische waardeaantekeningen 1.10.4
com.google.code.gson gson 2.10.1
com.google.errorprone error_prone_annotations 2.18.0
com.google.guava failureaccess 1.0.1
com.google.guava guave 32.0.1-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 2.8
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.8
com.lihaoyi ammonite-compiler_2.13.16 3.0.8
com.lihaoyi ammonite-interp-api_2.13.16 3.0.8
com.lihaoyi ammonite-interp_2.13.16 3.0.8
com.lihaoyi ammonite-repl-api_2.13.16 3.0.8
com.lihaoyi ammonite-repl_2.13.16 3.0.8
com.lihaoyi ammonite-runtime_2.13.16 3.0.8
com.lihaoyi ammonite-terminal_2.13 3.0.8
com.lihaoyi ammonite-util_2.13 3.0.8
com.lihaoyi fansi_2.13 0.5.1
com.lihaoyi mainargs_2.13 0.7.6
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
com.lihaoyi scalatags_2.13 0.13.1
com.thesamet.scalapb lenses_2.13 0.11.15
com.thesamet.scalapb scalapb-runtime_2.13 0.11.15
com.thoughtworks.paranamer paranamer 2.8
commons-codec commons-codec 1.11
commons-io commons-io 2.14.0
commons-logging commons-logging 1.3.2
io.github.java-diff-utils java-diff-utils 4.15
io.grpc grpc-context 1.27.2
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-lang3 3.14.0
org.apache.commons commons-text 1.12.0
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j-impl 2.24.3
org.checkerframework checker-qual 3.33.0
org.jline jline 3.27.1
org.jline jline-reader 3.14.1
org.jline jline-terminal 3.14.1
org.json json 20240303
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang scalap_2.13 2.13.13
org.scala-lang.modules scala-collection-compat_2.13 2.13.0
org.scala-lang.modules scala-java8-compat_2.13 1.0.2
org.scalameta io_2.13 4.13.10
org.scalameta mtags-interfaces 1.6.3
org.scalameta mtags-shared_2.13.16 1.6.3
org.scalameta mtags_2.13.16 1.6.3
org.scalameta parsers_2.13 4.13.10
org.scalameta scalameta_2.13 4.13.10
org.scalameta semanticdb-scalac-core_2.13.16 4.13.10
org.scalameta trees_2.13 4.13.10
org.slf4j slf4j-api 2.0.10
org.slf4j slf4j-nop 1.7.36
sh.almond channels_2.13 0.14.5
sh.almond coursier-logger_2.13 0.14.5
sh.almond interpreter-api_2.13 0.14.5
sh.almond interpreter_2.13 0.14.5
sh.almond jupyter-api_2.13 0.14.5
sh.almond kernel_2.13 0.14.5
sh.almond logger-scala2-macros_2.13 0.14.5
sh.almond logger_2.13 0.14.5
sh.almond protocol_2.13 0.14.5
sh.almond scala-interpreter_2.13.16 0.14.5
sh.almond scala-kernel-api_2.13.16 0.14.5
sh.almond scala-kernel_2.13.16 0.14.5
sh.almond shared-directives_2.13 0.14.5
sh.almond toree-hooks_2.13 0.14.5
  • Last updated on