Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Den här sidan beskriver systemmiljöinformationen för serverlös miljö version 5.
För att säkerställa programkompatibilitet använder serverlösa arbetsbelastningar ett versions-API, som kallas miljöversion, som förblir kompatibelt med nyare serverlösa versioner.
Om du vill välja en bas miljö, använd väljaren Bas miljö i sidpanelen Miljö i dina serverlösa notebooks. Se Välj en basmiljö.
Nya funktioner och förbättringar
Följande nya funktioner och förbättringar är tillgängliga i serverlös miljö 5.
Stöd för MLflow 3.8.1
Serverlös miljö 5 innehåller MLflow 3.8.1, en större uppgradering från MLflow 2.22.0 i miljöversion 4. Den här uppgraderingen innehåller många nya funktioner, förbättringar och felkorrigeringar. En fullständig lista över ändringar finns i viktig information om MLflow.
Serverlösa JAR-jobb
Viktigt!
Den här funktionen finns som allmänt tillgänglig förhandsversion.
Serverlösa JAR-jobb stöds nu i miljöversion 5. Med den här funktionen kan du köra JAR-baserade program på serverlös beräkningsinfrastruktur.
Piloptimering aktiverad som standard för Python-UDF:er
I miljöversion 5 aktiveras piloptimering som standard för Python-UDF:er, vilket avsevärt förbättrar UDF-körningsprestanda. Dessutom har den Arrow-baserade pandas-serialiserarkonverteringen förbättrats för bättre effektivitet.
Detta representerar en beteendeförändring från tidigare versioner, där piloptimeringen var anmäld.
Förändringar i beteende
Följande beteendeändringar introduceras i serverlös miljö 5.
BinaryType mappar konsekvent till Python-byte
I PySpark BinaryType mappar nu konsekvent till Python bytes. Tidigare mappades PySpark BinaryType till antingen bytes eller bytearray beroende på kontexten.
Mer information finns i SPARK-53696.
Linux-kärnnivå socket API för kryptografi
Från och med miljöversion 5 kan krypto socket-API:et på Linux-kernelnivå som körs på icke-FIPS-kompatibla chiffer misslyckas icke-deterministiskt. Använd inte det här API:et för icke-FIPS-efterlevnadskrypteringsåtgärder.
API-uppdateringar
Serverlös miljö 5 innehåller följande API-uppdateringar:
- SPARK-53635 Stöd för Scala-UDF:er med indata av typen Seq[Row]
- SPARK-54220 Stöd för NullType/VOID/UNKNOWN Type i Parquet
- SPARK-54153 Stöd för profilering av iteratorbaserade Python-UDF:er
- SPARK-54213 Ta bort Python 3.9 från Spark Connect
- SPARK-53977 Stöd för loggning i UDF:er
- SPARK-53976 Stöd för loggning i Pandas/Arrow-UDF:er
- SPARK-53573 Tillåt sammankoppling av strängliteraler överallt
- SPARK-54269 Uppgradera cloudpickle till 3.1.2 för Python 3.14
- SPARK-54287 Lägg till Python 3.14-stöd i pyspark-client och pyspark-connect
- SPARK-53614 Lägg till Iterator[pandas. DataFrame] stöd för applyInPandas
- SPARK-53921 Introducera GeometryType och GeographyType till PySpark API
- SPARK-53920 Introducera GeometryType och GeographyType till Java API
- SPARK-53956 Stöd för TIME i funktionen try_make_timestamp i PySpark
- SPARK-53930 Stöd för TIME i funktionen make_timestamp i PySpark
- SPARK-53111 Implementera funktionen time_diff i PySpark
- SPARK-53877 Införa funktionen BITMAP_AND_AGG
- SPARK-53357 Uppdatera Pandas till 2.3.2
- SPARK-52980 Stöd för Arrow Python UDTF:er
- SPARK-52844 Uppdatera numpy till 1.22
- SPARK-50359 Uppgradera PyArrow till 18.0
- SPARK-50564 Uppgradera protobuf Python-paketet till 5.29.1
- SPARK-50601 Stöd för medColumns / withColumnsRenamed i underfrågor
- SPARK-51814 Introducera en ny API-transformWithState i PySpark
- SPARK-52821 add int-DecimalType> pyspark udf return type coercion
- SPARK-53112 Stöd för TIME i funktionerna make_timestamp_ntz och try_make_timestamp_ntz i PySpark
- SPARK-53319 Stöd för tidstypen med try_make_timestamp_ltz()
- SPARK-53696 I PySpark: Standardinställning till byte för BinaryType
- SPARK-55090 Implementera DataFrame.toJSON i Python-klienten
Systemmiljö
- Operativsystem: Ubuntu 24.04.3 LTS
- Python: 3.12.3
-
Databricks Connect: 18 (Databricks Connect uppdateras kontinuerligt i den senaste serverlösa miljöversionen. Kör
pip listför att bekräfta den exakta versionen i din aktuella miljö.) - Scala: 2.13.16
- JDK: 21
Installerade Python-bibliotek
Om du vill återskapa serverlös miljö 5 i din lokala virtuella Python-miljö laddar du ned filenrequirements-env-5.txt och kör pip install -r requirements-env-5.txt. Det här kommandot installerar alla bibliotek med öppen källkod från serverlös miljö 5.
| Bibliotek | Utgåva | Bibliotek | Utgåva | Bibliotek | Utgåva |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| kommenterad-dokument | 0.0.4 | annoterade typer | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindningar | 21.2.0 | arro3-core | 0.6.5 |
| arrow | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| asynkron-lru | 2.0.4 | egenskaper | 24.3.0 | automatikkommando | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob (lagringstjänst i Azure) | 12.28.0 |
| Azure-lagring-fil-datainsjö | 12.22.0 | Babel | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | svart | 24.10.0 | blekmedel | 6.2.0 |
| körriktningsvisare | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| cacheverktyg | 5.5.1 | certifikat/certifiering | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | charset-normalizer | 3.3.2 | klicka | 8.1.8 |
| cloudpickle | 3.0.0 | kommunikation | 0.2.1 | konturritning | 1.3.1 |
| kryptografi | 44.0.1 | cyklist | 0.11.0 | Cython | 3.1.5 |
| Databricks-agenter | 1.9.1 | databricks-connect | 18.0.5 | Databricks SDK | 0.67.0 |
| Dataclasses-json | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| dekoratör | 5.1.1 | defusedxml | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | distlib | 0.3.9 | Omvandling av docstring till markdown | 0.11 |
| utföra | 1.2.0 | översikt över aspekter | 1.1.1 | fastapi | 0.128.0 |
| fastjsonschema | 2.21.1 | fillåsning | 3.17.0 | fontverktyg | 4.55.3 |
| fqdn | 1.5.1 | frozenlist | 1.5.0 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.28.1 |
| Google-autentisering | 2.47.0 | google-cloud-core | 2.5.0 | Google Cloud Storage - molntjänst för lagring | 3.7.0 |
| "google-crc32c" | 1.8.0 | google-återupptagbar-media | 2.8.0 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.16.0 |
| hf-xet | 1.2.0 | httpcore | 1.0.9 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface_hub | 1.2.4 | IDNA | 3.7 |
| importlib_metadata | 8.5.0 | böja (grammatiskt) | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | isodate | 0.7.2 |
| isoduration | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | Jedi | 0.19.2 |
| Jinja2 | 3.1.6 | jiter | 0.12.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.23.0 | jsonschema-specifikationer | 2023.7.1 |
| jupyter-händelser | 0.12.0 | jupyter-lsp | 2.2.5 | jupyter_client | 8.6.3 |
| jupyter_core | 5.7.2 | jupyter_server | 2.15.0 | jupyter_server_terminals | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver (ett verktyg/programvara) | 1.4.8 | langchain-core | 1.2.6 |
| langchain-openai | 1.1.6 | langsmith | 0.6.1 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | litellm | 1.75.9 |
| markdown –it-py | 2.2.0 | MarkupSafe | 3.0.2 | skumgodis | 3.26.2 |
| matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | Mccabe | 0.7.0 |
| mdurl | 0.1.0 | felstämning | 3.1.2 | mlflow-skinny | 3.8.1 |
| mmh3 | 5.2.0 | more-itertools | 10.3.0 | MSAL | 1.34.0 |
| msal-förlängningar | 1.3.1 | multidikt | 6.1.0 | mypy-extensions | 1.0.0 |
| nbclient | 0.10.2 | nbconvert | 7.16.6 | nbformat | 5.10.4 |
| nest-asyncio | 1.6.0 | nodeenv | 1.10.0 | anteckningsbok | 7.3.2 |
| anteckningsbok_shim | 0.2.4 | numpy | 2.1.3 | oauthlib (ett OAuth-bibliotek) | 3.2.2 |
| openai | 2.14.0 | opentelemetri-api | 1.39.1 | opentelemetry-proto | 1.39.1 |
| opentelemetry-sdk | 1.39.1 | opentelemetry-semantic-conventions (semantiska konventioner för Opentelemetry) | 0.60b1 | orjson | 3.11.5 |
| Åsidosätter | 7.4.0 | emballage | 24,2 | Pandas | 2.2.3 |
| pandocfilters | 1.5.0 | parso | 0.8.4 | pathspec | 0.10.3 |
| Patsy | 1.0.1 | pexpect (ett Python-bibliotek för styrning av fjärrterminaler) | 4.8.0 | kudde | 11.1.0 |
| pip | 25.0.1 | platformdirs | 4.3.7 | plotly | 5.24.1 |
| pluggaktig | 1.5.0 | prometheus_client | 0.21.1 | prompt-verktygslåda | 3.0.43 |
| propcache | 0.3.1 | proto-plus | 1.27.0 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.71 |
| pycparser | 2.21 | pydantisk | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes | 3.2.0 | Pygments | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing (ett Python-bibliotek för att analysera text) | 3.2.0 | pyright | 1.1.394 | pyroaring | 1.0.3 |
| pytest | 8.3.5 | python-dateutil | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.2 |
| pytoolconfig | 1.2.6 | pytz | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | Referenser | 0.30.2 | regex | 2024.11.6 |
| begäranden | 2.32.3 | requests-toolbelt | 1.0.0 | RFC 3339-valideringsverktyg | 0.1.4 |
| rfc3986-validator (validerare för RFC 3986) | 0.1.1 | rik | 13.9.4 | rep | 1.13.0 |
| rpds-py | 0.22.3 | rsa | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn (en maskininlärningsbibliotek) | 1.6.1 | scipy | 1.15.3 | född vid havet | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools | 78.1.1 | shellingham | 1.5.4 |
| sex | 1.17.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sorterade behållare | 2.4.0 | soupsieve | 2.5 | sqlparse | 0.5.5 |
| ssh-import-id | 5.11 | stapeldatastruktur | 0.6.3 | starlette | 0.50.0 |
| strictyaml | 1.7.3 | uthållighet | 9.0.0 | avslutad | 0.17.1 |
| threadpoolctl | 3.5.0 | tiktoken | 0.12.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | Tokeniserare | 0.22.2 | Tomli | 2.0.1 |
| tornad | 6.5.1 | tqdm | 4.67.1 | Traitlets | 5.14.3 |
| typskydd | 4.3.0 | typer-slim | 0.21.1 | types-python-dateutil | 2.9.0.20251115 |
| skrivgranskning | 0.9.0 | typing_extensions | 4.12.2 | tzdata | 2024.1 |
| ujson | 5.10.0 | obevakade uppgraderingar | 0,1 | URI-mall | 1.3.0 |
| urllib3 | 2.3.0 | uuid_utils | 0.12.0 | uvicorn | 0.40.0 |
| virtualenv | 20.29.3 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webcolors | 25.10.0 | webbkodningar | 0.5.1 | websocket-klient | 1.8.0 |
| whatthepatch | 1.0.2 | hjul | 0.45.1 | närhelst | 0.7.3 |
| widgetsnbextension | 3.6.6 | inhöljd | 1.17.0 | yapf | 0.40.2 |
| jarl | 1.18.0 | blixtlås | 3.21.0 | zstandard | 0.23.0 |
Installerade Java- och Scala-bibliotek (Scala 2.13)
| grupp-id | Artefakt-ID | Utgåva |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 18.0.0 |
| com.fasterxml.jackson.core | jackson-anteckningar | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | tolk-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |