Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Auf dieser Seite werden die Systemumgebungsinformationen für serverlose Umgebung, Version 5, beschrieben.
Um die Anwendungskompatibilität sicherzustellen, verwenden serverlose Workloads eine versionslose API, die als Umgebungsversion bezeichnet wird, die mit neueren serverlosen Versionen kompatibel bleibt.
Um eine Basisumgebung auszuwählen, verwenden Sie die Basisumgebungsauswahl im Seitenbereich "Umgebung " in Ihren serverlosen Notizbüchern. Siehe Auswählen einer Basisumgebung.
Neue Features und Verbesserungen
Die folgenden neuen Features und Verbesserungen sind in serverloser Umgebung 5 verfügbar.
MLflow 3.8.1-Unterstützung
Serverlose Umgebung 5 enthält MLflow 3.8.1, ein Hauptupgrade von MLflow 2.22.0 in Version 4 der Umgebung. Dieses Upgrade umfasst zahlreiche neue Features, Verbesserungen und Fehlerbehebungen. Eine vollständige Liste der Änderungen finden Sie in den MLflow-Versionshinweisen.
Serverlose JAR-Aufträge
Von Bedeutung
Dieses Feature befindet sich in der Public Preview.
Serverlose JAR-Aufträge werden jetzt in Umgebung Version 5 unterstützt. Mit diesem Feature können Sie JAR-basierte Anwendungen auf serverloser Computeinfrastruktur ausführen.
Pfeiloptimierung ist für Python UDFs standardmäßig aktiviert
In Umgebungsversion 5 ist die Pfeiloptimierung standardmäßig für Python-UDFs aktiviert, was die Leistung der UDF-Ausführung erheblich verbessert. Darüber hinaus wurde die Arrow-basierte Pandas-Serialisierer-Konvertierung verbessert, um die Effizienz zu steigern.
Dies stellt eine Verhaltensänderung gegenüber früheren Versionen dar, bei denen die Arrow-Optimierung optional war.
Änderungen des Verhaltens
Die folgenden Verhaltensänderungen werden in serverloser Umgebung 5 eingeführt.
BinaryType wird konsistent in Python Bytes umgewandelt.
In PySpark wird BinaryType jetzt konsequent zu Python bytes zugeordnet. Zuvor hat PySpark BinaryType abhängig vom Kontext entweder in bytes oder in bytearray abgebildet.
Weitere Informationen finden Sie unter SPARK-53696.
Linux Kernel-Ebene-Socket-API für Kryptografie
Ab Version 5 der Umgebung kann die Krypto-Socket-API auf Kernel-Ebene von Linux, die auf nicht FIPS-kompatiblen Verschlüsselungen arbeitet, unvorhersehbar fehlschlagen. Verwenden Sie diese API nicht für Nicht-FIPS-Compliance-Kryptovorgänge.
API-Aktualisierungen
Serverlose Umgebung 5 enthält die folgenden API-Updates:
- SPARK-53635 Unterstützung von Scala-UDFs mit Eingabeargumenten des Typs Seq[Row]
- SPARK-54220 NullType/VOID/UNKNOWN Type Support in Parkett
- SPARK-54153 Unterstützung von iteratorbasierten Profilierung in Python-UDFs
- SPARK-54213 Entfernen von Python 3.9 aus Spark Connect
- SPARK-53977 Unterstützung des Loggings in UDTFs
- SPARK-53976 Unterstützung der Protokollierung in Pandas/Arrow-UDFs
- SPARK-53573 Zusammenführen von Zeichenfolgenliteralen überall zulassen
- SPARK-54269 Aktualisieren von Cloudpickle auf 3.1.2 für Python 3.14
- SPARK-54287 Hinzufügen der Python 3.14-Unterstützung in pyspark-client und pyspark-connect
- SPARK-53614 Unterstützung von Iterator[pandas.DataFrame] zur applyInPandas hinzufügen
- SPARK-53921 Einführung von GeometryType und GeographyType zur PySpark-API
- SPARK-53920 Einführung von GeometryType und GeographyType zur Java-API
- SPARK-53956 Support TIME in der Funktion "try_make_timestamp" in PySpark
- SPARK-53930 SupportZEIT in der make_timestamp Funktion in PySpark
- SPARK-53111 Implementieren der time_diff-Funktion in PySpark
- SPARK-53877 Einführung der BITMAP_AND_AGG Funktion.
- SPARK-53357 Aktualisieren von Pandas auf 2.3.2
- SPARK-52980 Unterstützung von Arrow Python UDTFs
- SPARK-52844 Numpy auf 1.22 aktualisieren
- SPARK-50359 Upgrade PyArrow auf 18.0
- SPARK-50564 Upgrade protobuf Python-Paket auf 5.29.1
- SPARK-50601 Support mit Spalten / mit umbenannten Spalten in Unterabfragen
- SPARK-51814 Einführung einer neuen API transformWithState in PySpark
- SPARK-52821 Hinzufügen von int-DecimalType> pyspark udf Rückgabetyp-Zwang
- SPARK-53112 Unterstützung von TIME in den Funktionen make_timestamp_ntz und try_make_timestamp_ntz in PySpark
- SPARK-53319 Unterstützt den Zeittyp durch try_make_timestamp_ltz()
- SPARK-53696 Standardmäßig auf Bytes für BinaryType in PySpark setzen
- SPARK-55090 Implementieren von DataFrame.toJSON in Python Client
Systemumgebung
- Betriebssystem: Ubuntu 24.04.3 LTS
- Python: 3.12.3
-
Databricks Connect: 18 (Databricks Connect wird kontinuierlich in der neuesten serverlosen Umgebungsversion aktualisiert. Führen Sie die Ausführung
pip listaus, um die genaue Version in Ihrer aktuellen Umgebung zu bestätigen.) - Skala: 2.13.16
- JDK: 21
Installierte Python-Bibliotheken
Um serverlose Umgebung 5 in Ihrer lokalen virtuellen Python-Umgebung zu reproduzieren, laden Sie die requirements-env-5.txt Datei herunter, und führen Sie sie aus pip install -r requirements-env-5.txt. Mit diesem Befehl werden alle Open Source-Bibliotheken aus serverloser Umgebung 5 installiert.
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| annotierte-Dokumentation | 0.0.4 | annotated-types | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| Pfeil | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | Attrs | 24.3.0 | autocommand | 2.2.2 |
| azure-common | 1.1.28 | Azure Core | 1.37.0 | Azure-Identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | Azure-Storage-Blob | 12.28.0 |
| Azure-Speicher-Datei-Datensee | 12.22.0 | babel | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | schwarz | 24.10.0 | Bleichmittel | 6.2.0 |
| Blinker | 1.7.0 | boto3 | 1.40.45 | Botocore | 1.40.45 |
| CacheWerkzeuge | 5.5.1 | Zertifikat | 2025.4.26 | cffi | 1.17.1 |
| Chardet | 4.0.0 | Charset-Normalizer | 3.3.2 | klicken | 8.1.8 |
| cloudpickle | 3.0.0 | Kommunikation | 0.2.1 | Contourpy | 1.3.1 |
| Kryptographie | 44.0.1 | Fahrradfahrer | 0.11.0 | Cython | 3.1.5 |
| databricks-agents | 1.9.1 | databricks-connect | 18.0.5 | Databricks-SDK | 0.67.0 |
| dataclasses-json | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| Dekorateur | 5.1.1 | defusedxml | 0.7.1 | Deltalake | 1.1.4 |
| Deprecated | 1.2.18 | Distlib | 0.3.9 | Docstring zu Markdown | 0.11 |
| ausführen | 1.2.0 | Übersicht der Facetten | 1.1.1 | fastapi | 0.128.0 |
| fastjsonschema | 2.21.1 | Dateisperrung | 3.17.0 | fonttools | 4.55.3 |
| fqdn | 1.5.1 | frozenlist | 1.5.0 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.28.1 |
| google-auth | 2.47.0 | Google Cloud Core | 2.5.0 | Google Cloud-Speicher | 3.7.0 |
| google-crc32c | 1.8.0 | google-resumable-media | 2.8.0 | googleapis-common-protos | 1.65.0 |
| GRPCIO | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.16.0 |
| hf-xet | 1.2.0 | httpcore | 1.0.9 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface_hub | 1.2.4 | IDNA | 3.7 |
| importlib_metadata | 8.5.0 | inflect | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | isodate | 0.7.2 |
| isoduration | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | Jedi | 0.19.2 |
| Jinja2 | 3.1.6 | Jiter | 0.12.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.23.0 | jsonschema-Spezifikationen | 2023.7.1 |
| Jupyter-Ereignisse | 0.12.0 | jupyter-lsp | 2.2.5 | jupyter_client | 8.6.3 |
| jupyter_core | 5.7.2 | jupyter_server | 2.15.0 | jupyter_server_terminals | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver | 1.4.8 | langchain-core | 1.2.6 |
| langchain-openai | 1.1.6 | langsmith | 0.6.1 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | litellm | 1.75.9 |
| markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 | Marshmallow | 3.26.2 |
| matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | mccabe | 0.7.0 |
| mdurl | 0.1.0 | mistune | 3.1.2 | mlflow-skinny | 3.8.1 |
| mmh3 | 5.2.0 | more-itertools | 10.3.0 | msal | 1.34.0 |
| msal-extensions | 1.3.1 | Multidict | 6.1.0 | mypy-Erweiterungen | 1.0.0 |
| nbclient | 0.10.2 | nbconvert | 7.16.6 | nbformat | 5.10.4 |
| nest-asyncio | 1.6.0 | nodeenv | 1.10.0 | Notebook | 7.3.2 |
| Notebook-Shim | 0.2.4 | numpy | 2.1.3 | oauthlib | 3.2.2 |
| openai | 2.14.0 | opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 |
| opentelemetry-sdk | 1.39.1 | opentelemetry-semantic-conventions (opentelemetrie-semantische-Konventionen) | 0,60b1 | Orjson | 3.11.5 |
| Überschreibt | 7.4.0 | Verpackung | 24,2 | Pandas | 2.2.3 |
| Pandocfilter | 1.5.0 | Parso | 0.8.4 | pathspec | 0.10.3 |
| patsy | 1.0.1 | pexpect | 4.8.0 | Kissen | 11.1.0 |
| pip | 25.0.1 | platformdirs | 4.3.7 | plotly | 5.24.1 |
| plugin-fähig | 1.5.0 | prometheus_client | 0.21.1 | Prompt-Toolkit | 3.0.43 |
| propcache | 0.3.1 | proto-plus | 1.27.0 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | Pyarrow | 21.0.0 |
| Pyasn1 | 0.4.8 | Pyasn1-Module | 0.2.8 | pyccolo | 0.0.71 |
| Pycparser | 2.21 | Pydantisch | 2.10.6 | pydantic_core | 2.27.2 |
| Pyflakes | 3.2.0 | Pygments | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | Pyodbc | 5.2.0 |
| Pyparsing | 3.2.0 | pyright | 1.1.394 | Pyroaring | 1.0.3 |
| pytest | 8.3.5 | Python-dateutil | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | Python-LSP-Server | 1.12.2 |
| pytoolconfig | 1.2.6 | Pytz | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | referenzierung | 0.30.2 | Regex | 2024.11.6 |
| requests | 2.32.3 | anforderungs-toolbelt | 1.0.0 | rfc3339-Prüfer | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.9.4 | Seil | 1.13.0 |
| rpds-py | 0.22.3 | rsa | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn | 1.6.1 | SciPy | 1.15.3 | Seegeboren | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools | 78.1.1 | Shellingham | 1.5.4 |
| Sechs | 1.17.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sortierte Container | 2.4.0 | Sieb für Suppe | 2,5 | sqlparse | 0.5.5 |
| ssh-import-id | 5.11 | Stapeldaten | 0.6.3 | Starlet | 0.50.0 |
| strictyaml | 1.7.3 | Hartnäckigkeit | 9.0.0 | abgeschlossen | 0.17.1 |
| Threadpoolctl | 3.5.0 | tiktoken | 0.12.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | tokenizers | 0.22.2 | tomli | 2.0.1 |
| Tornado | 6.5.1 | tqdm | 4.67.1 | traitlets | 5.14.3 |
| Typwächter | 4.3.0 | typer-slim | 0.21.1 | types-python-dateutil | 2.9.0.20251115 |
| Eingabeprüfung | 0.9.0 | typing_extensions | 4.12.2 | tzdata | 2024.1 |
| ujson | 5.10.0 | unbeaufsichtigte Aktualisierungen | 0,1 | URI-Vorlage | 1.3.0 |
| urllib3 | 2.3.0 | uuid_utils | 0.12.0 | uvicorn | 0.40.0 |
| virtualenv | 20.29.3 | wadllib | 1.3.6 | wcwidth (Breite eines Zeichens) | 0.2.5 |
| webcolors | 25.10.0 | Webkodierungen | 0.5.1 | WebSocket-Client | 1.8.0 |
| Was ist neu im Patch | 1.0.2 | Rad | 0.45.1 | Wann auch immer | 0.7.3 |
| widgetsnbextension | 3.6.6 | Eingehüllt | 1.17.0 | yapf | 0.40.2 |
| yarl | 1.18.0 | zipp | 3.21.0 | zstandard | 0.23.0 |
Installierte Java- und Scala-Bibliotheken (Scala 2.13)
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 18.0.0 |
| com.fasterxml.jackson.core | Jackson-Anmerkungen | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | Jackson-Datenbindung | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.mandel | channels_2.13 | 0.14.1-1 |
| sh.mandel | interpreter-api_2.13 | 0.14.1-1 |
| sh.mandel | interpreter_2.13 | 0.14.1-1 |
| sh.mandel | jupyter-api_2.13 | 0.14.1-1 |
| sh.mandel | kernel_2.13 | 0.14.1-1 |
| sh.mandel | logger_2.13 | 0.14.1-1 |
| sh.mandel | protocol_2.13 | 0.14.1-1 |
| sh.mandel | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.mandel | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.mandel | shared-directives_2.13 | 0.14.1-1 |