Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
In diesem Artikel werden die Systemumgebungsinformationen für serverlose Umgebung, Version 4, beschrieben.
Um die Kompatibilität für die Anwendung sicherzustellen, verwenden serverlose Workloads eine versionslose API, die als Umgebungsversion bezeichnet wird, die mit neueren Serverversionen kompatibel bleibt.
Sie können die Umgebungsversion mithilfe des Seitenbereichs "Umgebung " in Ihren serverlosen Notizbüchern auswählen. Siehe Auswählen einer Umgebungsversion.
Neue Features und Verbesserungen
Die folgenden neuen Features und Verbesserungen sind in serverloser Umgebung 4 verfügbar.
Spark ML-Unterstützung auf serverlosem Compute
Serverless Compute unterstützt jetzt Spark ML in PySpark (pyspark.ml) und MLflow für Spark (mlflow.spark) in Umgebung Version 4. Für die Hyperparameteroptimierung auf serverlosem Compute empfiehlt Databricks die Verwendung von Optuna und Joblib Spark.
Die folgenden Einschränkungen gelten beim Ausführen von SparkML auf serverlosem Compute:
- Die maximale Modellgröße beträgt 100 MB.
- Die maximale Gesamtgröße von In-Memory-Modellen pro Sitzung beträgt 1 GB.
- Das Baummodelltraining wird frühzeitig beendet, wenn die Modellgröße etwa 100 MB zu überschreiten droht.
- Die folgenden SparkML-Modelle werden nicht unterstützt:
- VerteiltesLDAModel
- FPGrowthModel
Scalar Python UDFs unterstützen jetzt Dienstanmeldeinformationen
Skalare Python UDFs können Unity Catalog Service-Anmeldeinformationen verwenden, um sicher auf externe Clouddienste zuzugreifen. Weitere Informationen finden Sie unter Dienstanmeldeinformationen in Scalar Python UDFs.
PySpark und Spark Connect unterstützen jetzt die DataFrames-API df.mergeInto
PySpark und Spark Connect unterstützen jetzt die df.mergeInto API, die zuvor nur für Scala verfügbar war.
API-Updates
Serverlose Umgebung 4 enthält die folgenden API-Updates:
-
SPARK-50915 Hinzufügen
getConditionund Veraltet ingetErrorClassPySparkException -
SPARK-50719 Unterstützung
interruptOperationfür PySpark -
SPARK-50718 Unterstützung
addArtifact(s)für PySpark - SPARK-49530 Unterstützen von Kreisunterplots in PySpark Plotting
-
SPARK-50357 Support-APIs
Interrupt(Tag|All)für PySpark -
SPARK-51178 Auslösen eines ordnungsgemäßen PySpark-Fehlers anstelle von
SparkConnectGrpcException -
SPARK-51227 Fix PySpark Connect
_minimum_grpc_versionmit 1.67.0 -
SPARK-50778 Zu PySpark DataFrame hinzufügen
metadataColumn -
SPARK-50311 Support-APIs
(add|remove|get|clear)Tag(s)für PySpark -
SPARK-50310 Hinzufügen einer Kennzeichnung zum Deaktivieren
DataFrameQueryContextfür PySpark - SPARK-50238 Hinzufügen der Variant-Unterstützung in PySpark UDFs/UDTFs/UDAFs und Python UC UDFs
- SPARK-50183 Vereinheitlichen der internen Funktionen für Pandas-API und PySpark Plotting
-
SPARK-50170 Wechseln
_invoke_internal_function_over_columnszupyspark.sql.utils - SPARK-50167 Verbessern der PySpark-Darstellung von Fehlermeldungen und Importen
-
SPARK-48961 Festlegen der
PySparkExceptionParameterbenennung in Übereinstimmung mit JVM - SPARK-49567 Verwenden Sie klassische anstelle von Vanille aus PySpark-Codebasis
-
SPARK-48755
transformWithStatePySpark Basisimplementierung undValueState-unterstützung -
SPARK-48714 Implementieren
DataFrame.mergeIntoin PySpark -
SPARK-47365 Hinzufügen der
toArrow()DataFrame-Methode zu PySpark - SPARK-48075 Typüberprüfung für PySpark avro-Funktionen
-
SPARK-46984 Entfernen
pyspark.copy_func -
SPARK-46213 Einführung
PySparkImportErrorin das Fehlerframework -
SPARK-46226 Migrieren aller verbleibenden Elemente
RuntimeErrorin PySpark-Fehlerframework -
SPARK-45450 Importe nach PEP8 korrigieren:
pyspark.pandasundpyspark(Kern)
Systemumgebung
- Betriebssystem: Ubuntu 24.04.2 LTS
- Python: 3.12.3
-
Databricks Connect: 17 (Databricks Connect wird kontinuierlich in der neuesten serverlosen Umgebungsversion aktualisiert. Führen Sie die Ausführung
pip listaus, um die genaue Version in Ihrer aktuellen Umgebung zu bestätigen.) - Skala: 2.13.16
- JDK: 17
Installierte Python-Bibliotheken
Um serverlose Umgebung 4 in Ihrer lokalen virtuellen Python-Umgebung zu reproduzieren, laden Sie die requirements-env-4.txt Datei herunter, und führen Sie sie aus pip install -r requirements-env-4.txt. Mit diesem Befehl werden alle Open Source-Bibliotheken aus serverloser Umgebung 4 installiert.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| Annotated-Types | 0.7.0 | anyio | 4.6.2 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | Pfeil | 1.3.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | async-lru | 2.0.4 | Attrs | 24.3.0 |
| AutoCommand | 2.2.2 | azure-common | 1.1.28 | Azure-Core | 1.34.0 |
| Azure-Identity | 1.20.0 | azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 |
| Azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | Babel | 2.16.0 |
| backports.tarfile | 1.2.0 | beautifulsoup4 | 4.12.3 | schwarz | 24.10.0 |
| Bleichmittel | 6.2.0 | Blinker | 1.7.0 | Boto3 | 1.36.2 |
| Botocore | 1.36.3 | cachetools | 5.5.1 | Zertifizieren | 2025.1.31 |
| CFFI | 1.17.1 | Chardet | 4.0.0 | Charset-Normalizer | 3.3.2 |
| klicken | 8.1.7 | Wolkengurke | 3.0.0 | comm | 0.2.1 |
| Contourpy | 1.3.1 | Kryptographie | 43.0.3 | Fahrradfahrer | 0.11.0 |
| Cython | 3.0.12 | databricks-connect | 17.2.3 | databricks-sdk | 0.49.0 |
| dbus-python | 1.3.2 | debugpy | 1.8.11 | Dekorateur | 5.1.1 |
| defusedxml | 0.7.1 | Deprecated | 1.2.13 | distlib | 0.3.9 |
| docstring-to-markdown | 0.11 | ausführend | 0.8.3 | Facets-Übersicht | 1.1.1 |
| fastapi | 0.115.12 | fastjsonschema | 2.21.1 | filelock | 3.18.0 |
| fonttools | 4.55.3 | fqdn | 1.5.1 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.20.0 |
| Google-Authentifizierung | 2.40.0 | Google-Cloud-Core | 2.4.3 | Google-Cloud-Speicher | 3.1.0 |
| google-crc32c | 1.7.1 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 |
| GRPCIO | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.14.0 |
| httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
| idna | 3.7 | importlib-metadata | 6.6.0 | importlib_resources | 6.4.0 |
| beugen | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.8.1 | Isodate | 0.6.1 | Isoduration | 20.11.0 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| Jedi | 0.19.2 | Jinja2 | 3.1.5 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpointer | 3.0.0 |
| jsonschema | 4.23.0 | jsonschema-specifications | 2023.7.1 | Jupyter-Ereignisse | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.3 | jupyter_core | 5.7.2 |
| jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 | jupyterlab | 4.3.4 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | jupyterlab_server | 2.27.3 |
| kiwisolver | 1.4.8 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 |
| matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | Mccabe | 0.7.0 |
| mdurl | 0.1.0 | verstimmen | 2.0.4 | mlflow-skinny | 2.22.0 |
| mmh3 | 5.1.0 | more-itertools | 10.3.0 | msal | 1.32.3 |
| msal-extensions | 1.3.1 | mypy-extensions | 1.0.0 | nbclient | 0.8.0 |
| nbconvert | 7.16.4 | nbformat | 5.10.4 | nest-asyncio | 1.6.0 |
| nodeenv | 1.9.1 | Notebook | 7.3.2 | notebook_shim | 0.2.3 |
| numpy | 2.1.3 | oauthlib | 3.2.2 | opentelemetry-api | 1.32.1 |
| opentelemetry-sdk | 1.32.1 | opentelemetry-semantic-conventions | 0,53b1 | Überschreibt | 7.4.0 |
| Verpackung | 24.1 | Pandas | 2.2.3 | Pandocfilter | 1.5.0 |
| Parso | 0.8.4 | pathspec | 0.10.3 | Sündenbock | 1.0.1 |
| pexpect | 4.8.0 | Kissen | 11.1.0 | Kern | 25.0.1 |
| platformdirs | 3.10.0 | Zeichnungsfläche | 5.24.1 | Pluggy | 1.5.0 |
| prometheus_client | 0.21.0 | Prompt-Toolkit | 3.0.43 | proto-plus | 1.26.1 |
| protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.9 |
| Pyarrow | 19.0.1 | Pyasn1 | 0.4.8 | Pyasn1-Module | 0.2.8 |
| Pyccolo | 0.0.71 | Pycparser | 2.21 | Pydantisch | 2.10.6 |
| pydantic_core | 2.27.2 | Pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | Pyiceberg | 0.9.0 | PyJWT | 2.10.1 |
| pyodbc | 5.2.0 | Pyparsing | 3.2.0 | Pyright | 1.1.394 |
| Pyspark | 4.0.0+databricks.connect.17.2.3 | Pytest | 8.3.5 | Python-dateutil | 2.9.0.post0 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.0 |
| pytoolconfig | 1.2.6 | Pytz | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | referenzierung | 0.30.2 | Anforderungen | 2.32.3 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | reich | 13.9.4 |
| Seil | 1.12.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
| s3transfer | 0.11.3 | scikit-learn | 1.6.1 | SciPy | 1.15.1 |
| Seegeboren | 0.13.2 | Send2Trash | 1.8.2 | setuptools | 74.0.0 |
| sechs | 1.16.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sortierte Container | 2.4.0 | Suppesieve | 2.5 | sqlparse | 0.5.3 |
| ssh-import-id | 5.11 | Stack-Data | 0.2.0 | starlette | 0.46.2 |
| StatistikModelle | 0.14.4 | strictyaml | 1.7.3 | Zähigkeit | 9.0.0 |
| terminado | 0.17.1 | Threadpoolctl | 3.5.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | tomli | 2.0.1 | Tornado | 6.4.2 |
| Traitlets | 5.14.3 | Typeguard | 4.3.0 | types-python-dateutil | 2.9.0.20241206 |
| typing_extensions | 4.12.2 | tzdata | 2024.1 | ujson | 5.10.0 |
| unbeaufsichtigte Upgrades | 0,1 | URI-Vorlage | 1.3.0 | urllib3 | 2.3.0 |
| uvicorn | 0.34.2 | virtualenv | 20.29.3 | Wadllib | 1.3.6 |
| wcwidth | 0.2.5 | Webcolors | 24.11.1 | Webkodierungen | 0.5.1 |
| websocket-client | 1.8.0 | whatthepatch | 1.0.2 | Rad | 0.45.1 |
| widgetsnbextension | 3.6.6 | Eingehüllt | 1.17.0 | yapf | 0.40.2 |
| ZIPP | 3.21.0 | zstandard | 0.23.0 |
Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 17.2.0 |
| com.fasterxml.jackson.core | Jackson-Anmerkungen | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | Jackson-Datenbindung | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.mandel | channels_2.13 | 0.14.1-1 |
| sh.mandel | interpreter-api_2.13 | 0.14.1-1 |
| sh.mandel | interpreter_2.13 | 0.14.1-1 |
| sh.mandel | jupyter-api_2.13 | 0.14.1-1 |
| sh.mandel | kernel_2.13 | 0.14.1-1 |
| sh.mandel | logger_2.13 | 0.14.1-1 |
| sh.mandel | protocol_2.13 | 0.14.1-1 |
| sh.mandel | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.mandel | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.mandel | shared-directives_2.13 | 0.14.1-1 |