Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Cette page présente les informations relatives à l’environnement système pour l’environnement serverless version 5.
Pour garantir la compatibilité des applications, les charges de travail serverless utilisent une API versionnée, appelée version de l’environnement, qui reste compatible avec les versions serverless plus récentes.
Pour sélectionner un environnement de base, utilisez le sélecteur d’environnement de base dans le volet latéral Environnement de vos notebooks serverless. Consultez Sélectionner un environnement de base.
Nouvelles fonctionnalités et améliorations
Les nouvelles fonctionnalités et améliorations suivantes sont disponibles dans l’environnement serverless 5.
Prise en charge de MLflow 3.8.1
L’environnement serverless 5 inclut MLflow 3.8.1, une mise à niveau majeure de MLflow 2.22.0 dans l’environnement version 4. Cette mise à niveau comprend de nombreuses nouvelles fonctionnalités, améliorations et correctifs de bogues. Pour obtenir la liste complète des modifications, consultez les notes de publication de MLflow.
Travaux serverless JAR
Important
Cette fonctionnalité est disponible en préversion publique.
Les travaux JAR sans serveur sont désormais pris en charge dans l'environnement de la version 5. Cette fonctionnalité vous permet d’exécuter des applications jar sur une infrastructure de calcul serverless.
Optimisation des flèches activée par défaut pour les fonctions définies par l’utilisateur Python
Dans la version 5 de l’environnement, l’optimisation des flèches est activée par défaut pour les fonctions définies par l’utilisateur Python, ce qui améliore considérablement les performances d’exécution des fonctions UDF. En outre, la conversion du sérialiseur pandas basé sur Arrow a été améliorée pour accroître l'efficacité.
Cela représente un changement comportemental des versions précédentes, où l’optimisation de la flèche a été activée.
Changements comportementaux
Les modifications comportementales suivantes sont introduites dans l’environnement serverless 5.
BinaryType mappe de manière cohérente aux octets Python
Dans PySpark, BinaryType est désormais mappé de manière constante à Python bytes. Auparavant, PySpark mappait BinaryType à bytes ou bytearray en fonction du contexte.
Pour plus d’informations, consultez SPARK-53696.
API de socket au niveau du noyau Linux pour le chiffrement
À compter de la version 5 de l’environnement, l’API de socket de chiffrement au niveau du noyau Linux qui fonctionne sur des chiffrements non conformes FIPS peut échouer de manière non déterministe. N’utilisez pas cette API pour les opérations de chiffrement de conformité non FIPS.
Mises à jour d’API
L’environnement serverless 5 inclut les mises à jour d’API suivantes :
- SPARK-53635 Prise en charge des fonctions définies par l'utilisateur Scala avec des arguments d'entrée de type Seq[Row]
- SPARK-54220 Prise en charge des types NullType/VOID/UNKNOWN dans Parquet
- SPARK-54153 Prise en charge du profilage de l'itérateur basé sur des UDF Python
- SPARK-54213 Supprimer Python 3.9 de Spark Connect
- SPARK-53977 Prise en charge du logging dans les UDTFs
- SPARK-53976 Prise en charge de la journalisation dans Pandas/Arrow UDFs
- SPARK-53573 Permettre la combinaison des littéraux de chaîne partout
- SPARK-54269 Mettre à niveau cloudpickle vers la version 3.1.2 pour Python 3.14
- SPARK-54287 Ajouter la prise en charge de Python 3.14 dans pyspark-client et pyspark-connect
- SPARK-53614 Ajouter Iterator[pandas.DataFrame] à applyInPandas
- SPARK-53921 Présenter GeometryType et GeographyType à l’API PySpark
- SPARK-53920 Présenter GeometryType et GeographyType à l’API Java
- SPARK-53956 Supporter TIME dans la fonction try_make_timestamp de PySpark
- SPARK-53930 Prendre en charge TIME dans la fonction make_timestamp de PySpark
- SPARK-53111 Implémenter la fonction time_diff dans PySpark
- SPARK-538777 Introduire BITMAP_AND_AGG fonction
- SPARK-53357 Mettre à jour pandas vers la version 2.3.2
- SPARK-52980 Prise en charge des fonctions de table définies par l’utilisateur Arrow Python
- SPARK-52844 Mettre à jour numpy vers la version 1.22
- SPARK-50359 Mettre à niveau PyArrow vers la version 18.0
- SPARK-50564 Mettre à niveau le package Python protobuf vers la version 5.29.1
- SPARK-50601 Prise en charge de withColumns / withColumnsRenamed dans les sous-requêtes
- SPARK-51814 Présentation d’une nouvelle transformation d’APIWithState dans PySpark
- SPARK-52821 ajouter une contrainte de coercion de type de retour int->DecimalType dans le udf pyspark
- SPARK-53112 Supporter TIME dans les fonctions make_timestamp_ntz et try_make_timestamp_ntz de PySpark
- SPARK-53319 Prendre en charge le type 'timestamp' avec try_make_timestamp_ltz()
- SPARK-53696 Valeur par défaut pour BinaryType dans PySpark
- SPARK-55090 Implémenter DataFrame.toJSON dans le client Python
Environnement du système
- Système d’exploitation : Ubuntu 24.04.3 LTS
- Python : 3.12.3
-
Databricks Connect : 18 (Databricks Connect est mis à jour en continu dans la dernière version de l’environnement serverless. Exécutez
pip listpour confirmer la version exacte dans votre environnement actuel.) - Scala : 2.13.16
- JDK : 21
Bibliothèques Python installées
Pour reproduire l’environnement serverless 5 dans votre environnement virtuel Python local, téléchargez le fichier requirements-env-5.txt et exécutez pip install -r requirements-env-5.txt. Cette commande installe toutes les bibliothèques open source à partir de l’environnement serverless 5.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | AIOHTTP | 3.11.10 | aiosignal | 1.2.0 |
| document annoté | 0.0.4 | annotated-types | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| flèche | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attributs | 24.3.0 | commande automatique | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.28.0 |
| Azure Storage File Data Lake | 12.22.0 | babel | 2.16.0 | backports.tarfile | 1.2.0 |
| bellesoupe4 | 4.12.3 | black | 24.10.0 | bleach | 6.2.0 |
| clignotant | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| cachetools | 5.5.1 | certifi | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | charset-normalizer | 3.3.2 | cliquez | 8.1.8 |
| cloudpickle | 3.0.0 | comm | 0.2.1 | contourpy | 1.3.1 |
| chiffrement | 44.0.1 | cycliste | 0.11.0 | Cython | 3.1.5 |
| databricks-agents | 1.9.1 | databricks-connect | 18.0.5 | Kit de développement logiciel Databricks (SDK) | 0.67.0 |
| dataclasses-json | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| décorateur | 5.1.1 | defusedxml | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | distlib | 0.3.9 | Conversion de docstring en markdown | 0.11 |
| exécution | 1.2.0 | aperçu des facettes | 1.1.1 | fastapi | 0.128.0 |
| validation rapide des schémas JSON (fastjsonschema) | 2.21.1 | verrou de fichier | 3.17.0 | outils de police | 4.55.3 |
| fqdn | 1.5.1 | frozenlist | 1.5.0 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.28.1 |
| google-auth | 2.47.0 | google-cloud-core | 2.5.0 | google-cloud-storage (Stockage dans le cloud de Google) | 3.7.0 |
| google-crc32c | 1.8.0 | google-resumable-media | 2.8.0 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.16.0 |
| hf-xet | 1.2.0 | httpcore | 1.0.9 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface_hub | 1.2.4 | IDNA | 3.7 |
| importlib_metadata | 8.5.0 | inflect | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | isodate | 0.7.2 |
| isoduration | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | Jedi | 0.19.2 |
| Jinja2 | 3.1.6 | jiter | 0.12.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.23.0 | spécifications du schéma JSON | 2023.7.1 |
| événements Jupyter | 0.12.0 | jupyter-lsp | 2.2.5 | jupyter_client | 8.6.3 |
| jupyter_core | 5.7.2 | serveur Jupyter | 2.15.0 | jupyter_server_terminals | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver | 1.4.8 | langchain-core | 1.2.6 |
| langchain-openai | 1.1.6 | langsmith | 0.6.1 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | litellm | 1.75.9 |
| markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 | guimauve | 3.26.2 |
| matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | Mccabe | 0.7.0 |
| mdurl | 0.1.0 | mistune | 3.1.2 | mlflow-skinny (version légère de mlflow) | 3.8.1 |
| mmh3 | 5.2.0 | more-itertools | 10.3.0 | msal | 1.34.0 |
| msal-extensions | 1.3.1 | Multidict | 6.1.0 | mypy-extensions | 1.0.0 |
| nbclient | 0.10.2 | nbconvert | 7.16.6 | nbformat | 5.10.4 |
| nest-asyncio | 1.6.0 | nodeenv | 1.10.0 | notebook | 7.3.2 |
| notebook_shim | 0.2.4 | numpy | 2.1.3 | oauthlib | 3.2.2 |
| openai | 2.14.0 | opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 |
| opentelemetry-sdk | 1.39.1 | opentelemetry-semantic-conventions | 0.60b1 | orjson | 3.11.5 |
| remplace | 7.4.0 | empaquetage | 24,2 | Pandas | 2.2.3 |
| pandocfilters | 1.5.0 | parso | 0.8.4 | pathspec | 0.10.3 |
| patsy | 1.0.1 | pexpect | 4.8.0 | pillow | 11.1.0 |
| pip | 25.0.1 | platformdirs | 4.3.7 | plotly | 5.24.1 |
| pluggy | 1.5.0 | prometheus_client | 0.21.1 | prompt-toolkit | 3.0.43 |
| propcache | 0.3.1 | proto-plus | 1.27.0 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.71 |
| pycparser | 2.21 | pydantic | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes | 3.2.0 | Pygments | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing | 3.2.0 | pyright | 1.1.394 | pyroaring | 1.0.3 |
| pytest | 8.3.5 | python-dateutil | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.2 |
| pytoolconfig | 1.2.6 | pytz | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | référencement | 0.30.2 | regex | 2024.11.6 |
| requests | 2.32.3 | requests-toolbelt | 1.0.0 | RFC3339 validateur | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.9.4 | corde | 1.13.0 |
| rpds-py | 0.22.3 | Rsa | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn | 1.6.1 | scipy (bibliothèque Python pour le calcul scientifique) | 1.15.3 | seaborn | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools | 78.1.1 | shellingham | 1.5.4 |
| six | 1.17.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sortedcontainers | 2.4.0 | soupsieve | 2.5 | sqlparse | 0.5.5 |
| ssh-import-id | 5.11 | données en pile | 0.6.3 | starlette | 0.50.0 |
| strictyaml | 1.7.3 | ténacité | 9.0.0 | terminé | 0.17.1 |
| threadpoolctl | 3.5.0 | tiktoken | 0.12.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | générateurs de jetons | 0.22.2 | tomli | 2.0.1 |
| tornade | 6.5.1 | tqdm | 4.67.1 | Traitlets | 5.14.3 |
| typeguard | 4.3.0 | typer-slim | 0.21.1 | types-python-dateutil | 2.9.0.20251115 |
| saisie-inspection | 0.9.0 | typing_extensions | 4.12.2 | tzdata | 2024.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | uri-template | 1.3.0 |
| urllib3 | 2.3.0 | uuid_utils | 0.12.0 | uvicorn | 0.40.0 |
| virtualenv | 20.29.3 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webcolores | 25.10.0 | webencodings | 0.5.1 | websocket-client | 1.8.0 |
| c’est quoi le patch | 1.0.2 | roue | 0.45.1 | chaque fois que | 0.7.3 |
| widgetsnbextension | 3.6.6 | enveloppé | 1.17.0 | yapf | 0.40.2 |
| yarl | 1.18.0 | zipp | 3.21.0 | zstandard | 0.23.0 |
Bibliothèques Java et Scala installées (Scala 2.13)
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 18.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | interpréteur-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |