Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questa pagina descrive le informazioni sull'ambiente di sistema per l'ambiente serverless versione 5.
Per garantire la compatibilità delle applicazioni, i carichi di lavoro serverless usano un'API con versione, nota come versione dell'ambiente, che rimane compatibile con le versioni serverless più recenti.
Per selezionare un ambiente di base, usare il selettore dell'ambiente di base nel pannello laterale Ambiente nei notebook serverless. Vedere Selezionare un ambiente di base.
Nuove funzionalità e miglioramenti
Nell'ambiente serverless 5 sono disponibili le nuove funzionalità e i miglioramenti seguenti.
Supporto di MLflow 3.8.1
L'ambiente serverless 5 include MLflow 3.8.1, un importante aggiornamento da MLflow 2.22.0 nella versione 4 dell'ambiente. Questo aggiornamento include numerose nuove funzionalità, miglioramenti e correzioni di bug. Per un elenco completo delle modifiche, vedere le note sulla versione di MLflow.
Processi JAR serverless
Importante
Questa funzionalità è in Anteprima Pubblica.
Le attività JAR senza server sono ora supportate nella versione 5 dell'ambiente. Questa funzionalità consente di eseguire applicazioni basate su JAR nell'infrastruttura di calcolo serverless.
L'ottimizzazione Arrow è abilitata per impostazione predefinita per le funzioni definite dall'utente Python.
Nella versione 5 dell'ambiente, l'ottimizzazione Arrow è abilitata per impostazione predefinita per le UDF Python, migliorando significativamente le prestazioni di esecuzione. Inoltre, la conversione del serializzatore Pandas basato su Arrow è stata ottimizzata per una maggiore efficienza.
Ciò rappresenta una modifica comportamentale rispetto alle versioni precedenti, in cui l'ottimizzazione Arrow doveva essere abilitata dall'utente.
Modifiche comportamentali
Le modifiche comportamentali seguenti vengono introdotte nell'ambiente serverless 5.
BinaryType mappa in modo coerente i byte Python
In PySpark, ora BinaryType mappa coerentemente a Python bytes. In precedenza, PySpark mappa BinaryType a bytes o bytearray dipende dal contesto.
Per altre informazioni, vedere SPARK-53696.
API socket a livello di kernel Linux per la crittografia
A partire dalla versione 5 dell'ambiente, l'API di socket crypto a livello di kernel Linux che utilizza algoritmi di crittografia non conformi a FIPS potrebbe fallire in modo non deterministico. Non usare questa API per operazioni di crittografia di conformità non FIPS.
Aggiornamenti delle API
L'ambiente serverless 5 include gli aggiornamenti api seguenti:
- SPARK-53635 Supportare funzioni definite dall'utente Scala con argomenti di input di tipo Seq[Row]
- SPARK-54220 Supporto dei tipi NullType/VOID/UNKNOWN in Parquet
- SPARK-54153 Supportare le funzioni definite dall'utente Python basate su iteratore di profilatura
- SPARK-54213 Rimuovere Python 3.9 da Spark Connect
- SPARK-53977 Supporto della registrazione dei log nelle UDTFs (funzioni di tabella definite dall'utente)
- SPARK-53976 Supporto dei log nelle UDF di Pandas/Arrow
- SPARK-53573 Consenti la fusione dei valori letterali stringa ovunque
- SPARK-54269 Aggiornare cloudpickle alla versione 3.1.2 per Python 3.14
- SPARK-54287 Aggiungere il supporto python 3.14 in pyspark-client e pyspark-connect
- SPARK-53614 Aggiungere il supporto per Iteratore[pandas.DataFrame] per applyInPandas
- SPARK-53921 Introduzione a GeometryType e GeographyType all'API PySpark
- SPARK-53920 Introdurre GeometryType e GeographyType nell'API Java
- SPARK-53956 Supporto di TIME nella funzione try_make_timestamp in PySpark
- SPARK-53930 Supporto di TIME nella funzione make_timestamp in PySpark
- SPARK-53111 Implementare la funzione time_diff in PySpark
- SPARK-53877 Introdurre BITMAP_AND_AGG funzione
- SPARK-53357 Aggiornare pandas alla versione 2.3.2
- SPARK-52980 Supportare le funzioni definite dall'utente Python per Arrow
- SPARK-52844 Aggiornare numpy alla versione 1.22
- SPARK-50359 Aggiornare PyArrow alla versione 18.0
- SPARK-50564 Aggiornare il pacchetto Python protobuf alla versione 5.29.1
- SPARK-50601 Il supporto per withColumns / withColumnsRenamed nelle sottoquery
- SPARK-51814 Introdurre una nuova API transformWithState in PySpark
- Coercizione del tipo restituito spark-52821 add int-DecimalType> pyspark udf
- SPARK-53112 Supporto di TIME nelle funzioni di make_timestamp_ntz e try_make_timestamp_ntz in PySpark
- SPARK-53319 Supportare il tipo tempo con try_make_timestamp_ltz()
- SPARK-53696 Impostazione predefinita a bytes per BinaryType in PySpark
- SPARK-55090 Implementare DataFrame.toJSON nel client Python
Ambiente di sistema
- Sistema operativo: Ubuntu 24.04.3 LTS
- python: 3.12.3
-
Databricks Connect: 18 (Databricks Connect viene aggiornato continuamente nella versione più recente dell'ambiente serverless. Eseguire
pip listper confermare la versione esatta nell'ambiente corrente. - Scala: 2.13.16
- JDK: 21
Librerie Python installate
Per riprodurre l'ambiente serverless 5 nell'ambiente virtuale Python locale, scaricare il file requirements-env-5.txt ed eseguire pip install -r requirements-env-5.txt. Questo comando installa tutte le librerie open source dall'ambiente serverless 5.
| Libreria | Versione | Libreria | Versione | Libreria | Versione |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| documento annotato | 0.0.4 | tipi annotati | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| freccia | 1.3.0 | asttoken | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | att. | 24.3.0 | comando automatico | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | Azure Storage Blob | 12.28.0 |
| file di archiviazione Azure Data Lake | 12.22.0 | Babele | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | nero | 24.10.0 | candeggiare | 6.2.0 |
| indicatore di direzione | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| cachetools (strumento per la gestione della cache) | 5.5.1 | certifi | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | normalizzatore di set di caratteri | 3.3.2 | fai clic | 8.1.8 |
| cloudpickle (libreria Python per la serializzazione degli oggetti) | 3.0.0 | comunicazione | 0.2.1 | contourpy | 1.3.1 |
| criptografia | 44.0.1 | ciclista | 0.11.0 | Cython, un linguaggio di programmazione | 3.1.5 |
| databricks-agents | 1.9.1 | databricks-connect | 18.0.5 | Databricks SDK | 0.67.0 |
| dataclasses-json | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| Decoratore | 5.1.1 | defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | distlib | 0.3.9 | Conversione da docstring a markdown | 0.11 |
| esecuzione | 1.2.0 | panoramica delle facette | 1.1.1 | fastapi | 0.128.0 |
| fastjsonschema (Una libreria per la convalida veloce dei dati JSON) | 2.21.1 | blocco dei file | 3.17.0 | fonttools (strumenti per caratteri) | 4.55.3 |
| fqdn (nome di dominio completo) | 1.5.1 | frozenlist | 1.5.0 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.28.1 |
| google-auth (autenticazione Google) | 2.47.0 | google-cloud-core | 2.5.0 | archiviazione su Google Cloud | 3.7.0 |
| google-crc32c | 1.8.0 | google-resumable-media (media riprendibile di Google) | 2.8.0 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.16.0 |
| hf-xet | 1.2.0 | httpcore | 1.0.9 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface_hub | 1.2.4 | IDNA | 3.7 |
| importlib_metadata | 8.5.0 | inflettere | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | isodate | 0.7.2 |
| isodurazione | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.2 |
| Jinja2 | 3.1.6 | jiter | 0.12.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.23.0 | jsonschema-specifications | 2023.7.1 |
| eventi-jupyter | 0.12.0 | jupyter-lsp | 2.2.5 | jupyter_client | 8.6.3 |
| jupyter_core | 5.7.2 | jupyter_server | 2.15.0 | terminali_del_server_Jupyter | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver | 1.4.8 | langchain-core | 1.2.6 |
| langchain-openai | 1.1.6 | langsmith | 0.6.1 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | litellm | 1.75.9 |
| markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 | zefiro | 3.26.2 |
| matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | mccabe | 0.7.0 |
| mdurl | 0.1.0 | Mistune | 3.1.2 | mlflow versione leggera | 3.8.1 |
| mmh3 | 5.2.0 | more-itertools | 10.3.0 | msal | 1.34.0 |
| msal-extensions | 1.3.1 | multidict | 6.1.0 | mypy-extensions | 1.0.0 |
| nbclient | 0.10.2 | nbconvert | 7.16.6 | nbformat | 5.10.4 |
| nest-asyncio | 1.6.0 | nodeenv | 1.10.0 | taccuino | 7.3.2 |
| notebook_shim | 0.2.4 | numpy | 2.1.3 | oauthlib | 3.2.2 |
| OpenAI | 2.14.0 | opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 |
| opentelemetry-sdk | 1.39.1 | Convenzioni Semanticche di OpenTelemetry | 0.60b1 | orjson | 3.11.5 |
| sostituisce | 7.4.0 | imballaggio | 24,2 | Panda | 2.2.3 |
| pandocfilters | 1.5.0 | parso | 0.8.4 | pathspec | 0.10.3 |
| vittima | 1.0.1 | pexpect | 4.8.0 | guanciale | 11.1.0 |
| seme | 25.0.1 | platformdirs | 4.3.7 | plotly (software di visualizzazione dati) | 5.24.1 |
| connettivita | 1.5.0 | prometheus_client | 0.21.1 | prompt-toolkit | 3.0.43 |
| propcache | 0.3.1 | proto-plus | 1.27.0 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.71 |
| pycparser (un parser scritto in Python) | 2.21 | pydantic | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes | 3.2.0 | Pygments | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing | 3.2.0 | pyright | 1.1.394 | piroaring | 1.0.3 |
| pytest | 8.3.5 | python-dateutil (libreria Python per la gestione delle date) | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger (registratore JSON per Python) | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.2 |
| pytoolconfig | 1.2.6 | pytz | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | Riferimento | 0.30.2 | regex | 2024.11.6 |
| richieste | 2.32.3 | requests-toolbelt | 1.0.0 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | ricco | 13.9.4 | corda | 1.13.0 |
| rpds-py | 0.22.3 | rsa | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn | 1.6.1 | scipy | 1.15.3 | Seaborn | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools (pacchetto Python per gestire la configurazione e la distribuzione) | 78.1.1 | "Shellingham" | 1.5.4 |
| sei | 1.17.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| contenitori ordinati | 2.4.0 | colino per la zuppa | 2.5 | sqlparse | 0.5.5 |
| ssh-import-id (comando per l'importazione di chiavi SSH) | 5.11 | dati accatastati | 0.6.3 | starlette | 0.50.0 |
| strictyaml | 1.7.3 | tenacità | 9.0.0 | finito | 0.17.1 |
| threadpoolctl | 3.5.0 | tiktoken | 0.12.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | tokenizzatori | 0.22.2 | tomli | 2.0.1 |
| tornado | 6.5.1 | tqdm | 4.67.1 | traitlets (una libreria per la configurazione dei parametri nei programmi Python) | 5.14.3 |
| typeguard | 4.3.0 | typer-slim | 0.21.1 | types-python-dateutil | 2.9.0.20251115 |
| ispezione di digitazione | 0.9.0 | typing_extensions | 4.12.2 | tzdata | 2024.1 |
| ujson (una libreria per la gestione di JSON in Python) | 5.10.0 | aggiornamenti non supervisionati | 0,1 | Modello URI | 1.3.0 |
| urllib3 | 2.3.0 | uuid_utils | 0.12.0 | uvicorn | 0.40.0 |
| virtualenv | 20.29.3 | wadllib | 1.3.6 | wcwidth (funzione per determinare la larghezza dei caratteri) | 0.2.5 |
| webcolors | 25.10.0 | codifiche web | 0.5.1 | cliente WebSocket | 1.8.0 |
| Che cosa è la patch | 1.0.2 | ruota | 0.45.1 | ogni volta | 0.7.3 |
| widgetsnbextension | 3.6.6 | rapito | 1.17.0 | yapf | 0.40.2 |
| yarl | 1.18.0 | Zipp | 3.21.0 | zstandard | 0.23.0 |
Librerie installate di Java e Scala (Scala 2.13)
| ID del Gruppo | ID dell'artefatto | Versione |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 18.0.0 |
| com.fasterxml.jackson.core | Annotazioni di Jackson | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | interpreter-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |