Compartir a través de

Versión 5 del entorno sin servidor

En esta página se describe la información del entorno del sistema para la versión 5 del entorno sin servidor.

Para garantizar la compatibilidad de aplicaciones, las cargas de trabajo sin servidor usan una API con versiones, conocida como versión del entorno, que sigue siendo compatible con versiones más recientes sin servidor.

Para seleccionar un entorno base, use el selector entorno base en el panel lateral Entorno de los cuadernos sin servidor. Consulte Selección de un entorno base.

Nuevas características y mejoras

Las siguientes características y mejoras nuevas están disponibles en el entorno sin servidor 5.

Compatibilidad con MLflow 3.8.1

El entorno sin servidor 5 incluye MLflow 3.8.1, una actualización importante de MLflow 2.22.0 en la versión 4 del entorno. Esta actualización incluye numerosas características nuevas, mejoras y correcciones de errores. Para obtener una lista completa de los cambios, consulte las notas de la versión de MLflow.

Trabajos JAR sin servidor

Importante

Esta característica está en versión preliminar pública.

Ahora se admiten trabajos jar sin servidor en la versión 5 del entorno. Esta característica permite ejecutar aplicaciones basadas en JAR en la infraestructura de proceso sin servidor.

Optimización de flechas habilitada de forma predeterminada para UDF de Python

En la versión 5 del entorno, la optimización de flechas está habilitada de forma predeterminada para las UDF de Python, lo que mejora significativamente el rendimiento de la ejecución de UDF. Además, se ha mejorado la conversión del serializador de pandas basado en Arrow para aumentar la eficiencia.

Esto representa un cambio de comportamiento con respecto a versiones anteriores, donde la optimización de Arrow era opcional.

Cambios de comportamiento

Los siguientes cambios de comportamiento se presentan en el entorno sin servidor 5.

BinaryType se mapea de forma consistente a bytes de Python

En PySpark, BinaryType ahora se asigna de forma coherente a Python bytes. Anteriormente, PySpark asignaba BinaryType a bytes o bytearray según el contexto.

Para obtener más información, consulte SPARK-53696.

API de sockets a nivel de kernel de Linux para criptografía

A partir de la versión 5 del entorno, la API de socket criptográfico de nivel de kernel de Linux que funciona en cifrados no compatibles con FIPS puede producir errores de forma no determinista. No use esta API para las operaciones criptográficas que no son de cumplimiento de FIPS.

Actualizaciones de API

El entorno sin servidor 5 incluye las siguientes actualizaciones de API:

  • SPARK-53635 Compatibilidad con UDF de Scala con argumentos de entrada de tipo Seq[Row]
  • SPARK-54220 Compatibilidad con tipos NullType/VOID/UNKNOWN en Parquet
  • SPARK-54153 Compatibilidad con las UDF de Python basadas en iteradores de generación de perfiles
  • SPARK-54213 Eliminación de Python 3.9 de Spark Connect
  • SPARK-53977 Compatibilidad con el registro en UDTFs
  • SPARK-53976 Compatibilidad con el registro en UDF de Pandas/Arrow
  • SPARK-53573 Permitir literales de cadena coalescentes en cualquier parte
  • SPARK-54269 Actualización de cloudpickle a 3.1.2 para Python 3.14
  • SPARK-54287 Adición de compatibilidad con Python 3.14 en pyspark-client y pyspark-connect
  • SPARK-53614 Añadir soporte para Iterator[pandas.DataFrame] en applyInPandas
  • SPARK-53921 Introducción de GeometryType y GeographyType a pySpark API
  • SPARK-53920 Introducción de GeometryType y GeographyType a la API de Java
  • SPARK-53956 Soporte para TIME en la función try_make_timestamp en PySpark
  • SPARK-53930 Soporte de TIME en la función make_timestamp en PySpark
  • SPARK-531111 Implementación de la función time_diff en PySpark
  • SPARK-53877 Introducción de BITMAP_AND_AGG función
  • SPARK-53357 Actualización de Pandas a la versión 2.3.2
  • SPARK-52980 Compatibilidad con UDTFs de Python de Arrow
  • SPARK-52844 Actualización de numpy a 1.22
  • SPARK-50359 Actualización de PyArrow a la versión 18.0
  • SPARK-50564 Actualización del paquete protobuf de Python a la versión 5.29.1
  • SPARK-50601 Compatibilidad con withColumns / withColumnsRenamed en subconsultas
  • SPARK-51814 Introducción de una nueva transformación de APIWithState en PySpark
  • Añadir la coerción de tipo para el retorno udf de SPARK-52821 int-DecimalType en pyspark.
  • SPARK-53112 Soporte para TIME en las funciones make_timestamp_ntz y try_make_timestamp_ntz en PySpark
  • SPARK-53319 Soportar el tipo de tiempo mediante try_make_timestamp_ltz()
  • SPARK-53696 Valor predeterminado de bytes para BinaryType en PySpark
  • SPARK-55090 Implementación de DataFrame.toJSON en el cliente de Python

Entorno del sistema

  • Sistema operativo: Ubuntu 24.04.3 LTS
  • Python: 3.12.3
  • Databricks Connect: 18 (Databricks Connect se actualiza continuamente en la versión más reciente del entorno sin servidor. Ejecute pip list para confirmar la versión exacta en el entorno actual).
  • Scala: 2.13.16
  • JDK: 21

Bibliotecas de Python instaladas

Para reproducir el entorno sin servidor 5 en el entorno virtual local de Python, descargue el archivo requirements-env-5.txt y ejecute pip install -r requirements-env-5.txt. Este comando instala todas las bibliotecas de código abierto desde el entorno sin servidor 5.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
documento anotado 0.0.4 tipos anotados 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
flecha 1.3.0 "asttokens" 3.0.0 astunparse 1.6.3
async-lru 2.0.4 atributos 24.3.0 comando automático 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.28.0
Servicio de Azure Storage File Data Lake 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 negro 24.10.0 blanquear 6.2.0
intermitente 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools 5.5.1 certifi 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 Haz clic 8.1.8
cloudpickle 3.0.0 Comunicación 0.2.1 contourpy 1.3.1
criptografía 44.0.1 ciclista 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 databricks-connect 18.0.5 SDK de Databricks 0.67.0
dataclasses-json 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
decorator 5.1.1 defusedxml 0.7.1 deltalake 1.1.4
Deprecated 1.2.18 distlib 0.3.9 Conversión de docstring a markdown 0.11
executing 1.2.0 visión general de las facetas 1.1.1 fastapi 0.128.0
fastjsonschema 2.21.1 bloqueo de archivos 3.17.0 fonttools 4.55.3
fqdn 1.5.1 frozenlist 1.5.0 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.28.1
google-auth 2.47.0 google-cloud-core 2.5.0 Google Cloud Storage (almacenamiento en la nube de Google) 3.7.0
google-crc32c 1.8.0 google-resumable-media (medios reanudables de Google) 2.8.0 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.16.0
hf-xet 1.2.0 httpcore 1.0.9 httplib2 0.20.4
httpx 0.28.1 huggingface_hub 1.2.4 idna 3.7
importlib_metadata 8.5.0 inflect 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.7.2
isoduration 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.6 jiter 0.12.0 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.23.0 jsonschema-specifications 2023.7.1
jupyter_events 0.12.0 jupyter-lsp 2.2.5 jupyter_client 8.6.3
jupyter_core 5.7.2 jupyter_server 2.15.0 jupyter_server_terminals 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server (servidor de JupyterLab) 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-core 1.2.6
langchain-openai 1.1.6 langsmith 0.6.1 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 litellm 1.75.9
markdown-it-py 2.2.0 MarkupSafe 3.0.2 malvavisco 3.26.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 mistune 3.1.2 mlflow-skinny 3.8.1
mmh3 5.2.0 more-itertools 10.3.0 msal 1.34.0
msal-extensions 1.3.1 Multidic 6.1.0 mypy-extensions 1.0.0
nbclient 0.10.2 nbconvert 7.16.6 nbformat 5.10.4
nest-asyncio 1.6.0 nodeenv 1.10.0 notebook 7.3.2
notebook_shim 0.2.4 numpy 2.1.3 oauthlib 3.2.2
openai 2.14.0 opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1
opentelemetry-sdk 1.39.1 convenciones-semánticas-de-opentelemetry 0.60b1 orjson 3.11.5
Reemplaza 7.4.0 empaquetado 24,2 Pandas 2.2.3
pandocfilters 1.5.0 parso 0.8.4 pathspec 0.10.3
chivo expiatorio 1.0.1 pexpect 4.8.0 almohada 11.1.0
pip 25.0.1 platformdirs 4.3.7 plotly 5.24.1
pluggy 1.5.0 prometheus_client 0.21.1 prompt-toolkit 3.0.43
propcache 0.3.1 proto-plus 1.27.0 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
pure-eval 0.2.2 py4j 0.10.9.9 pyarrow 21.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.71
pycparser 2.21 pydantic (una biblioteca de validación de datos en Python) 2.10.6 pydantic_core 2.27.2
pyflakes 3.2.0 Pygments 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing 3.2.0 pyright 1.1.394 piroaring 1.0.3
pytest 8.3.5 Python-dateutil 2.9.0.post0 python-dotenv 1.2.1
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-servidor 1.12.2
configuración de herramienta Python 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 referencing 0.30.2 regex 2024.11.6
solicitudes 2.32.3 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 rico 13.9.4 cuerda 1.13.0
rpds-py 0.22.3 rsa 4.9.1 s3transfer 0.14.0
scikit-learn 1.6.1 scipy 1.15.3 biblioteca de visualización de datos de Python llamada seaborn 0.13.2
Send2Trash 1.8.2 setuptools 78.1.1 Shellingham 1.5.4
seis 1.17.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2,5 sqlparse 0.5.5
ssh-import-id 5.11 stack-data 0.6.3 Starlette 0.50.0
strictyaml 1.7.3 tenacidad 9.0.0 terminado 0.17.1
threadpoolctl 3.5.0 tiktoken 0.12.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tokenizers 0.22.2 tomli 2.0.1
tornado 6.5.1 tqdm 4.67.1 traitlets 5.14.3
typeguard 4.3.0 typer-slim 0.21.1 types-python-dateutil 2.9.0.20251115
inspección de escritura 0.9.0 typing_extensions 4.12.2 tzdata 2024.1
ujson 5.10.0 unattended-upgrades 0,1 uri-template 1.3.0
urllib3 2.3.0 uuid_utils 0.12.0 uvicorn 0.40.0
virtualenv 20.29.3 wadllib 1.3.6 wcwidth 0.2.5
webcolores 25.10.0 codificaciones web 0.5.1 cliente de websocket 1.8.0
¿Qué es el parche? 1.0.2 rueda 0.45.1 cuando quiera 0.7.3
widgetsnbextension 3.6.6 envuelto 1.17.0 yapf 0.40.2
yarl 1.18.0 zipp 3.21.0 zstandard 0.23.0

Bibliotecas de Java y Scala instaladas (Scala 2.13)

Identificador de grupo Id. de artefacto Versión
com.databricks databricks-connect_2.13 18.0.0
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond interpreter-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond scala-interpreter_2.13.16 0.14.1-1
sh.almond scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on