Compartir vía

Versión 4 del entorno sin servidor

En este artículo se describe la información del entorno del sistema para la versión 4 del entorno sin servidor.

Para garantizar la compatibilidad con la aplicación, las cargas de trabajo sin servidor usan una API con versiones, conocida como versión del entorno, que sigue siendo compatible con versiones más recientes del servidor.

Puede seleccionar un entorno base que incluya esta versión del entorno mediante el panel lateral Entorno en los cuadernos sin servidor. Consulte Selección de un entorno base.

Nuevas características y mejoras

Las siguientes características y mejoras nuevas están disponibles en el entorno sin servidor 4.

Compatibilidad de Spark ML con proceso sin servidor

El cómputo sin servidor ahora admite Spark ML en PySpark (pyspark.ml) y MLflow con Spark (mlflow.spark) en la versión 4 del entorno. Para el ajuste de hiperparámetros en el proceso sin servidor, Databricks recomienda usar Optuna y Joblib Spark.

Se aplican las siguientes limitaciones al ejecutar SparkML en proceso sin servidor:

  • El tamaño máximo del modelo es de 100 MB.
  • El tamaño total máximo de modelos en memoria por sesión es de 1 GB.
  • El entrenamiento del modelo de árbol se detiene temprano si el tamaño del modelo está a punto de superar los 100 MB.
  • No se admiten los siguientes modelos de SparkML:
    • DistributedLDAModel
    • FPGrowthModel

Las UDF de Python escalares ahora admiten credenciales de servicio

Las UDF escalares de Python pueden usar credenciales de servicio del catálogo de Unity para acceder de forma segura a servicios en la nube externos. Para obtener más información, consulte Credenciales de servicio en UDF escalares de Python.

PySpark y Spark Connect ahora admiten dataframes df.mergeInto API

PySpark y Spark Connect ahora admiten la df.mergeInto API, que anteriormente solo estaba disponible para Scala.

Actualizaciones de API

El entorno sin servidor 4 incluye las siguientes actualizaciones de API:

  • SPARK-50915 Agregar getCondition y dejar de usar getErrorClass en PySparkException
  • SPARK-50719 Compatibilidad con interruptOperation PySpark
  • SPARK-50718 Compatibilidad con addArtifact(s) PySpark
  • SPARK-49530 Admite subgráficas de sectores en los gráficos de PySpark
  • SPARK-50357 Soporte para APIs Interrupt(Tag|All) de PySpark
  • SPARK-51178 Generar el error adecuado de PySpark en lugar de SparkConnectGrpcException
  • SPARK-51227 Corrección de PySpark Connect _minimum_grpc_version a la versión 1.67.0
  • SPARK-50778 Agregar metadataColumn al DataFrame de PySpark
  • SPARK-50311 Soporte para APIs de PySpark
  • SPARK-50310 Adición de una marca para deshabilitar DataFrameQueryContext para PySpark
  • SPARK-50238 Agregar compatibilidad con variantes en UDFs de PySpark/UDTFs/UDAFs y UDFs de Python
  • SPARK-50183 Unificar las funciones internas para la API de Pandas y el trazado de PySpark
  • SPARK-50170 Mover _invoke_internal_function_over_columns a pyspark.sql.utils
  • SPARK-50167 Mejora de los mensajes de error y las importaciones de gráficos de PySpark
  • SPARK-48961 Hacer que la nomenclatura de parámetros sea PySparkException coherente con JVM
  • SPARK-49567 Uso clásico en lugar de vainilla desde la base de código pySpark
  • SPARK-48755transformWithState Compatibilidad y ValueState implementación base de PySpark
  • SPARK-48714 Implementación DataFrame.mergeInto en PySpark
  • SPARK-47365 Adición toArrow() del método DataFrame a PySpark
  • SPARK-48075 Comprobación de tipos para funciones avro de PySpark
  • SPARK-46984 Eliminar pyspark.copy_func
  • SPARK-46213 Introducción PySparkImportError al sistema de gestión de errores
  • SPARK-46226 Migración del resto RuntimeError al marco de errores de PySpark
  • SPARK-45450 Corrección de importaciones según PEP8: pyspark.pandas y pyspark (núcleo)

Entorno del sistema

  • Sistema operativo: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect se actualiza continuamente en la versión más reciente del entorno sin servidor. Ejecute pip list para confirmar la versión exacta en el entorno actual).
  • Scala: 2.13.16
  • JDK: 17

Bibliotecas de Python instaladas

Para reproducir el entorno sin servidor 4 en el entorno virtual local de Python, descargue el archivo requirements-env-4.txt y ejecute pip install -r requirements-env-4.txt. Este comando instala todas las bibliotecas de código abierto desde el entorno sin servidor 4.

Library Versión Library Versión Library Versión
tipos con anotaciones 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flecha 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 atributos 24.3.0
autocomando 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake (servicio para el almacenamiento de archivos en un lago de datos) 12.17.0 Babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 negro 24.10.0
blanquear 6.2.0 intermitente 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 certifi 2025.1.31
cffi 1.17.1 chardet 4.0.0 normalizador de conjuntos de caracteres 3.3.2
clic 8.1.7 cloudpickle 3.0.0 Comunicación 0.2.1
contourpy 1.3.1 criptografía 43.0.3 ciclista 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-sdk (kit de desarrollo de software de Databricks) 0.49.0
dbus-python 1.3.2 debugpy 1.8.11 decorador 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 Ejecutar 0.8.3 Información general sobre facetas 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 bloqueo de archivo 3.18.0
fonttools 4.55.3 FQDN 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
idna 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
flexionar 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isoduration 20.11.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
Jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 Mal sintonizado 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal 1.32.3
msal-extensions 1.3.1 mypy-extensions 1.0.0 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numpy 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0,53b1 Anula 7.4.0
embalaje 24.1 Pandas 2.2.3 PandocFiltros 1.5.0
parso 0.8.4 especificación de ruta (pathspec) 0.10.3 chivo expiatorio 1.0.1
pexpect 4.8.0 almohada 11.1.0 pepita 25.0.1
platformdirs 3.10.0 trazado 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 prompt-toolkit 3.0.43 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow 19.0.1 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Referencia 0.30.2 solicitudes 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rico 13.9.4
cuerda 1.12.0 rpds-py 0.22.3 RSA 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 scipy 1.15.1
biblioteca de visualización de datos de Python llamada seaborn 0.13.2 Send2Trash 1.8.2 setuptools 74.0.0
seis 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 sopasieve 2,5 sqlparse 0.5.3
ssh-import-id 5,11 datos en pila 0.2.0 starlette 0.46.2
statsmodels (paquete de Python para análisis estadístico) 0.14.4 strictyaml 1.7.3 tenacidad 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornado 6.4.2
traitlets 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
actualizaciones desatendidas 0.1 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolores 24.11.1 codificaciones web 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 rueda 0.45.1
widgetsnbextension 3.6.6 envuelto 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Bibliotecas de Java y Scala instaladas (Scala 2.13)

Identificador de grupo Id. de artefacto Versión
com.databricks databricks-connect_2.13 17.2.0
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond interpreter-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond scala-interpreter_2.13.16 0.14.1-1
sh.almond scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on