Compartir vía

Versión 4 del entorno sin servidor

En este artículo se describe la información del entorno del sistema para la versión 4 del entorno sin servidor.

Para garantizar la compatibilidad con la aplicación, las cargas de trabajo sin servidor usan una API con versiones, conocida como versión del entorno, que sigue siendo compatible con versiones más recientes del servidor.

Puede seleccionar la versión del entorno mediante el panel lateral Entorno en los cuadernos sin servidor. Consulte Selección de una versión del entorno.

Nuevas características y mejoras

Las siguientes características y mejoras nuevas están disponibles en el entorno sin servidor 4.

Compatibilidad de Spark ML con proceso sin servidor

El cómputo sin servidor ahora admite Spark ML en PySpark (pyspark.ml) y MLflow con Spark (mlflow.spark) en la versión 4 del entorno. Para el ajuste de hiperparámetros en el proceso sin servidor, Databricks recomienda usar Optuna y Joblib Spark.

Se aplican las siguientes limitaciones al ejecutar SparkML en proceso sin servidor:

  • El tamaño máximo del modelo es de 100 MB.
  • El tamaño total máximo de modelos en memoria por sesión es de 1 GB.
  • El entrenamiento del modelo de árbol se detiene temprano si el tamaño del modelo está a punto de superar los 100 MB.
  • No se admiten los siguientes modelos de SparkML:
    • DistributedLDAModel
    • FPGrowthModel

Las UDF de Python escalares ahora admiten credenciales de servicio

Las UDF escalares de Python pueden usar credenciales de servicio del catálogo de Unity para acceder de forma segura a servicios en la nube externos. Para obtener más información, consulte Credenciales de servicio en UDF escalares de Python.

PySpark y Spark Connect ahora admiten dataframes df.mergeInto API

PySpark y Spark Connect ahora admiten la df.mergeInto API, que anteriormente solo estaba disponible para Scala.

Actualizaciones de API

El entorno sin servidor 4 incluye las siguientes actualizaciones de API:

  • SPARK-50915 Agregar getCondition y dejar de usar getErrorClass en PySparkException
  • SPARK-50719 Compatibilidad con interruptOperation PySpark
  • SPARK-50718 Compatibilidad con addArtifact(s) PySpark
  • SPARK-49530 Compatibilidad con sublotes circulares en trazado de PySpark
  • SPARK-50357 API de soporte Interrupt(Tag|All) técnico para PySpark
  • SPARK-51178 Generar el error adecuado de PySpark en lugar de SparkConnectGrpcException
  • SPARK-51227 Corrección de PySpark Connect _minimum_grpc_version a la versión 1.67.0
  • SPARK-50778 Agregar metadataColumn a DataFrame de PySpark
  • SPARK-50311 API de soporte (add|remove|get|clear)Tag(s) técnico para PySpark
  • SPARK-50310 Adición de una marca para deshabilitar DataFrameQueryContext para PySpark
  • SPARK-50238 Agregar compatibilidad con variantes en UDF de PySpark/UDTFs/UDAFs y UDF de PYTHON
  • SPARK-50183 Unificar las funciones internas para la API de Pandas y el trazado de PySpark
  • SPARK-50170 Mover _invoke_internal_function_over_columns a pyspark.sql.utils
  • SPARK-50167 Mejora de los mensajes de error y las importaciones de trazado de PySpark
  • SPARK-48961 Hacer que la nomenclatura de parámetros sea PySparkException coherente con JVM
  • SPARK-49567 Uso clásico en lugar de vainilla desde la base de código pySpark
  • SPARK-48755transformWithState Compatibilidad y ValueState implementación base de PySpark
  • SPARK-48714 Implementación DataFrame.mergeInto en PySpark
  • SPARK-47365 Adición toArrow() del método DataFrame a PySpark
  • SPARK-48075 Comprobación de tipos para funciones avro de PySpark
  • SPARK-46984 Eliminar pyspark.copy_func
  • SPARK-46213 Introducción PySparkImportError al marco de error
  • SPARK-46226 Migración del resto RuntimeError al marco de errores de PySpark
  • SPARK-45450 Corrección de importaciones según PEP8: pyspark.pandas y pyspark (núcleo)

Entorno del sistema

  • Sistema operativo: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect se actualiza continuamente en la versión más reciente del entorno sin servidor. Ejecute pip list para confirmar la versión exacta en el entorno actual).
  • Scala: 2.13.16
  • JDK: 17

Bibliotecas de Python instaladas

Para reproducir el entorno sin servidor 4 en el entorno virtual local de Python, descargue el archivo requirements-env-4.txt y ejecute pip install -r requirements-env-4.txt. Este comando instala todas las bibliotecas de código abierto desde el entorno sin servidor 4.

Library Versión Library Versión Library Versión
tipos anotados 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flecha 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
autocomando 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 Babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 negro 24.10.0
blanquear 6.2.0 intermitente 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 certifi 2025.1.31
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
clic 8.1.7 cloudpickle 3.0.0 Comm 0.2.1
contourpy 1.3.1 criptografía 43.0.3 ciclista 0.11.0
Cython 3.0.12 databricks-connect 17.2.3 databricks-sdk 0.49.0
dbus-python 1.3.2 debugpy 1.8.11 decorador 5.1.1
defusedxml 0.7.1 Deprecated 1.2.13 distlib 0.3.9
docstring-to-markdown 0.11 Ejecutar 0.8.3 información general sobre facetas 1.1.1
fastapi 0.115.12 fastjsonschema 2.21.1 filelock 3.18.0
fonttools 4.55.3 Fqdn 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
idna 3.7 importlib-metadata 6.6.0 importlib_resources 6.4.0
declinar 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isoduration 20.11.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
Jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown:it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 Mal sintonizado 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 more-itertools 10.3.0 msal 1.32.3
msal-extensions 1.3.1 mypy-extensions 1.0.0 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numpy 2.1.3 oauthlib 3.2.2 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0,53b1 Reemplaza 7.4.0
embalaje 24.1 Pandas 2.2.3 PandocFiltros 1.5.0
parso 0.8.4 pathspec 0.10.3 chivo expiatorio 1.0.1
pexpect 4.8.0 almohada 11.1.0 pepita 25.0.1
platformdirs 3.10.0 trazado 5.24.1 pluggy 1.5.0
prometheus_client 0.21.0 prompt-toolkit 3.0.43 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow 19.0.1 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyspark 4.0.0+databricks.connect.17.2.3 pytest 8.3.5 Python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Referencia 0.30.2 requests 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rico 13.9.4
cuerda 1.12.0 rpds-py 0.22.3 RSA 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 scipy 1.15.1
biblioteca de visualización de datos de Python llamada seaborn 0.13.2 Send2Trash 1.8.2 setuptools 74.0.0
six (seis) 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 sopasieve 2,5 sqlparse 0.5.3
ssh-import-id 5,11 stack-data 0.2.0 starlette 0.46.2
statsmodels (paquete de Python para análisis estadístico) 0.14.4 strictyaml 1.7.3 tenacidad 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornado 6.4.2
traitlets 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
actualizaciones desatendidas 0.1 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolores 24.11.1 codificaciones web 0.5.1
websocket-client 1.8.0 whatthepatch 1.0.2 rueda 0.45.1
widgetsnbextension 3.6.6 envuelto 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)

Identificador de grupo Id. de artefacto Versión
com.databricks databricks-connect_2.13 17.2.0
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond interpreter-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond scala-interpreter_2.13.16 0.14.1-1
sh.almond scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on