Versión 4 del entorno

Este artículo describe la información del entorno del sistema para la versión 4 del entorno.

Para garantizar la compatibilidad con la aplicación, las cargas de trabajo sin servidor usan una API con versiones, conocida como versión del entorno, que sigue siendo compatible con versiones más recientes del servidor.

Puede seleccionar un entorno base que incluya esta versión del entorno mediante el panel lateral Entorno en los cuadernos sin servidor. Consulte Selección de un entorno base.

Nuevas características y mejoras

Las siguientes nuevas características y mejoras están disponibles en la versión 4 del entorno.

Compatibilidad de Spark ML con proceso sin servidor

El cómputo sin servidor ahora admite Spark ML en PySpark (pyspark.ml) y MLflow con Spark (mlflow.spark) en la versión 4 del entorno. Para el ajuste de hiperparámetros en el proceso sin servidor, Databricks recomienda usar Optuna y Joblib Spark.

Se aplican las siguientes limitaciones al ejecutar SparkML en proceso sin servidor:

  • El tamaño máximo del modelo es de 100 MB.
  • El tamaño total máximo de modelos en memoria por sesión es de 1 GB.
  • El entrenamiento del modelo de árbol se detiene temprano si el tamaño del modelo está a punto de superar los 100 MB.
  • No se admiten los siguientes modelos de SparkML:
    • DistributedLDAModel
    • FPGrowthModel

UDF de Scala y Java en el catálogo de Unity

La versión 4 del entorno sin servidor admite Scala y Java funciones definidas por el usuario (UDF) en el catálogo de Unity. Puede crear, registrar y compartir funciones personalizadas de Scala y Java en entornos de proceso con la gobernanza del catálogo de Unity. En el caso de las UDF de Scala en el catálogo de Unity, solo se admite la versión 2.13.16 de Scala. Las UDF de Scala y Java en el catálogo de Unity requieren JDK 17.

Para obtener más información, consulte Scala y Java funciones definidas por el usuario (UDF) en el catálogo de Unity.

Las UDF de Python escalares ahora admiten credenciales de servicio

Las UDF escalares de Python pueden usar credenciales de servicio del catálogo de Unity para acceder de forma segura a servicios en la nube externos. Para obtener más información, consulte Credenciales de servicio en UDF escalares de Python.

PySpark y Spark Connect ahora admiten dataframes df.mergeInto API

PySpark y Spark Connect ahora admiten la df.mergeInto API, que anteriormente solo estaba disponible para Scala.

Actualizaciones de API

La versión 4 del entorno incluye las siguientes actualizaciones de la API:

  • SPARK-50915 Agregar getCondition y dejar de usar getErrorClass en PySparkException
  • SPARK-50719 Compatibilidad con interruptOperation PySpark
  • SPARK-50718 Compatibilidad con addArtifact(s) PySpark
  • SPARK-49530 Compatibilidad con subgráficos circulares en la representación gráfica con PySpark
  • SPARK-50357 Soporte para APIs Interrupt(Tag|All) de PySpark
  • SPARK-51178 Generar el error adecuado de PySpark en lugar de SparkConnectGrpcException
  • SPARK-51227 Corrección de PySpark Connect _minimum_grpc_version a la versión 1.67.0
  • SPARK-50778 Agregar metadataColumn al DataFrame de PySpark
  • SPARK-50311 Soporte para APIs de PySpark
  • SPARK-50310 Adición de una marca para deshabilitar DataFrameQueryContext para PySpark
  • SPARK-50238 Agregar compatibilidad con variantes en UDFs/UDTFs/UDAFs de PySpark y UDF de Python
  • SPARK-50183 Unificar las funciones internas para la API de Pandas y el trazado de PySpark
  • SPARK-50170 Mover _invoke_internal_function_over_columns a pyspark.sql.utils
  • SPARK-50167 Mejora de los mensajes de error y las importaciones de gráficos de PySpark
  • SPARK-48961 Hacer que la nomenclatura de parámetros sea PySparkException coherente con JVM
  • SPARK-49567 Uso clásico en lugar de vainilla desde la base de código PySpark
  • SPARK-48755transformWithState Compatibilidad y ValueState implementación base de PySpark
  • SPARK-48714 Implementación DataFrame.mergeInto en PySpark
  • SPARK-47365 Adición toArrow() del método DataFrame a PySpark
  • SPARK-48075 Comprobación de tipos para funciones avro de PySpark
  • SPARK-46984 Eliminar pyspark.copy_func
  • SPARK-46213 Introducir PySparkImportError en el marco de errores
  • SPARK-46226 Migración del resto RuntimeError al marco de errores de PySpark
  • SPARK-45450 Corrección de importaciones según PEP8: pyspark.pandas y pyspark (núcleo)

Entorno del sistema

  • Sistema operativo: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 17 (Databricks Connect se actualiza continuamente en la última versión del entorno. Corre pip list para confirmar la versión exacta en tu entorno actual.)
  • Scala: 2.13.16
  • JDK: 17

Bibliotecas de Python instaladas

Para reproducir la versión 4 del entorno en tu entorno virtual Python local, descarga el archivorequirements-env-4.txt y ejecuta pip install -r requirements-env-4.txt. Este comando instala todas las librerías de la versión 4 del entorno.

Library Versión Library Versión Library Versión
tipos con anotaciones 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flecha 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
azure-common 1.1.28 azure-core 1.34.0 azure-identity 1.20.0
azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.23.0
azure-storage-file-datalake (servicio para el almacenamiento de archivos en un lago de datos) 12.17.0 Babel 2.16.0 beautifulsoup4 4.12.3
negro 24.10.0 bleach 6.2.0 boto3 1.36.2
botocore 1.36.3 cachetools 5.5.1 certifi 2025.1.31
cffi 1.17.1 chardet 4.0.0 normalizador de conjuntos de caracteres 3.3.2
clic 8.1.7 cloudpickle 3.0.0 Comunicación 0.2.1
contourpy 1.3.1 criptografía 43.0.3 ciclista 0.11.0
Cython 3.0.12 databricks-connect 17.3.12 databricks-sdk (kit de desarrollo de software de Databricks) 0.49.0
debugpy 1.8.11 decorador 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 docstring-to-markdown 0.11 executing 0.8.3
Información general sobre facetas 1.1.1 fastapi 0.115.12 fastjsonschema 2.21.1
fonttools 4.55.3 FQDN 1.5.1 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.20.0
google-auth 2.40.0 google-cloud-core 2.4.3 google-cloud-storage 3.1.0
google-crc32c 1.7.1 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.14.0
httpcore 1.0.2 httpx 0.27.0 idna 3.7
importlib-metadata 6.6.0 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.6.1 isoduration 20.11.0
Jedi 0.19.2 Jinja2 3.1.5 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023.7.1 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
kiwisolver 1.4.8 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 mistune 2.0.4 mlflow-skinny 2.22.0
mmh3 5.1.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.8.0 nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 notebook_shim 0.2.3 numpy 2.1.3
opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0,53b1
overrides 7.4.0 embalaje 24.1 Pandas 2.2.3
pandocfilters 1.5.0 parso 0.8.4 especificación de ruta (pathspec) 0.10.3
patsy 1.0.1 pexpect 4.8.0 almohada 11.1.0
pip 25.0.1 platformdirs 3.10.0 plotly 5.24.1
pluggy 1.5.0 prometheus_client 0.21.0 prompt-toolkit 3.0.43
proto-plus 1.26.1 protobuf 5.29.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py4j 0.10.9.9 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.71 pycparser 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 pyiceberg 0.9.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pytest 8.3.5 python-dateutil 2.9.0.post0 python-json-logger 3.2.1
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.2 pyzmq 26.2.0
Referencia 0.30.2 solicitudes 2.32.3 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 rico 13.9.4 cuerda 1.12.0
rpds-py 0.22.3 RSA 4.9.1 s3transfer 0.11.3
scikit-learn 1.6.1 scipy 1.15.1 biblioteca de visualización de datos de Python llamada seaborn 0.13.2
Send2Trash 1.8.2 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2,5 sqlparse 0.5.3
stack-data 0.2.0 starlette 0.46.2 statsmodels (paquete de Python para análisis estadístico) 0.14.4
strictyaml 1.7.3 tenacidad 9.0.0 terminado 0.17.1
threadpoolctl 3.5.0 tinycss2 1.4.0 tokenize_rt 6.1.0
tomli 2.0.1 tornado 6.4.2 traitlets 5.14.3
types-python-dateutil 2.9.0.20241206 typing_extensions 4.12.2 tzdata 2024.1
ujson 5.10.0 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 wcwidth 0.2.5 webcolores 24.11.1
codificaciones web 0.5.1 websocket-client 1.8.0 whatthepatch 1.0.2
widgetsnbextension 3.6.6 wrapt 1.17.0 yapf 0.40.2
zipp 3.21.0 zstandard 0.23.0

Bibliotecas de Java y Scala instaladas (Scala 2.13)

Identificador de grupo Id. de artefacto Versión
com.databricks databricks-connect_2.13 17.3.1
com.databricks databricks-dbutils-scala_2.13 0.1.4
com.databricks databricks-sdk-java 0.52.0
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.2
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value auto-value-annotations 1.10.4
com.google.code.gson gson 2.10.1
com.google.errorprone error_prone_annotations 2.18.0
com.google.guava failureaccess 1.0.1
com.google.guava guava 32.0.1-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 2.8
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.8
com.lihaoyi ammonite-compiler_2.13.16 3.0.8
com.lihaoyi ammonite-interp-api_2.13.16 3.0.8
com.lihaoyi ammonite-interp_2.13.16 3.0.8
com.lihaoyi ammonite-repl-api_2.13.16 3.0.8
com.lihaoyi ammonite-repl_2.13.16 3.0.8
com.lihaoyi ammonite-runtime_2.13.16 3.0.8
com.lihaoyi ammonite-terminal_2.13 3.0.8
com.lihaoyi ammonite-util_2.13 3.0.8
com.lihaoyi fansi_2.13 0.5.1
com.lihaoyi mainargs_2.13 0.7.6
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
com.lihaoyi scalatags_2.13 0.13.1
com.thesamet.scalapb lenses_2.13 0.11.15
com.thesamet.scalapb scalapb-runtime_2.13 0.11.15
com.thoughtworks.paranamer paranamer 2.8
commons-codec commons-codec 1.11
commons-io commons-io 2.14.0
commons-logging commons-logging 1.3.2
io.github.java-diff-utils java-diff-utils 4.15
io.grpc grpc-context 1.27.2
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-lang3 3.14.0
org.apache.commons commons-text 1.12.0
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j-impl 2.24.3
org.checkerframework checker-qual 3.33.0
org.jline jline 3.27.1
org.jline jline-reader 3.14.1
org.jline jline-terminal 3.14.1
org.json json 20240303
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang scalap_2.13 2.13.13
org.scala-lang.modules scala-collection-compat_2.13 2.13.0
org.scala-lang.modules scala-java8-compat_2.13 1.0.2
org.scalameta io_2.13 4.13.10
org.scalameta mtags-interfaces 1.6.3
org.scalameta mtags-shared_2.13.16 1.6.3
org.scalameta mtags_2.13.16 1.6.3
org.scalameta parsers_2.13 4.13.10
org.scalameta scalameta_2.13 4.13.10
org.scalameta semanticdb-scalac-core_2.13.16 4.13.10
org.scalameta trees_2.13 4.13.10
org.slf4j slf4j-api 2.0.10
org.slf4j slf4j-nop 1.7.36
sh.almond channels_2.13 0.14.5
sh.almond coursier-logger_2.13 0.14.5
sh.almond interpreter-api_2.13 0.14.5
sh.almond interpreter_2.13 0.14.5
sh.almond jupyter-api_2.13 0.14.5
sh.almond kernel_2.13 0.14.5
sh.almond logger-scala2-macros_2.13 0.14.5
sh.almond logger_2.13 0.14.5
sh.almond protocol_2.13 0.14.5
sh.almond scala-interpreter_2.13.16 0.14.5
sh.almond scala-kernel-api_2.13.16 0.14.5
sh.almond scala-kernel_2.13.16 0.14.5
sh.almond shared-directives_2.13 0.14.5
sh.almond toree-hooks_2.13 0.14.5
  • Last updated on