Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Este artículo describe la información sobre el entorno del sistema correspondiente a la versión 3 del entorno.
Para garantizar la compatibilidad con la aplicación, las cargas de trabajo sin servidor usan una API con versiones, conocida como versión del entorno, que sigue siendo compatible con versiones más recientes del servidor.
Puede seleccionar un entorno base que incluya esta versión del entorno mediante el panel lateral Entorno en los cuadernos sin servidor. Consulte Selección de un entorno base.
Nuevas características y mejoras
Las siguientes nuevas características y mejoras están disponibles en la versión 3 del entorno.
Actualizaciones de API
18 de agosto de 2025
Las UDF de Python escalares ahora admiten credenciales de servicio
Las UDF escalares de Python pueden usar credenciales de servicio del catálogo de Unity para acceder de forma segura a servicios en la nube externos. Para obtener más información, consulte Credenciales de servicio en UDF escalares de Python.
13 de junio de 2025
La versión 3 del entorno incluye las siguientes actualizaciones de la API:
- Se ha añadido soporte de API de pushdown de filtro a fuentes de datos Python. Consulte Añadir soporte de API de pushdown de filtro a fuentes de datos Python.
- La traza de UDF de Python ahora incluye trazas del controlador y del ejecutor, junto con trazas de cliente. Consulte Mejoras en el rastreo de UDF de Python.
- Nuevas funciones
listaggystring_aggagregan valoresSTRINGyBINARYen un grupo. Consulte nuevas funcioneslistaggystring_agg. -
variant_getyget_json_objectahora consideran los espacios iniciales en rutas de acceso en Apache Spark. Consulte variant_get y get_json_object ahora consideran los espacios iniciales en las rutas de acceso en Apache Spark. - SPARK-51079 Compatibilidad con tipos de variables grandes en UDF de Pandas, createDataFrame y toPandas con Arrow.
-
SPARK-51186 Agregue
StreamingPythonRunnerInitializationExceptiona la excepción base de PySpark. -
SPARK-51112 Evite usar
to_pandasde pyarrow en una tabla vacía. -
SPARK-51506 [PYTHON][ss] No exigir a los usuarios que implementen close() en
TransformWithStateInPandas -
SPARK-51425 [Connect] Adición de la API de cliente para establecer la personalizada
operation_id - SPARK-51206 [PYTHON][connect] Mover funciones auxiliares de conversión de Arrow fuera de Spark Connect
Databricks Connect actualizado a la versión 16.3
13 de junio de 2025
Aproveche las características y mejoras que están disponibles en Databricks Connect para Databricks Runtime 16.3. Consulte Databricks Connect para Databricks Runtime 16.3.
Mejora en el resaltado de errores de sintaxis en Python
13 de junio de 2025
El resaltado de errores de sintaxis de Python verá las siguientes mejoras:
- Mayor latencia en la gestión de errores.
- Soporte para resaltar errores de tipo Python.
- Capacidad de configuración de Linter mediante archivos
pyproject.toml.
Consulte Resaltado de errores de Python.
Compatibilidad con la CLI de Git en el terminal web y el cuaderno
13 de junio de 2025
Ahora puede usar la CLI de Git en un cuaderno sin servidor y el terminal web del cuaderno sin servidor.
Cambio de comportamiento con respecto a las versiones de entorno en conflicto
13 de junio de 2025
En los casos en que una versión del entorno se declara tanto en la selección de entorno base del cuaderno como en un archivo de entorno base personalizado, la versión del archivo de entorno base tiene prioridad, salvo que ambas versiones declaradas estén bajo la versión 3, en cuyo caso se utiliza la versión del cuaderno.
Por ejemplo:
- Si el cuaderno usa v1 y el entorno base usa v3, la carga de trabajo usará v3.
- Si el cuaderno usa v1 y el entorno base usa v2, la carga de trabajo usará v1.
- Si el cuaderno usa v3 y el entorno base usa v1, la carga de trabajo usará v1.
- Si el cuaderno usa v2 y el entorno base usa v1, la carga de trabajo usará v2.
Entorno del sistema
- sistema operativo: Ubuntu 24.04.2 LTS
- Python: 3.12.3
- Databricks Connect: 16.4.19
Bibliotecas de Python instaladas
Para reproducir la versión 3 del entorno en tu entorno virtual local Python, descarga el archivorequirements-env-3.txt y ejecuta pip install -r requirements-env-3.txt. Este comando instala todas las librerías de la versión 3 del entorno.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.2.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | azure-core | 1.33.0 | azure-storage-blob | 12.23.0 |
| azure-storage-file-datalake | 12.17.0 | black | 24.4.2 | boto3 | 1.34.69 |
| botocore | 1.34.69 | cachetools | 5.3.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.1.7 | cloudpickle | 3.0.0 | comm | 0.2.1 |
| contourpy | 1.2.0 | cryptography | 42.0.5 | cycler | 0.11.0 |
| Cython | 3.0.11 | databricks-connect | 16.4.19 | databricks-sdk | 0.49.0 |
| debugpy | 1.6.7 | decorator | 5.1.1 | Deprecated | 1.2.18 |
| dill | 0.3.8 | executing | 0.8.3 | facets-overview | 1.1.1 |
| fastapi | 0.115.12 | fonttools | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.38.0 |
| google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 | google-crc32c | 1.7.1 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.69.2 | grpcio | 1.71.0 |
| grpcio-status | 1.71.0 | h11 | 0.14.0 | idna | 3.7 |
| importlib-metadata | 7.0.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.206 |
| ipykernel | 6.29.5 | ipython | 8.32.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.7.2 | jedi | 0.19.1 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mlflow-skinny | 2.21.3 | mypy-extensions | 1.0.0 |
| nest-asyncio | 1.6.0 | numpy | 1.26.4 | opentelemetry-api | 1.31.1 |
| opentelemetry-sdk | 1.31.1 | opentelemetry-semantic-conventions | 0.52b1 | packaging | 24.1 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.6 | pexpect | 4.8.0 | pillow | 10.3.0 |
| pip | 25.0.1 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.5.0 | prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 |
| protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.9 |
| pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.68 | pycparser | 2.21 | pydantic | 2.8.2 |
| pydantic_core | 2.20.1 | Pygments | 2.15.1 | pyodbc | 5.0.1 |
| pyparsing | 3.0.9 | pytest | 8.3.0 | python-dateutil | 2.9.0.post0 |
| python-lsp-jsonrpc | 1.1.2 | pytz | 2024.1 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | requests | 2.32.2 | rsa | 4.9 |
| s3transfer | 0.10.4 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sqlparse | 0.5.3 | stack-data | 0.2.0 | starlette | 0.46.1 |
| statsmodels | 0.14.2 | tenacity | 8.2.2 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tornado | 6.4.1 | traitlets | 5.14.3 |
| typing_extensions | 4.11.0 | tzdata | 2024.1 | ujson | 5.10.0 |
| urllib3 | 2.2.2 | uvicorn | 0.34.0 | wcwidth | 0.2.5 |
| wrapt | 1.14.1 | zipp | 3.17.0 | zstandard | 0.23.0 |