Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье изложена информация о системной среде для окружающей среды версии 3.
Чтобы обеспечить совместимость для приложения, бессерверные процессы используют версию API, известную как версия среды, которая остается совместимой с более новыми версиями сервера.
Вы можете выбрать базовую среду, включающую эту версию, с помощью боковой панели Среда в ваших бессерверных записных книжках. См. раздел "Выбор базовой среды".
Новые функции и улучшения
В версии 3 среды доступны следующие новые функции и улучшения.
Обновления API
18 августа 2025 г.
Скалярные пользовательские функции Python теперь поддерживают учетные данные службы
Скалярные пользовательские функции Python могут использовать учетные данные службы Unity Catalog для безопасного доступа к внешним облачным службам. Более подробную информацию см. в статье "Учетные данные службы в скалярных пользовательских функциях Python".
13 июня 2025 г.
Версия среды 3 включает следующие обновления API:
- Добавлена поддержка API для фильтрации pushdown в источниках данных Python. См. Добавление поддержки API фильтрации с использованием метода pushdown в источниках данных на Python.
- Функция трассировки UDF Python теперь включает кадры из драйвера и исполнителя, а также клиентские кадры. См. улучшение трассировки UDF Python.
- Новые функции
listaggиstring_aggагрегируютSTRINGиBINARYзначения в группе. См. новыеlistaggиstring_aggфункции. -
variant_getиget_json_objectтеперь учитывают ведущие пробелы в путях в Apache Spark. См. теперь variant_get и get_json_object учитывают ведущие пробелы в путях в Apache Spark. - SPARK-51079 Поддержка больших типов переменных в UDF pandas, createDataFrame и toPandas с помощью Arrow.
-
SPARK-51186 Добавьте
StreamingPythonRunnerInitializationExceptionв базовое исключение PySpark. -
SPARK-51112 Избегайте использования pyarrow в
to_pandasпустой таблице. - SPARK-51506 [PYTHON][ss] Не заставляйте пользователей реализовывать close() в
-
SPARK-51425 [Connect] Добавление клиентского API для настройки пользовательского
operation_id - SPARK-51206 [PYTHON][connect] Вынести вспомогательные функции преобразования Arrow из Spark Connect
Databricks Connect обновлено до 16.3
13 июня 2025 г.
Используйте функции и улучшения, доступные в Databricks Connect для Databricks Runtime 16.3. См. Databricks Connect для Databricks Runtime 16.3.
Улучшенная подсветка ошибок синтаксиса Python
13 июня 2025 г.
При обнаружении синтаксических ошибок в Python будут применены следующие улучшения:
- Быстрая обработка задержек при обработке ошибок.
- Поддержка выделения ошибок типов данных в Python.
- Настройка Linter с помощью
pyproject.tomlфайлов.
Поддержка интерфейса командной строки Git в веб-терминале и записной книжке
13 июня 2025 г.
Теперь вы можете использовать интерфейс командной строки Git в бессерверной записной книжке и веб-терминале бессерверной записной книжки.
Изменение поведения в отношении конфликтующих версий среды
13 июня 2025 г.
В случаях, когда версия среды объявлена как в выборе базовой среды блокнота, так и в пользовательском файле базовой среды, версия базового файла среды имеет приоритет, если обе заявленные версии не находятся под версией 3, в этом случае используется версия блокнота.
Рассмотрим пример.
- Если записная книжка использует версию 1 и базовую среду использует версию 3, рабочая нагрузка будет использовать версию 3.
- Если записная книжка использует версию 1 и базовая среда использует версию 2, рабочая нагрузка будет использовать версию 1.
- Если записная книжка использует версию 3, а базовая среда использует версию 1, рабочая нагрузка будет использовать версию 1.
- Если записная книжка использует версию 2 и базовую среду использует версию 1, рабочая нагрузка будет использовать версию 2.
Системная среда
- Операционная система: Ubuntu 24.04.2 LTS
- Python: 3.12.3
- Databricks Connect: 16.4.19
Установленные библиотеки Python
Чтобы воспроизвести версию среды 3 в вашей локальной Python виртуальной среде, скачайте requirements-env-3.txt файл и запустите pip install -r requirements-env-3.txt. Эта команда устанавливает все библиотеки для окружения версии 3.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.2.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | azure-core | 1.33.0 | azure-storage-blob | 12.23.0 |
| azure-storage-file-datalake | 12.17.0 | black | 24.4.2 | boto3 | 1.34.69 |
| botocore | 1.34.69 | cachetools | 5.3.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.1.7 | cloudpickle | 3.0.0 | comm | 0.2.1 |
| contourpy | 1.2.0 | cryptography | 42.0.5 | cycler | 0.11.0 |
| Cython | 3.0.11 | databricks-connect | 16.4.19 | databricks-sdk | 0.49.0 |
| debugpy | 1.6.7 | decorator | 5.1.1 | Deprecated | 1.2.18 |
| dill | 0.3.8 | executing | 0.8.3 | facets-overview | 1.1.1 |
| fastapi | 0.115.12 | fonttools | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.38.0 |
| google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 | google-crc32c | 1.7.1 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.69.2 | grpcio | 1.71.0 |
| grpcio-status | 1.71.0 | h11 | 0.14.0 | idna | 3.7 |
| importlib-metadata | 7.0.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.206 |
| ipykernel | 6.29.5 | ipython | 8.32.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.7.2 | jedi | 0.19.1 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mlflow-skinny | 2.21.3 | mypy-extensions | 1.0.0 |
| nest-asyncio | 1.6.0 | numpy | 1.26.4 | opentelemetry-api | 1.31.1 |
| opentelemetry-sdk | 1.31.1 | opentelemetry-semantic-conventions | 0.52b1 | packaging | 24.1 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.6 | pexpect | 4.8.0 | pillow | 10.3.0 |
| pip | 25.0.1 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.5.0 | prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 |
| protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.9 |
| pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.68 | pycparser | 2.21 | pydantic | 2.8.2 |
| pydantic_core | 2.20.1 | Pygments | 2.15.1 | pyodbc | 5.0.1 |
| pyparsing | 3.0.9 | pytest | 8.3.0 | python-dateutil | 2.9.0.post0 |
| python-lsp-jsonrpc | 1.1.2 | pytz | 2024.1 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | requests | 2.32.2 | rsa | 4.9 |
| s3transfer | 0.10.4 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sqlparse | 0.5.3 | stack-data | 0.2.0 | starlette | 0.46.1 |
| statsmodels | 0.14.2 | tenacity | 8.2.2 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tornado | 6.4.1 | traitlets | 5.14.3 |
| typing_extensions | 4.11.0 | tzdata | 2024.1 | ujson | 5.10.0 |
| urllib3 | 2.2.2 | uvicorn | 0.34.0 | wcwidth | 0.2.5 |
| wrapt | 1.14.1 | zipp | 3.17.0 | zstandard | 0.23.0 |