Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
На этой странице описаны сведения о системной среде для бессерверной среды версии 5.
Чтобы обеспечить совместимость приложений, бессерверные рабочие нагрузки используют версионированный API, известный как версия среды, сохраняющий совместимость с более новыми бессерверными версиями.
Чтобы выбрать базовую среду, используйте селектор базовой среды на боковой панели среды в бессерверных записных книжках. См. раздел "Выбор базовой среды".
Новые функции и улучшения
Следующие новые функции и улучшения доступны в бессерверной среде 5.
Поддержка MLflow 3.8.1
Бессерверная среда версии 5 включает MLflow 3.8.1, значительное обновление от MLflow 2.22.0 в версии среды 4. Это обновление включает множество новых функций, улучшений и исправлений ошибок. Полный список изменений см. в заметках о выпуске MLflow.
Бессерверные задачи JAR
Это важно
Эта функция доступна в общедоступной предварительной версии.
Задания JAR без серверов теперь поддерживаются в версии среды 5. Эта функция позволяет запускать приложения на основе JAR на бессерверной вычислительной инфраструктуре.
Оптимизация Arrow включена по умолчанию для определяемых пользователем функций Python
В версии среды 5 оптимизация Arrow включена по умолчанию для определяемых пользователем функций Python (UDF), что значительно повышает производительность их исполнения. Кроме того, преобразование сериализатора pandas, основывающегося на Arrow, было улучшено для повышения эффективности.
Это представляет собой изменение в поведении по сравнению с предыдущими версиями, в которых оптимизация Arrow была выборной.
Изменения поведения
Следующие изменения поведения вводятся в бессерверной среде 5.
BinaryType неизменно сопоставляется с байтами Python
В PySpark BinaryType теперь последовательно сопоставляется с Python bytes. Ранее PySpark сопоставлял BinaryType либо с bytes, либо с bytearray, в зависимости от контекста.
Дополнительные сведения см. в статье SPARK-53696.
API сокета на уровне ядра Linux для шифрования
Начиная с версии среды 5, API криптографического сокета уровня ядра Linux, который работает на шифрах, не соответствующих стандарту FIPS, может завершаться ошибкой непредсказуемо. Не используйте этот API для операций шифрования, отличных от FIPS.
Обновления API
Бессерверная среда 5 включает следующие обновления API:
- SPARK-53635 Поддержка Scala-функций, определяемых пользователем, с входными аргументами типа Seq[Row]
- SPARK-54220 Поддержка типов NullType/VOID/UNKNOWN в Parquet
- SPARK-54153 Поддержка профилирования итераторов на основе пользовательских функций (UDF) в Python
- SPARK-54213 Удаление Python 3.9 из Spark Connect
- SPARK-53977 Поддержка ведения журнала в определяемых пользователем табличных функциях
- SPARK-53976 Поддержка ведения журнала в Pandas/Arrow UDFs
- SPARK-53573 Разрешить объединение строковых литералы везде
- SPARK-54269 Обновление cloudpickle до версии 3.1.2 для Python 3.14
- SPARK-54287 Добавление поддержки Python 3.14 в pyspark-client и pyspark-connect
- SPARK-53614 Добавьте поддержку итератора [pandas.DataFrame] в applyInPandas
- SPARK-53921 Введение GeometryType и GeographyType в API PySpark
- SPARK-53920 Введение GeometryType и GeographyType в API Java
- SPARK-53956 Поддержка TIME в функции try_make_timestamp в PySpark
- SPARK-53930 Поддержка TIME в функции make_timestamp в PySpark
- SPARK-53111 Реализация функции time_diff в PySpark
- SPARK-53877 Введение функции BITMAP_AND_AGG
- SPARK-53357 Обновление pandas до версии 2.3.2
- SPARK-52980 Поддержка Python UDTF с использованием Apache Arrow
- SPARK-52844 Обновление numpy до версии 1.22
- SPARK-50359 Обновление PyArrow до 18.0
- SPARK-50564 Обновление пакета Protobuf Python до версии 5.29.1
- SPARK-50601 Поддержка withColumns / withColumnsRenamed в подзапросах
- SPARK-51814 Введение нового преобразования APIWithState в PySpark
- Spark-52821 add int-DecimalType> pyspark udf return type coercion
- SPARK-53112 Поддержка TIME в функциях make_timestamp_ntz и try_make_timestamp_ntz в PySpark
- SPARK-53319 Поддержка типа времени с помощью try_make_timestamp_ltz()
- SPARK-53696 По умолчанию использовать байты для BinaryType в PySpark
- SPARK-55090 Реализация DataFrame.toJSON в клиенте Python
Системная среда
- Операционная система: Ubuntu 24.04.3 LTS
- Python: 3.12.3
-
Databricks Connect: 18 (Databricks Connect постоянно обновляется в последней версии бессерверной среды. Выполните команду
pip list, чтобы подтвердить точную версию в текущей среде.) - Scala: 2.13.16
- JDK: 17
Установленные библиотеки Python
Чтобы воспроизвести бессерверную среду 5 в локальной виртуальной среде Python, скачайте файл requirements-env-5.txt и запустите pip install -r requirements-env-5.txt его. Эта команда устанавливает все библиотеки с открытым исходным кодом из бессерверной среды 5.
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| аннотированный документ | 0.0.4 | аннотированные типы | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-связки | 21.2.0 | arro3-core | 0.6.5 |
| стрела | 1.3.0 | асттокенс | 3.0.0 | астунпарс | 1.6.3 |
| async-lru | 2.0.4 | атрибуты | 24.3.0 | автоматическая команда | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| Платформа управления Azure (azure-mgmt-core) | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.28.0 |
| хранилище файлов данных Azure Data Lake | 12.22.0 | Вавилон | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | черный | 24.10.0 | отбеливатель | 6.2.0 |
| указатель поворота | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| инструменты для кэша | 5.5.1 | сертификат | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | нормализатор кодировки | 3.3.2 | щелчок | 8.1.8 |
| Клаудпикл | 3.0.0 | коммуникация | 0.2.1 | Contourpy | 1.3.1 |
| криптография | 44.0.1 | велосипедист | 0.11.0 | Cython | 3.1.5 |
| databricks-агенты | 1.9.1 | databricks-connect | 18.0.5 | databricks-sdk | 0.67.0 |
| dataclasses-json | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| декоратор | 5.1.1 | defusedxml | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | Дистлиб | 0.3.9 | Конвертация docstring в markdown | 0.11 |
| исполнение | 1.2.0 | Обзор аспектов | 1.1.1 | fastapi | 0.128.0 |
| fastjsonschema | 2.21.1 | файловая блокировка | 3.17.0 | шрифтовые инструменты | 4.55.3 |
| Полное доменное имя (FQDN) | 1.5.1 | замороженный список | 1.5.0 | fsspec | 2023.5.0 |
| gitdb | 4.0.11 | GitPython | 3.1.43 | google-api-core | 2.28.1 |
| google-auth (аутентификация от Google) | 2.47.0 | google-cloud-core (основной модуль Google Cloud) | 2.5.0 | облачное хранилище Google | 3.7.0 |
| google-crc32c | 1.8.0 | гугл-возобновляемые-медиа | 2.8.0 | googleapis-common-protos (общие протоколы googleapis) | 1.65.0 |
| grpcio | 1.67.0 | grpcio-status | 1.67.0 | h11 | 0.16.0 |
| hf-xet | 1.2.0 | httpcore | 1.0.9 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface_hub | 1.2.4 | IDNA | 3,7 |
| importlib_metadata | 8.5.0 | склонять | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils (утилиты для iPython) | 0.2.0 | ipywidgets | 7.8.1 | isodate (стандартная дата ISO) | 0.7.2 |
| изодурация | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | джедаи | 0.19.2 |
| Джинджа2 | 3.1.6 | джиттер | 0.12.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpatch | 1.33 |
| Джсонпоинтер (jsonpointer) | 3.0.0 | jsonschema (JSON-схема) | 4.23.0 | jsonschema-спецификации | 2023.7.1 |
| Jupyter-события | 0.12.0 | jupyter-lsp | 2.2.5 | клиент Jupyter | 8.6.3 |
| jupyter_core (ядро Jupyter) | 5.7.2 | Джупитер_сервер | 2.15.0 | терминалы_сервера_jupyter | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_server (сервер для JupyterLab) | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | Кивисолвер | 1.4.8 | langchain-core | 1.2.6 |
| langchain-openai | 1.1.6 | langsmith | 0.6.1 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | litellm | 1.75.9 |
| markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 | зефир | 3.26.2 |
| matplotlib | 3.10.0 | матплотлиб-инлайн | 0.1.7 | МакКейб | 0.7.0 |
| mdurl | 0.1.0 | Мистун | 3.1.2 | mlflow-skinny (упрощённая версия пакета mlflow) | 3.8.1 |
| mmh3 | 5.2.0 | more-itertools | 10.3.0 | msal | 1.34.0 |
| msal-extensions | 1.3.1 | мультидикт | 6.1.0 | mypy-extensions (расширения для mypy) | 1.0.0 |
| nbclient | 0.10.2 | Перекодировщик nbconvert | 7.16.6 | nbformat | 5.10.4 |
| nest-asyncio | 1.6.0 | nodeenv | 1.10.0 | notebook | 7.3.2 |
| ноутбук_шим | 0.2.4 | numpy (библиотека для работы с массивами и матрицами в Python) | 2.1.3 | OAuthlib | 3.2.2 |
| openai | 2.14.0 | opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 |
| opentelemetry-sdk | 1.39.1 | cемантические соглашения opentelemetry | 0.60b1 | orjson | 3.11.5 |
| Переопределения | 7.4.0 | упаковка | 24,2 | Панды | 2.2.3 |
| пандокфильтры | 1.5.0 | Парсо | 0.8.4 | спецификация пути | 0.10.3 |
| простак | 1.0.1 | pexpect (библиотека Python для автоматизации взаимодействия с приложениями) | 4.8.0 | подушка | 11.1.0 |
| пит | 25.0.1 | Platformdirs | 4.3.7 | библиотека Plotly для визуализации данных | 5.24.1 |
| менеджер плагинов Pluggy | 1.5.0 | prometheus_client | 0.21.1 | prompt-toolkit (инструментарий подсказок) | 3.0.43 |
| кэш свойств | 0.3.1 | proto-plus | 1.27.0 | protobuf (протобуф) | 5.29.4 |
| psutil (пакет Python для работы с процессами и системами) | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| пьюр-эвэл | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | Пикколо | 0.0.71 |
| pycparser | 2.21 | pydantic (библиотека Python для валидации данных) | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes (аналитический инструмент для Python) | 3.2.0 | Пигменты | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing (библиотека для синтаксического анализа в Python) | 3.2.0 | pyright | 1.1.394 | пироаринг | 1.0.3 |
| pytest | 8.3.5 | python-dateutil (библиотека для работы с датами и временем в Python) | Версия 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger (пакет для логирования JSON в Python) | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server (сервер Python LSP) | 1.12.2 |
| Pytoolconfig | 1.2.6 | pytz (библиотека Python для работы с часовыми поясами) | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | Ссылки | 0.30.2 | regex | 2024.11.6 |
| Запросы | 2.32.3 | requests-toolbelt | 1.0.0 | rfc3339-валидатор | 0.1.4 |
| rfc3986-validator | 0.1.1 | богатый | 13.9.4 | верёвка | 1.13.0 |
| rpds-py | 0.22.3 | rsa | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn (библиотека машинного обучения) | 1.6.1 | scipy (библиотека Python) | 1.15.3 | мореборн | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools (пакет для установки и управления Python-пакетами) | 78.1.1 | шеллингем | 1.5.4 |
| шесть | 1.17.0 | сммап | 5.0.0 | сниффио | 1.3.0 |
| отсортированные контейнеры | 2.4.0 | ситечко для супа | 2.5 | sqlparse | 0.5.5 |
| ssh-import-id (импортировать идентификатор SSH) | 5.11 | стековые данные | 0.6.3 | старлетка | 0.50.0 |
| strictyaml | 1.7.3 | упорство | 9.0.0 | закончено | 0.17.1 |
| Threadpoolctl | 3.5.0 | тиктокен | 0.12.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | токенизаторы | 0.22.2 | томли | 2.0.1 |
| торнадо | 6.5.1 | tqdm | 4.67.1 | Трейтлеты | 5.14.3 |
| типгард | 4.3.0 | typer-slim | 0.21.1 | types-python-dateutil | 2.9.0.20251115 |
| ввод текста и проверка | 0.9.0 | typing_extensions (расширения для ввода текста) | 4.12.2 | tzdata | 2024.1 |
| ujson | 5.10.0 | автоматические обновления без участия пользователя | 0,1 | URI-шаблон | 1.3.0 |
| urllib3 | 2.3.0 | uuid_utils | 0.12.0 | uvicorn | 0.40.0 |
| virtualenv | 20.29.3 | wadllib | 1.3.6 | wcwidth (ширина символа в Unicode) | 0.2.5 |
| webcolors | 25.10.0 | веб-энкодинги | 0.5.1 | websocket-клиент | 1.8.0 |
| чтоэто за патч | 1.0.2 | колесо | 0.45.1 | когда бы ни | 0.7.3 |
| widgetsnbextension | 3.6.6 | завёрнут | 1.17.0 | yapf (форматировщик Python кода) | 0.40.2 |
| ярл | 1.18.0 | ZIPP | 3.21.0 | zstandard | 0.23.0 |
Установленные библиотеки Java и Scala (Scala 2.13)
| Идентификатор группы | Идентификатор артефакта | Версия |
|---|---|---|
| com.databricks | databricks-connect_2.13 | 18.0.0 |
| com.fasterxml.jackson.core | аннотации Джексона | 2.15.2 |
| com.fasterxml.jackson.core | джексон-ядро | 2.15.2 |
| com.fasterxml.jackson.core | джексон-databind | 2.15.2 |
| com.lihaoyi | ammonite-compiler-interface_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-compiler_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-interp_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl-api_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-repl_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-runtime_2.13.16 | 3.0.2 |
| com.lihaoyi | ammonite-util_2.13 | 3.0.2 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | os-lib_2.13 | 0.11.3 |
| com.lihaoyi | pprint_2.13 | 0.9.0 |
| com.lihaoyi | scalaparse_2.13 | 3.1.1 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| sh.almond | channels_2.13 | 0.14.1-1 |
| sh.almond | интерпретатор-api_2.13 | 0.14.1-1 |
| sh.almond | interpreter_2.13 | 0.14.1-1 |
| sh.almond | jupyter-api_2.13 | 0.14.1-1 |
| sh.almond | kernel_2.13 | 0.14.1-1 |
| sh.almond | logger_2.13 | 0.14.1-1 |
| sh.almond | protocol_2.13 | 0.14.1-1 |
| sh.almond | scala-interpreter_2.13.16 | 0.14.1-1 |
| sh.almond | scala-kernel_2.13.16 | 0.14.1-1 |
| sh.almond | shared-directives_2.13 | 0.14.1-1 |