Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье описаны сведения о системной среде для бессерверной среды версии 2. Чтобы обеспечить совместимость для приложения, бессерверные процессы используют версию API, известную как версия среды, которая остается совместимой с более новыми версиями сервера.
Вы можете выбрать версию среды, используя боковую панель Environment в ваших бессерверных записных книжках. См. раздел "Выбор базовой среды".
Новые функции и улучшения
Следующие новые функции и улучшения доступны в бессерверной среде 2.
Панели мониторинга, оповещения и запросы поддерживаются в виде файлов рабочей области
20 мая 2025 г.
Панели мониторинга, оповещения и запросы теперь поддерживаются в виде файлов рабочей области, что означает, что вы можете программно взаимодействовать с этими объектами Databricks, как и любой другой файл, в любом месте файловой системы рабочей области. См. сведения о файлах рабочей области ипрограммном взаимодействии с файлами рабочей области.
Веб-терминал включен для бессерверных вычислений
3 апреля 2025 г.
Веб-терминал теперь включен в бессерверной среде версии 2. Дополнительные сведения об использовании веб-терминала см. в разделе "Выполнение команд оболочки" в веб-терминале Azure Databricks.
Тип данных VARIANT больше не может использоваться с операциями, требующими сравнения
5 февраля 2025 г.
Нельзя использовать следующие предложения или операторы в запросах, которые включают тип данных VARIANT:
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
Кроме того, эти функции DataFrame нельзя использовать:
df.dropDuplicates()df.repartition()
Эти операции выполняют сравнения и сравнения, использующие тип данных VARIANT, создают неопределенные результаты и не поддерживаются в Databricks. Если вы используете тип VARIANT в рабочих нагрузках или таблицах Azure Databricks, Databricks рекомендует следующие изменения:
- Обновите запросы или выражения для явного приведения значений
VARIANTк типам данных, отличным отVARIANT. - Если у вас есть поля, которые должны использоваться с любой из указанных выше операций, извлеките эти поля из типа данных
VARIANTи сохраните их с помощью типов данных, отличных отVARIANT.
Смотрите данные о варианте запроса.
Записные книжки поддерживаются как файлы рабочей среды
23 января 2025 г.
Записные книжки поддерживаются как файлы рабочего пространства в бессерверной среде 2. Вы можете программно записывать, читать и удалять записные книжки так же, как и любой другой файл. Это позволяет программно взаимодействовать с записными книжками в любом месте файловой системы рабочей области. Дополнительные сведения см. в статье "Программное создание, обновление и удаление файлов и каталогов".
Панель хода выполнения задач, добавленная в бессерверные вычисления
16 декабря 2024 г.
В ячейках записных книжек, работающих в бессерверной вычислительной среде версии 2, добавлен новый индикатор выполнения задачи. Индикатор прогресса отображает процесс выполнения кода Spark в ячейке.
Системная среда
- операционная система: Ubuntu 22.04.4 LTS
- Python: 3.11.10
- Databricks Connect: 15.4.5
Установленные библиотеки Python
Чтобы воспроизвести бессерверную среду 2 в локальной виртуальной среде Python, скачайте файл requirements-env-2.txt и запустите pip install -r requirements-env-2.txt. Эта команда устанавливает все библиотеки с открытым исходным кодом из бессерверной среды 2.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | autocommand | 2.2.2 |
| azure-core | 1.31.0 | azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 |
| backports.tarfile | 1.2.0 | black | 23.3.0 | blinker | 1.4 |
| boto3 | 1.34.39 | botocore | 1.34.39 | cachetools | 5.5.0 |
| certifi | 2023.7.22 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.4 | cloudpickle | 3.0.0 |
| comm | 0.1.2 | contourpy | 1.0.5 | cryptography | 41.0.3 |
| cycler | 0.11.0 | Cython | 0.29.32 | databricks-connect | 15.4.5 |
| databricks-sdk | 0.36.0 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| decorator | 5.1.1 | dill | 0.3.6 | distlib | 0.3.9 |
| entrypoints | 0.4 | executing | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.4 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.35.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.18.2 | google-crc32c | 1.6.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | inflect | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | isodate | 0.7.2 |
| jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | packaging | 23.2 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pillow | 10.3.0 |
| pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.9.0 |
| prompt_toolkit | 3.0.48 | proto-plus | 1.25.0 | protobuf | 5.28.3 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.39 |
| pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.2 |
| pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 25.1.2 |
| requests | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.3 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 75.1.0 | six | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.3.2 | traitlets | 5.13.0 | typeguard | 4.3.0 |
| typing_extensions | 4.10.0 | tzdata | 2022.1 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.26.6 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | wheel | 0.38.4 |
| zipp | 3.11.0 | zstandard | 0.23.0 |