Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье описаны сведения о системной среде для бессерверной среды версии 2. Чтобы обеспечить совместимость для приложения, бессерверные процессы используют версию API, известную как версия среды, которая остается совместимой с более новыми версиями сервера.
Вы можете выбрать версию среды, используя боковую панель Environment в ваших бессерверных записных книжках. См . раздел "Выбор версии среды".
Новые функции и улучшения
Следующие новые функции и улучшения доступны в бессерверной среде 2.
Панели мониторинга, оповещения и запросы поддерживаются в виде файлов рабочей области
20 мая 2025 г.
Панели мониторинга, оповещения и запросы теперь поддерживаются в виде файлов рабочей области, что означает, что вы можете программно взаимодействовать с этими объектами Databricks, как и любой другой файл, в любом месте файловой системы рабочей области. См. сведения о файлах рабочей области ипрограммном взаимодействии с файлами рабочей области.
Веб-терминал включен для бессерверных вычислений
3 апреля 2025 г.
Веб-терминал теперь включен в бессерверной среде версии 2. Дополнительные сведения об использовании веб-терминала см. в разделе "Выполнение команд оболочки" в веб-терминале Azure Databricks.
Тип данных VARIANT больше не может использоваться с операциями, требующими сравнения
5 февраля 2025 г.
Нельзя использовать следующие предложения или операторы в запросах, которые включают тип данных VARIANT:
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
Кроме того, эти функции DataFrame нельзя использовать:
df.dropDuplicates()df.repartition()
Эти операции выполняют сравнения и сравнения, использующие тип данных VARIANT, создают неопределенные результаты и не поддерживаются в Databricks. Если вы используете тип VARIANT в рабочих нагрузках или таблицах Azure Databricks, Databricks рекомендует следующие изменения:
- Обновите запросы или выражения для явного приведения значений
VARIANTк типам данных, отличным отVARIANT. - Если у вас есть поля, которые должны использоваться с любой из указанных выше операций, извлеките эти поля из типа данных
VARIANTи сохраните их с помощью типов данных, отличных отVARIANT.
Смотрите данные о варианте запроса.
Записные книжки поддерживаются как файлы рабочей среды
23 января 2025 г.
Записные книжки поддерживаются как файлы рабочего пространства в бессерверной среде 2. Вы можете программно записывать, читать и удалять записные книжки так же, как и любой другой файл. Это позволяет программно взаимодействовать с записными книжками в любом месте файловой системы рабочей области. Дополнительные сведения см. в статье "Программное создание, обновление и удаление файлов и каталогов".
Панель хода выполнения задач, добавленная в бессерверные вычисления
16 декабря 2024 г.
В ячейках записных книжек, работающих в бессерверной вычислительной среде версии 2, добавлен новый индикатор выполнения задачи. Индикатор прогресса отображает процесс выполнения кода Spark в ячейке.
Системная среда
- Операционная система: Ubuntu 22.04.4 LTS
- Python: 3.11.10
- Databricks Connect: 15.4.5
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| асттокенс | 2.0.5 | астунпарс | 1.6.3 | автоматическая команда | 2.2.2 |
| azure-core | 1.31.0 | azure-storage-blob (облако сохранения Azure) | 12.19.1 | хранилище файлов данных Azure Data Lake | 12.14.0 |
| backports.tarfile | 1.2.0 | черный | 23.3.0 | указатель поворота | 1.4 |
| boto3 | 1.34.39 | botocore | 1.34.39 | инструменты для кэша | 5.5.0 |
| сертификат | 2023.7.22 | cffi | 1.15.1 | chardet | 4.0.0 |
| нормализатор кодировки | 2.0.4 | щелчок | 8.0.4 | Клаудпикл | 3.0.0 |
| коммуникация | 0.1.2 | Contourpy | 1.0.5 | криптография | 41.0.3 |
| велосипедист | 0.11.0 | Cython | 0.29.32 | Датабрикс-Коннект | 15.4.5 |
| databricks-sdk | 0.36.0 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| декоратор | 5.1.1 | укроп | 0.3.6 | Дистлиб | 0.3.9 |
| точки входа | 0,4 | исполнение | 0.8.3 | Обзор аспектов | 1.1.1 |
| файловая блокировка | 3.13.4 | шрифтовые инструменты | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth (аутентификация от Google) | 2.35.0 |
| google-cloud-core (основной модуль Google Cloud) | 2.4.1 | облачное хранилище Google | 2.18.2 | google-crc32c | 1.6.0 |
| гугл-возобновляемые-медиа | 2.7.2 | googleapis-common-protos (общие протоколы googleapis) | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | httplib2 | 0.20.2 | IDNA | 3.4 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | склонять | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils (утилиты для iPython) | 0.2.0 | ipywidgets (виджеты для IPython) | 7.7.2 | isodate (стандартная дата ISO) | 0.7.2 |
| jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | джедаи | 0.18.1 | джипни | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | клиент Jupyter | 7.4.9 |
| jupyter_core (ядро Jupyter) | 5.3.0 | ключница | 23.5.0 | Кивисолвер | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | матплотлиб-инлайн | 0.1.6 | mlflow-skinny (упрощённая версия пакета mlflow) | 2.11.4 |
| дополнительные итермые инструменты | 8.10.0 | mypy-extensions (расширения для mypy) | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy (библиотека для работы с массивами и матрицами в Python) | 1.23.5 | OAuthlib | 3.2.0 | упаковка | 23.2 |
| Панды | 1.5.3 | Парсо | 0.8.3 | спецификация пути | 0.10.3 |
| простак | 0.5.3 | pexpect (библиотека Python для автоматизации взаимодействия с приложениями) | 4.8.0 | подушка | 10.3.0 |
| пит | 24,2 | Platformdirs | 3.10.0 | библиотека Plotly для визуализации данных | 5.9.0 |
| prompt_toolkit | 3.0.48 | proto-plus | 1.25.0 | protobuf (протобуф) | 5.28.3 |
| psutil (пакет Python для работы с процессами и системами) | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| пьюр-эвэл | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | Пикколо | 0.0.65 |
| pycparser | 2.21 | pydantic (библиотека Python для валидации данных) | 1.10.6 | Пигменты | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc — библиотека Python для работы с базами данных через ODBC | 4.0.39 |
| pyparsing (библиотека для синтаксического анализа в Python) | 3.0.9 | python-dateutil (библиотека для работы с датами и временем в Python) | 2.8.2 | python-lsp-jsonrpc | 1.1.2 |
| pytz (библиотека Python для работы с часовыми поясами) | июль 2022 года | PyYAML | 6,0 | pyzmq | 25.1.2 |
| Запросы | 2.31.0 | rsa | 4,9 | s3transfer | 0.10.3 |
| scikit-learn (библиотека машинного обучения) | 1.3.0 | scipy (библиотека Python) | 1.11.1 | мореборн | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools (пакет для установки и управления Python-пакетами) | 75.1.0 | шесть | 1.16.0 |
| сммап | 5.0.1 | sqlparse | 0.5.1 | ssh-import-id (импортировать идентификатор SSH) | 5.11 |
| стековые данные | 0.2.0 | statsmodels (библиотека Python для статистического моделирования) | 0.14.0 | упорство | 8.2.2 |
| Threadpoolctl | 2.2.0 | токенизация-рт | 4.2.1 | томли | 2.0.1 |
| торнадо | 6.3.2 | Трейтлеты | 5.13.0 | типгард | 4.3.0 |
| typing_extensions (расширения для ввода текста) | 4.10.0 | tzdata | 2022.1 | ujson | 5.4.0 |
| автоматические обновления без участия пользователя | 0,1 | urllib3 | 1.26.16 | virtualenv | 20.26.6 |
| wadllib | 1.3.6 | wcwidth (ширина символа в Unicode) | 0.2.5 | колесо | 0.38.4 |
| ZIPP | 3.11.0 | zstandard | 0.23.0 |