Заметки о выпуске Databricks SQL

В этой статье описаны новые функции и улучшения SQL Databricks, а также перечислены известные проблемы и представлены ответы на часто задаваемые вопросы.

Процесс выпуска

Databricks выпускает обновления пользовательского интерфейса веб-приложения Databricks SQL на постоянной основе, при этом все пользователи получают одинаковые обновления, развернутые в течение короткого периода времени.

Кроме того, обычно в Databricks регулярно выходят новые версии вычислительной среды хранилища SQL. Всегда доступны два канала: Preview (предварительная версия) и Current (текущая версия).

Примечание.

Выпуски являются поэтапными. Учетная запись Databricks может не обновляться с новой версией хранилища SQL или функцией Databricks SQL до недели или более после начальной даты выпуска.

Примечание.

Databricks SQL Serverless недоступна в Azure Для Китая. Databricks SQL недоступна в Azure для государственных организаций регионах.

Каналами

Каналы позволяют выбрать версию вычислений текущего хранилища SQL или предварительную версию. Предварительные версии позволяют испытать новые функциональные возможности до того, как они станут стандартом SQL Databricks. Воспользуйтесь преимуществами предварительных версий для тестирования ваших рабочих запросов и панелей мониторинга на предмет предстоящих изменений.

Как правило, уровень предварительной версии повышается до канала текущей версии приблизительно через две недели после выпуска в канале предварительной версии. Некоторые функции, такие как функции безопасности, обновления обслуживания и исправления ошибок, могут быть выпущены непосредственно в канале текущей версии. Время от времени Databricks может повышать уровень предварительной версии до канала текущей версии по другому расписанию. Каждая новая версия будет объявлена в следующих разделах.

Сведения о переключении существующего хранилища SQL на канал предварительной версии см. в разделе "Предварительный просмотр каналов". Функции, перечисленные в разделах обновлений пользовательского интерфейса, не зависят от вычислительных версий хранилища SQL, описанных в разделе "Исправленные проблемы " примечаний о выпуске.

Доступные версии SQL Databricks

Текущий канал: Databricks SQL версии 2024.40

• См. функции в версии 2024.40.

31 октября 2024 г.

Обновления пользовательского интерфейса

Новый редактор SQL (общедоступная предварительная версия)

• Теперь можно запустить активный SQL-запрос с помощью сочетания клавиш (или) +Enter + Shift.CtrlCommand
• Область ввода параметров теперь отображает полосу прокрутки, когда текст расширяется за пределами окна отображения.
• Исправлена проблема, из-за которой страница сведений о профиле запроса не открывалась полностью.
• Теперь можно переименовать запросы, введя новое имя в заголовок вкладки.
• Кнопка "Расписание " теперь отключена для запросов, которые никогда не были сохранены раньше.

24 октября 2024 г.

Заметки о выпуске средств ИИ/BI

Заметки о выпуске для панелей мониторинга AI/BI и AI/BI Genie перемещены в заметки о выпуске AI/BI. Будущие выпуски и обновления будут документированы там.

17 октября 2024 г.

Назначения уведомлений теперь общедоступны

Вы можете создавать и настраивать назначения уведомлений, которые пользователи рабочей области могут добавлять в определенные рабочие процессы, такие как оповещения, задания Databricks и расписания панели мониторинга AI/BI, для отправки сообщений электронной почты или веб-перехватчиков при выполнении события. См. статью "Управление назначениями уведомлений".

10 октября 2024 г.

Материализованные представления и таблицы потоковой передачи теперь доступны в Databricks SQL

Таблицы потоковой передачи обеспечивают добавочное прием из облачных хранилищ и очередей сообщений, а материализованные представления — это предварительно вычисляемые представления, которые автоматически и постепенно обновляются по мере поступления новых данных. См. статью "Использование материализованных представлений в Databricks SQL и загрузка данных с помощью потоковых таблиц в Databricks SQL".

Аналитика запросов

• Новые столбцы query_sourceexecuted_asи executed_as_user_id добавлены в системную таблицу журнала запросов. См . справочник по системной таблице журнала запросов.

3 октября 2024 г.

Расширенная поддержка бессерверного хранилища SQL

Бессерверные хранилища SQL теперь доступны в регионе swedencentral . См. Функции с ограниченной региональной доступностью.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Обозреватель каталогов

• Созданные ИИ комментарии теперь поддерживаются для каталогов, схем, томов, моделей и функций и пользователей, которые могут использовать встроенный помощник чата для редактирования своих комментариев.

Функции ИИ SQL теперь vector_search() доступны в общедоступной предварительной версии. См. функцию vector_search

26 сентября 2024 г.

Расширенная поддержка бессерверного хранилища SQL

Бессерверные хранилища SQL теперь доступны в регионе francecentral . См. Функции с ограниченной региональной доступностью.

11 сентября 2024 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

Редактор SQL

Теперь в редакторе SQL можно использовать синтаксис маркера именованных параметров. Синтаксис маркера именованных параметров можно использовать в редакторе SQL, записных книжках и панелях мониторинга ИИ/BI. См. статью " Работа с параметрами запроса".

Запросы и устаревшие панели мониторинга

Для запросов SQL и устаревших панелей мониторинга удаленные элементы больше не отображаются на страницах списка. Найдите удаленные элементы в папке корзины рабочей области. Администраторы рабочей области могут просматривать удаленные элементы во всех папках корзины пользователей.

5 сентября 2024 г.

Изменения в версии 2024.40

Databricks SQL версии 2024.40 включает следующие изменения поведения, новые функции и улучшения.

Изменение поведения

• Изменение режима привязки схемы по умолчанию для представлений

  Теперь представления адаптируются к изменениям схемы в базовом запросе с помощью компенсации схемы с обычными правилами приведения. Это изменение предыдущего BINDING режима по умолчанию, которое вызвало ошибки, когда безопасный приведение не удалось выполнить при ссылке на представление.

  См. статью CREATE VIEW и cast function.

• Запретить использование неподдерженного ! синтаксиса NOT вместо логических выражений

  В этом выпуске использование в качестве синонима ! за NOT пределами логических выражений больше не допускается. Например, операторы, такие как: CREATE ... IF ! EXISTSIS ! NULL, свойство столбца ! NULL или поля и ! IN ! МЕЖДУ, необходимо заменить следующим образом: CREATE ... IF NOT EXISTS, IS NOT NULLNOT NULL столбец или свойство поля и NOT IN NOT BETWEEN.

  Это изменение гарантирует согласованность, соответствует стандарту SQL и делает SQL более переносимым.

  Логический оператор ! префикса (например, !is_mgr или !(true AND false)) не влияет на это изменение.

• Запретить синтаксис определения столбца без документов в представлениях

  Databricks поддерживает CREATE VIEW с именованными столбцами и комментариями столбцов. Ранее спецификация типов столбцов, NOT NULL ограничений или DEFAULT разрешена. В этом выпуске этот синтаксис больше не используется.

  Это изменение обеспечивает согласованность, соответствует стандарту SQL и поддерживает будущие улучшения.

• Добавление ограничения для CHECK недопустимого столбца теперь возвращает UNRESOLVED_COLUMN.WITH_SUGGESTION класс ошибок

  Чтобы обеспечить более полезные сообщения об ошибках, в Databricks Runtime 15.3 и выше инструкция, содержащая CHECK ограничение, ссылающееся на недопустимое имя столбца, ALTER TABLE ADD CONSTRAINT возвращает UNRESOLVED_COLUMN. класс ошибок WITH_SUGGESTION. Ранее возвращался объект INTERNAL_ERROR .

Новые функции и внесенные улучшения

• Включение ЮниФорм Айсберга с помощью ALTER TABLE

  Теперь вы можете включить UniForm Iceberg в существующих таблицах без перезаписи файлов данных. См. раздел "Включить", изменив существующую таблицу.

• Функции проверки UTF-8

  В этом выпуске представлены следующие функции для проверки строк UTF-8:

  • is_valid_utf8 проверяет, является ли строка допустимой строкой UTF-8.
  • make_valid_utf8 преобразует потенциально недопустимую строку UTF-8 в допустимую строку UTF-8 с помощью символов подстановки
  • validate_utf8 вызывает ошибку, если входные данные не являются допустимой строкой UTF-8.
  • try_validate_utf8 возвращаетсяNULL, если входные данные не являются допустимой строкой UTF-8.

• функции to_avro и from_avro

  Функции to_avro и from_avro позволяют преобразовать типы SQL в двоичные данные Avro и обратно.

• функция try_url_decode

  В этом выпуске представлена функция try_url_decode , которая декодирует строку, закодированную URL-адресом. Если строка не имеет правильного формата, функция возвращается NULL вместо того, чтобы вызывать ошибку.

• При необходимости позволяет оптимизатору полагаться на неподдерживающиеся ограничения внешнего ключа.

  Чтобы повысить производительность запросов, теперь можно указать RELY ключевое слово по ограничениям при FOREIGN KEY создании или изменении таблицы.

• Поддержка удаления функции таблицы ограничений проверки

  Выборочные перезаписи с помощью replaceWhere заданий запуска, которые удаляют данные и вставляют новые данные параллельно, повышая производительность запросов и использование кластера.

• Параллельное задание выполняется для выборочных перезаписей

  Выборочные перезаписи с помощью replaceWhere заданий запуска, которые удаляют данные и вставляют новые данные параллельно, повышая производительность запросов и использование кластера.

• Улучшена производительность канала измененных данных с выборочными перезаписями

  Выборочные перезаписи, использующие replaceWhere таблицы с каналом изменений, больше не записывают отдельные файлы измененных данных для вставленных данных. Эти операции используют скрытый _change_type столбец, представленный в базовых файлах данных Parquet, для записи изменений без амплификации записи.

• Улучшена задержка запросов для команды COPY INTO

  Этот выпуск включает изменение, которое улучшает задержку запроса для COPY INTO команды. Это улучшение реализуется путем загрузки состояния в хранилище состояний RocksDB асинхронно. При этом изменении вы увидите улучшение времени начала запросов с большими состояниями, например запросы с большим количеством уже полученных файлов.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

Visualizations (Визуализации)

• Итоговые итоги подсказки теперь отображаются только для диаграмм с накоплением.

22 августа 2024 г.

Visualizations (Визуализации)

Для конфигураций сгруппированных и много полей подсказки теперь отображают итоги при наведении указателя мыши на элементы диаграммы.

15 августа 2024 г.

Visualizations (Визуализации)

Исправлена проблема, из-за которой номера строк в визуализациях таблиц не обновлялись после изменения размера страницы.

Обнаружение данных

Теперь поддерживается возможность расширения и свертывание вложенных сложных типов столбцов в таблицах каталога Unity.

1 августа 2024 г.

Визуализации:

• Сортировка таблиц теперь сохраняется при изменении данных из-за фильтрации.

Редактор SQL:

• Повышение удобочитаемости путем добавления дополнительного заполнения между последней строкой запроса и выходными данными результатов.

25 июля 2024 г.

REST API Databricks:

• API для управления запросами, оповещениями, источниками данных и разрешениями были изменены. Устаревшая версия будет поддерживаться в течение шести месяцев. Этот переходный период предназначен для того, чтобы предоставить достаточно времени для переноса приложений и интеграции в новую версию, прежде чем старая версия будет прекращена. Обновление до последней версии API SQL Databricks

18 июля 2024 г.

Обновления пользовательского интерфейса

Обозреватель каталогов:

• Теперь мастер настройки нового каталога доступен для настройки привязок рабочей области, привилегий каталога и метаданных при создании каталога.

Мониторинг хранилища SQL:

• Разрешение CAN MONITOR теперь общедоступен. Он позволяет привилегированным пользователям отслеживать хранилища SQL, включая связанные профили журнала запросов и запросов. См . списки управления доступом к конечным точкам поиска вектора.

11 июля 2024 г.

Доступно databricks SQL версии 2024.35

Расписание развертывания: предварительная версия для 2024.35: в период с 9 июля по 15 июля

Изменения в версии 2024.35

Отключение сопоставления столбцов с функцией удаления

Теперь можно отключить DROP FEATURE сопоставление столбцов в таблицах Delta и изменить протокол таблицы. См. раздел "Отключить сопоставление столбцов".

Синтаксис типа variant и функции в общедоступной предварительной версии

Встроенная поддержка Apache Spark для работы с полуструктурированных данных в качестве VARIANT типа теперь доступна в Кадрах данных Spark и SQL. См . сведения о варианте запроса.

Поддержка типа variant для Delta Lake в общедоступной предварительной версии

Теперь можно использовать VARIANT для хранения полуструктурированных данных в таблицах, поддерживаемых Delta Lake. См . раздел "Поддержка variant" в Delta Lake.

Поддержка различных режимов эволюции схемы в представлениях

CREATE VIEW и ALTER VIEW теперь позволяют задать режим привязки схемы, повышая способ обработки изменений схемы в базовых объектах. Эта функция позволяет представлениям терпеть или адаптироваться к изменениям схемы в базовых объектах. Он устраняет изменения в схеме запроса, вызванные изменениями определений объектов.

Улучшение производительности некоторых функций окна

Этот выпуск включает изменение, которое повышает производительность некоторых функций окна Spark, в частности функции, которые не включают ORDER BY предложение или window_frame параметр. В таких случаях система может перезаписать запрос, чтобы запустить его с помощью агрегатной функции. Это изменение позволяет запросу выполняться быстрее с помощью частичной агрегирования и предотвращения затрат на выполнение функций окна. Параметр spark.databricks.optimizer.replaceWindowsWithAggregates.enabled конфигурации Spark управляет этой оптимизацией и имеет значение true по умолчанию. Чтобы отключить эту оптимизацию, установите значение spark.databricks.optimizer.replaceWindowsWithAggregates.enabled false.

Поддержка добавленной try_mod функции

Этот выпуск добавляет поддержку функции PySpark try_mod() . Эта функция поддерживает вычисление целочисленного остатка, совместимого с ANSI SQL, путем деления двух числовых значений. Если аргумент делителя равен 0, функция возвращает значение NULL вместо того, try_mod() чтобы вызвать исключение. Вы можете использовать try_mod() функцию вместо mod этого или %исключение, если аргумент делителя равен 0, и включен SQL ANSI.

Обновления пользовательского интерфейса

Редактор SQL:

Встроенный помощник теперь доступен в редакторе SQL. Щелкните значок помощника в поле редактора, чтобы переключить входные данные. Введите вопрос или комментарий на английском языке, а затем нажмите клавишу ВВОД (не SHIFT+ВВОД, который запускает запрос), чтобы создать ответ с другим представлением непосредственно в редакторе.

Platform.

Теперь доступен API для назначений уведомлений. Теперь вы можете программно управлять веб-перехватчиком и назначениями электронной почты для оповещений и уведомлений о выполнении заданий. См . статью "Назначения уведомлений".

4 июля 2024 г.

Доступно databricks SQL версии 2024.30

Расписание развертывания: предварительная версия для 2024.30: между 9 июля и 15 июля

Изменения в версии 2024.30

Федерация Lakehouse общедоступна (GA)

Соединители Федерации Lakehouse в следующих типах баз данных теперь общедоступны.

• MySQL
• PostgreSQL
• Amazon Redshift
• Снежинка
• Microsoft SQL Server
• Azure Synapse (хранилище данных SQL)
• Databricks

В этом выпуске также представлены следующие улучшения:

• Поддержка проверки подлинности единого входа в соединителях Snowflake и Microsoft SQL Server .

• Приватный канал Azure поддержку соединителя SQL Server из бессерверных вычислительных сред. См . шаг 3. Создание правил частной конечной точки.

• Поддержка дополнительных pushdown(строк, математических, прочих функций).

• Улучшена скорость успешного выполнения pushdown в разных формах запросов.

• Дополнительные возможности отладки pushdown:

  • В выходных EXPLAIN FORMATTED данных отображается отложенный текст запроса.
  • Пользовательский интерфейс профиля запроса отображает отложенный текст запроса, идентификаторы федеративного узла и время выполнения запроса JDBC (в подробном режиме). См. статью "Просмотр системных федеративных запросов".

DESCRIBE HISTORY Теперь отображаются столбцы кластеризации для таблиц, использующих кластеризацию жидкости

При выполнении DESCRIBE HISTORY запроса operationParameters в столбце по умолчанию отображается clusterBy поле для CREATE OR REPLACE операций и OPTIMIZE операций. Для разностной таблицы, использующей кластеризацию жидкости, clusterBy поле заполняется столбцами кластеризации таблицы. Если таблица не использует кластеризацию жидкости, поле пусто.

Общедоступная поддержка первичных и внешних ключей

Общедоступна поддержка первичных и внешних ключей в Databricks Runtime. Выпуск общедоступной версии включает следующие изменения привилегий, необходимых для использования первичных и внешних ключей:

• Чтобы определить внешний ключ, необходимо иметь SELECT права на таблицу с первичным ключом, на который ссылается внешний ключ. Вам не нужно владеть таблицей с первичным ключом, который ранее требовался.
• Удаление первичного ключа с помощью CASCADE предложения не требует привилегий для таблиц, определяющих внешние ключи, ссылающиеся на первичный ключ. Ранее необходимо принадлежать таблицам ссылок.
• Для удаления таблицы, включающей ограничения, теперь требуются те же привилегии, что и для удаления таблиц, которые не включают ограничения.

Сведения об использовании первичных и внешних ключей с таблицами или представлениями см . в предложении CONSTRAINT, предложении ADD CONSTRAINT и предложении DROP CONSTRAINT.

Отказоустойчивая кластеризация — это общедоступная версия

Поддержка кластеризации жидкости теперь общедоступна с помощью Databricks Runtime 15.2 и более поздних версий. См. статью Использование "жидкой" кластеризации для таблиц Delta.

Расширение типов в общедоступной предварительной версии

Теперь можно включить расширение типов в таблицах, поддерживаемых Delta Lake. Таблицы с включенным расширением типов позволяют изменять тип столбцов на более широкий тип данных без перезаписи базовых файлов данных. См . расширение типов.

Предложение эволюции схемы, добавленное в синтаксис слияния SQL

Теперь можно добавить предложение в WITH SCHEMA EVOLUTION инструкцию слияния SQL, чтобы включить эволюцию схемы для операции. См . синтаксис эволюции схемы для слияния.

Поддержка инвентаризации вакуума

Теперь можно указать инвентаризацию файлов, которые следует учитывать при выполнении VACUUM команды в таблице Delta. Ознакомьтесь с документацией по OSS Delta.

Поддержка функций сжатия Zstandard

Теперь можно использовать функции zst_compress, zstd_decompress и try_zstd_decompress для сжатия и распаковки BINARY данных.

Планы запросов в пользовательском интерфейсе SQL теперь отображаются правильно PhotonWriteStage

При отображении в пользовательском интерфейсе write SQL команды в планах запросов неправильно отображались PhotonWriteStage как оператор. В этом выпуске пользовательский интерфейс обновляется для отображения PhotonWriteStage как этапа. Это изменение пользовательского интерфейса только и не влияет на выполнение запросов.

Обновления пользовательского интерфейса

Поддержка API:

• Теперь вы можете управлять назначениями уведомлений с помощью REST API. См . пункты назначения уведомлений.

27 июня 2024 г.

Фильтры строк и маски столбцов в представлениях Databricks SQL Материализованные представления и таблицы потоковой передачи — общедоступная предварительная версия

Фильтры строк и маски столбцов в представлениях Databricks SQL Материализованные представления и таблицы потоковой передачи — общедоступная предварительная версия. Выпуск общедоступной предварительной версии включает следующие изменения:

• Фильтры строк и маски столбцов можно добавить в представление databricks SQL Materialized или потоковую таблицу.

  • Вы можете определить материализованные представления Databricks SQL или потоковые таблицы в таблицах, включающих фильтры строк и маски столбцов.

  См. статью CREATE MATERIALIZED VIEW и CREATE STREAMING TABLE.

Обновления пользовательского интерфейса

Визуализации:

• Улучшенная интерактивность при отображении подсказок при наведении указателя мыши на круговую, точечную и тепловую диаграмму с множеством точек данных.

Обозреватель каталогов:

• Обновленный пользовательский интерфейс обозревателя каталогов упрощает обнаружение и избранное последних ресурсов каталога Unity из представления быстрого доступа . Интерфейс навигации также был упрощен, что позволяет изучать вычислительные ресурсы, хранилище, учетные данные, подключения, DBFS и сведения об управлении с помощью параметров в левом верхнем углу экрана. Разностный общий доступ, чистые комнаты и внешние данные теперь имеют выделенные страницы.

6 июня 2024 г.

Исправление для материализованных представлений и таблиц потоковой передачи Databricks SQL

Проблема, из-за ALTER SCHEDULE которой запросы к материализованным представлениям Databricks SQL и таблицам потоковой передачи вступают в силу только после устранения следующей операции REFRESH. ALTER SCHEDULE Теперь запросы применяются немедленно. См. статью " Расписание материализованных" обновлений представления.

Материализованные представления и таблицы потоковой передачи в Databricks SQL — общедоступная предварительная версия

Материализованные представления и таблицы потоковой передачи в Databricks SQL доступны для всех клиентов. Общедоступный предварительный выпуск включает следующие изменения:

• REFRESH Материализованные представления и потоковые таблицы в Databricks SQL теперь синхронны по умолчанию. См. статью REFRESH (МАТЕРИАЛИЗОВАННОЕ ПРЕДСТАВЛЕНИЕ или ПОТОКОВАЯ ТАБЛИЦА).

  • Ошибки, возникающие во время операции обновления материализованного представления или потоковой таблицы Databricks SQL, возвращаются в редакторе SQL.

  Сведения об использовании материализованных представлений и потоковых таблиц в Databricks SQL см. в статье "Использование материализованных представлений в Databricks SQL и загрузка данных с помощью потоковых таблиц в Databricks SQL".

Обновления пользовательского интерфейса

Панели мониторинга:

• Пользователи учетной записи теперь могут скачать данные визуализации с опубликованных панелей мониторинга
• Теперь неопубликованные панели мониторинга можно публиковать с помощью раскрывающегося списка "Черновик" или "Публикация " в верхней части панели мониторинга.
• Исправлена проблема, из-за которой не обнаружено именованное ограничение параметров.

Визуализации:

• Улучшенная отрисовка графиков в темном режиме.

Аналитика запросов:

• Для всех записных книжек, подключенных к хранилищам SQL, можно получить доступ к профилю запроса, щелкнув "Просмотреть производительность " в ячейке, содержащей запрос. Если ячейка содержит несколько запросов, для каждой инструкции предоставляется ссылка на профиль запроса.

30 мая 2024 г.

Новый уровень разрешений для хранилищ SQL

Может отслеживать разрешения, позволяющие пользователям отслеживать хранилища SQL, включая связанные профили журнала запросов и запросов. Разрешение "Может отслеживать " теперь в общедоступной предварительной версии. См . списки управления доступом к конечным точкам поиска вектора.

Обновления пользовательского интерфейса

Улучшения панели мониторинга:

• Добавлено меню кебаб в мини-приложения панели мониторинга для скачивания изображений и данных.
• Пользователи могут перенести устаревшие параметры панели мониторинга с поддержкой запросов и раскрывающийся список параметров на панели мониторинга.

23 мая 2024 г.

Обновления пользовательского интерфейса

• Теперь можно выбрать несколько элементов в рабочей области для перемещения или удаления. При выборе нескольких объектов отображается панель действий и предоставляет параметры перемещения или удаления элементов. Кроме того, можно выбрать несколько элементов с помощью мыши и перетащить их в новое расположение. Существующие разрешения на объекты по-прежнему применяются во время операций массового перемещения и удаления.
• Теперь вы можете пометить ресурсы каталога Unity как избранное в обозревателе каталогов и браузере схем. К ним относятся каталоги, схемы, таблицы, модели, тома и функции. Ресурсы каталога Unity, отмеченные как избранное, легко доступны на домашней странице Azure Databricks.

Обновления панели мониторинга:

• Диаграммы со списком двойной оси теперь правильно отображают условные обозначения панели на правой оси и условные обозначения линий соответствующим образом.
• Теперь диаграммы двойной оси теперь правильно отображают метки на полосах.

Обновления визуализаций:

• Метки условного формата редактора таблиц для тех, если и теперь поддерживают темный режим.
• Значок избыточной открытой ссылки был удален из подсказок формата редактора таблиц.
• Метка цвета шрифта по умолчанию в редакторе таблиц теперь выравнивается автоматически.

16 мая 2024 г.

Расписание развертывания

• Предварительный выпуск для версии 2024.25: завершено 1 мая
• Текущее развертывание для 2024.25: с 14 мая по 21 мая

Примечание.

Обновление до библиотеки Python panda (версия 2.0.3) вызвало критическое изменение в Databricks SQL версии 2024.20. Azure Databricks не развернула версию 2024.20 в текущем канале. Вместо этого канал предварительной версии был обновлен до 2024.25 1 мая 2025 года. Текущий выпуск канала выходит непосредственно с 2024.15 по 2024.25.

Изменения в версии 2024.25

Управление данными

Парольное руководство и элементы управления доступом к таблицам Hive не рекомендуется.

Сквозное руководство по учетным данным и управление доступом к таблицам Hive являются устаревшими моделями управления данными. Обновите каталог Unity, чтобы упростить безопасность и управление данными, предоставив централизованное место для администрирования и аудита доступа к данным в нескольких рабочих областях в вашей учетной записи. См. статью Что такое Unity Catalog?

Поддержка сквозных учетных данных и управления доступом к таблицам Hive будет удалена в предстоящей версии DBR.

Функции языка SQL

Предложение * (star) теперь поддерживается в предложении WHERE.

Теперь можно использовать в предложении звездочку WHERE (*) для ссылки на все столбцы из SELECT списка. Например, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Поддержка хранилища Cloudflare R2 для предотвращения исходящих сборов между регионами с 2024.15

Теперь вы можете использовать Cloudflare R2 в качестве облачного хранилища для данных, зарегистрированных в каталоге Unity. Cloudflare R2 предназначен в основном для вариантов использования Delta Sharing, в которых вы хотите избежать сборов за исходящий трафик данных, взимается поставщиками облачных служб при пересечении данных между регионами.

Хранилище Cloudflare R2 поддерживает все данные Databricks и ресурсы ИИ, поддерживаемые в Azure Data Lake Storage 2-го поколения.

См. статью "Использование реплик Cloudflare R2" или миграции хранилища в R2 и создание учетных данных хранения для подключения к Cloudflare R2.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

Обновления обнаружения данных: мастер обновления метаданных Hive в каталоге Unity поддерживает обновление управляемых таблиц хранилища метаданных Hive с помощью всех целевых вычислений или хранилищ SQL. Обновление более 20 таблиц создает новую записную книжку, содержащую SYNC команды AND ALTER TABLE , которые выполняют преобразование.

Обновления панели мониторинга:

• Функции двойной оси теперь доступны для типов точечной диаграммы, области, линейчатой линии и точечной диаграммы.
  • При включении двухосьевой диаграммы заголовок и диапазон осей больше не копируются на вторичную ось.
  • Последнее поле, определенное в конфигурации визуализации, автоматически перемещается на ось y справа.

9 мая 2024 г.

Исправления редактора SQL:

• Функции буфера обмена таблицы результатов администратора теперь применяются к новой таблице результатов редактора SQL.

Улучшения панели мониторинга:

• Параметры на основе запросов позволяют авторам определять список доступных для выбора значений, которые средства просмотра могут использовать в качестве параметров для других визуализаций на холсте панели мониторинга. См. раздел "Использование параметров на основе запросов".
• Порядок столбцов в файлах, скачанных из мини-приложения таблицы, теперь сохраняется.
• Теперь редактор таблиц включает подсказки наведения указателя, отображающие имена столбцов.
• При переходе с других типов визуализаций на гистограмму кодирование сведений теперь лучше сохраняется.

Исправления панели мониторинга:

• Исправлена проблема, из-за которой один фильтр высоты сетки отображал ненужную полосу прокрутки переполнения.
• Исправлена проблема, из-за которой неправильно отрисовывали визуализации на опубликованных панелях мониторинга, в которых был удален столбец набора данных со ссылкой.

2 мая 2024 г.

Обновления панели мониторинга:

• Теперь запросы и визуализации можно скопировать на новую панель мониторинга из редактора SQL. Визуализации по-прежнему можно добавлять в устаревшие панели мониторинга из редактора SQL. См. статью "Изменить", скачать или добавить на панель мониторинга.
• Теперь панели мониторинга будут поддерживать кэш результатов 24 часа для оптимизации времени начальной загрузки. См . статью "Оптимизация набора данных" и кэширование.
• Линейчатые диаграммы с категориальными X и количественными Y теперь сортируются в ответах Помощника Databricks.
• Исправлена проблема миграции с устаревшей гистограммой COUNT (*) , чтобы обеспечить точную миграцию.
• Реализована возможность смешивания числовых типов и типов дат в мини-приложении фильтра.
• При создании диаграмм помощник Databricks теперь автоматически предлагает соответствующие столбцы при вводе.

Обновления визуализации:

• Выбранный пользователем цвет для таблиц теперь сохраняется в светлых и темных режимах в устаревших диаграммах.
• Улучшена логика усечения данных для повышения производительности в диаграммах со списком, круговой, тепловой карты и гистограммы.
• Отметка галочки теперь всегда отображается в верхней части количественной оси для базовых диаграмм.

23 апреля 2024 г.

Обновления пользовательского интерфейса:

• Для всех диалоговых окон общего доступа в пользовательском интерфейсе All Users группа была переименована All Workspace Usersв . Новое имя более точно отражает область группы, которая всегда включала пользователей, назначенных рабочей области. Изменения не вносятся в членство в группах в рамках этого переименования.

Улучшения панели мониторинга:

• При запуске хранилища SQL панели мониторинга появится диалоговое окно, чтобы объяснить время ожидания.
• Позиция прокрутки сохраняется при переключении между вкладками "Холст " и "Данные ".
• Клонирование устаревшей панели мониторинга для создания панели мониторинга Lakeview теперь поддерживает некоторые преобразования параметров. См. раздел "Настройка устаревших параметров".
• Относительные даты, такие как "Сегодня", "Завтра" и "7 дней назад", теперь поддерживаются для параметров даты и даты.
• Ползунки диапазона чисел можно добавить в качестве фильтров на панели мониторинга.
• Гистограммы теперь могут отображать разделенные данные.
• Точечная диаграмма теперь поддерживает кодировку размера.

Исправления панели мониторинга:

• Кодировка темпоральных цветов теперь может правильно изменять назначения цветов.

Обновления визуализации:

• Пользовательские форматы инструментов теперь работают правильно для диаграмм с несколькими оси.
• Новый тег предварительной версии диаграмм удаляется, когда пользователи не изменили переключатель за последние 14 дней.

18 апреля 2024 г.

Панели мониторинга Lakeview являются общедоступными

Панели мониторинга Lakeview теперь являются средством мониторинга по умолчанию. Они были переименованы в качестве панелей мониторинга в пользовательском интерфейсе. Панели мониторинга SQL Databricks теперь называются устаревшими панелями мониторинга. Имена связанных средств API не изменились.

• Улучшения панели мониторинга:
  • Журналы аудита доступны для панелей мониторинга Lakeview. См . события панелей мониторинга.
  • Данные, скачанные с панелей мониторинга, учитывают примененные параметры.
  • Помощник по Databricks включен на вкладке "Данные " без добавления наборов данных.
  • Стекированные линейчатые диаграммы с несколькими полями Y могут поддерживать сортировку оси X на основе суммы значений оси Y.
  • Переключение между функциями линейного и симметричного масштабирования в меню осей визуализации.
  • Размер мини-приложения фильтра по умолчанию теперь более компактный.
  • Начальное время загрузки мини-приложения фильтра ввода текста сократилось.
  • Улучшены автоматические преобразования диаграмм при миграции с устаревших панелей мониторинга.
• Исправления панели мониторинга:
  • Предупреждение о параметрах ограниченного просмотра не отображается, если панель мониторинга была предоставлена другим пользователям.
  • Сообщения об ошибках в редакторе SQL вкладки "Данные " теперь включены в темном режиме.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Улучшения:

• Подсказки на диаграммах с накоплением теперь отображают значение стека и процент по умолчанию.
• Подсказки для диаграмм с несколькими оси теперь выделяют наведенный элемент.
• Визуализации таблиц для Databricks SQL теперь адаптируют новый тип данных результата запроса при редактировании в редакторе SQL.
• В таблице журнала запросов обозревателя каталогов отображается дерево, например представление о присвоении источника запросов. Это можно использовать для просмотра того, какие сущности активировали инструкцию запроса для выполнения.

11 апреля 2024 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Улучшения:

• Теперь можно сгруппировать по процентам при создании визуализаций в Databricks SQL и записных книжках.
• Для новых диаграмм (в общедоступной предварительной версии) можно увеличить масштаб по одной оси, щелкнув и перетащив прямую линию параллельно с осью.
• Общий пользовательский интерфейс списка разрешенных кластеров каталога Unity теперь общедоступен. Вы можете получить доступ к нему на странице сведений о хранилище метаданных в обозревателе каталогов. Узнайте , как добавить элементы в список разрешений.
• Формы для создания и редактирования внешних расположений теперь открываются в виде полной страницы. Они включают параметр включения учетных данных хранения.

Исправления:

• Исправлена проблема для гистограммных диаграмм, в которых отрицательные значения были ошибочно помечены как положительные.

4 апреля 2024 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Улучшения:

• Улучшения гистограммных диаграмм на панелях мониторинга Lakeview.

  • Добавлена поддержка меток.
  • Параметры корзины теперь сохраняются при переключении между различными полями.

• Коллекция примеров на странице описания панели мониторинга теперь создает панели мониторинга Lakeview. См . руководство. Использование примеров панелей мониторинга.

• Щелкнув правой кнопкой мыши границу мини-приложения на панели мониторинга Lakeview, откроется контекстное меню.

• Панель навигации слева сохраняется для пользователей рабочей области, просматривая опубликованные панели мониторинга Lakeview.

• Выбор фильтров сохраняется при переходе между опубликованными и черновиками панелей мониторинга Lakeview.

• Теперь имена столбцов можно вставить в редактор SQL при редактировании запроса на вкладке "Данные " в черновике панели мониторинга Lakeview.

• Замена панели мониторинга Lakeview сохраняет существующее имя панели мониторинга и заменяет содержимое.

• Переключение визуализаций между тепловыми картами и другими типами диаграмм теперь сохраняет соответствующие поля лучше.

Исправления:

• Линейчатые диаграммы с кодировками цветов теперь правильно ограничивают добавление нескольких полей оси Y.
• Устранена проблема, из-за которой кнопка "Скачать как PNG " отсутствует в некоторых визуализациях.
• Исправленное форматирование для отрицательных целых чисел, которые ранее отсутствуют тысячи разделителей.
• Исправлено неправильное размещение линии наведения указателя мыши при наведении указателя на метки на линейные диаграммы.

28 марта 2024 г.

Доступно databricks SQL версии 2024.15

Расписание развертывания

• Предварительная версия развертывания для 2024.15: с 14 февраля по 4 марта
• Текущее развертывание для 2024.15: между 25 марта и 8 апреля

Изменения в версии 2024.15

Разностные обновления

• Delta UniForm теперь общедоступен: UniForm теперь общедоступен и использует функцию таблицы IcebergCompatV2. Теперь вы можете включить или обновить UniForm в существующих таблицах. См. раздел "Использование UniForm" для чтения таблиц Delta с клиентами Iceberg.
• Перекомпьютерировать статистику пропуска данных для таблиц Delta: теперь можно перекомпьютировать статистику, хранящуюся в журнале Delta после изменения столбцов, используемых для пропуска данных. См. раздел "Указание столбцов статистики delta".

Обновления языка SQL

• Объявите временные переменные в сеансе SQL: этот выпуск представляет возможность объявлять временные переменные в сеансе, который можно задать, а затем ссылаться на запросы. См . переменные.
• Поддержка формата собственного XML-файла (общедоступная предварительная версия ): поддержка формата собственного XML-файла теперь доступна в общедоступной предварительной версии. Поддержка формата XML-файла позволяет получать, запрашивать и анализировать XML-данные для пакетной обработки или потоковой передачи. Он может автоматически выводить и развивать схемы и типы данных, поддерживать такие выражения SQL, как from_xmlи создавать XML-документы. Он не требует внешних jar-модулей и работает без проблем с автозагрузчиком, read_filesи COPY INTOразностными динамическими таблицами. См. статью "Чтение и запись XML-файлов".

Обновления APACHE Spark SQL

Databricks SQL 2024.15 включает Apache Spark 3.5.0. Дополнительные исправления ошибок и улучшения для SQL перечислены в заметке о выпуске Databricks Runtime 14.3. Ознакомьтесь с Apache Spark и найдите [SQL] тег для полного списка.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

• На новой вкладке обзора на странице сущности обозревателя каталогов отображаются важные метаданные, такие как файлы, источник данных, владелец, схема таблицы и примечания.

• Обновления панели мониторинга Lakeview:

  • Панели мониторинга Lakeview теперь поддерживают параметры. Авторы могут добавлять параметры в запросы набора данных на вкладке "Данные ", а затем задавать параметры на холсте с помощью селекторов с одним значением и средств выбора дат. См. статью " Работа с параметрами панели мониторинга".
  • Панели мониторинга Lakeview теперь поддерживаются в API разрешений рабочей области. См. статью PATCH /api/workspace/workspace/updatepermissions в справочнике по REST API.
  • Мини-приложения управления на холсте были переименованы в "Фильтр мини-приложений".
  • Диаграммы со списком больше не разрешают разделенные поля на оси x.
  • Кнопка "Копировать ссылку " в диалоговом окне "Общий доступ" теперь содержит параметры, хранящиеся в URL-адресе.
  • Мини-приложения на опубликованных панелях мониторинга больше не отображают границы при наведении указателя мыши.
  • Устранена проблема, из-за которой кнопки Databricks Assistant и Download PNG перекрываются с визуальными элементами диаграммы.

• Переключение визуализаций между тепловыми картами и другими типами диаграмм теперь лучше сохраняет соответствующие поля.

• Линейчатые диаграммы с кодировками цветов теперь правильно ограничивают добавление нескольких полей оси Y.

21 марта 2024 г.

• Модель каталога Unity теперь доступна в общедоступной предварительной версии.

Теперь представление таблицы в обозревателе каталогов содержит вкладку "Обзор ", чтобы описать свои основные метаданные.

• Хранилища SQL для записных книжек, теперь общедоступные, позволяют использовать полностью управляемые, мгновенные и масштабируемые вычислительные ресурсы для рабочих нагрузок SQL в полнофункциональную среду совместной разработки записной книжки. См . статью "Использование записной книжки с хранилищем SQL".

Следующие исправления и улучшения применяются к панелям мониторинга Lakeview:

• Расширенная поддержка API для Lakeview добавляет возможность создавать, получать, обновлять и корзины панели мониторинга. См . справочник по REST API в Lakeview .
• Добавлена кнопка обновления для браузера каталога на вкладке "Данные ".
• Панели мониторинга Lakeview теперь отображаются перед панелями мониторинга в меню "Создать " на боковой панели рабочей области. На странице описания панели мониторинга вкладка "Панели мониторинга Lakeview" отображается слева от вкладки "Панели мониторинга".
• Интерфейс Помощника Databricks для Lakeview был обновлен с помощью поля ввода и предложений, чтобы повысить удобство обнаружения и помочь пользователям понять запросы, которые они могут представлять.
• Визуализации Lakeview теперь поддерживают агрегаты медиана.
• Обновлен средство выбора цветов в редакторе визуализации панели мониторинга Lakeview для более упрощенного взаимодействия с пользователем при создании таблиц.
• Улучшена миграция круговой диаграммы для поддержки исключительно сценариев с определениями угла или цвета.
• Исправлена ошибка, предотвращающая группирование по именованным диаграммам. Теперь диаграммы можно сгруппировать по полям с именем count.
• Для линейчатых диаграмм элементы управления макетом групп и стека теперь скрыты, если это не применимо к выбранной пользователем конфигурации.

14 марта 2024 г.

Для панелей мониторинга Lakeview:

• Гистограммы теперь поддерживают пользовательские категориальные цвета.

  • Тепловые карты теперь поддерживают количественные шкалы.
  • Названия и описания сохраняются при переключении между типами визуализаций, включая диаграммы со списком.
  • Теперь можно открыть базовый набор данных, связанный с мини-приложением черновика панели мониторинга, щелкнув его правой кнопкой мыши. Набор данных откроется на вкладке "Данные ".

• Новые диаграммы теперь применяют псевдонимы и настраиваемые цвета для значений NULL в числовых столбцах.

• Новые диаграммы теперь отображают галочки, чтобы отобразить верхнюю часть оси y.

7 марта 2024 г.

• При просмотре таблицы в обозревателе каталогов кнопка "Создать " включает возможность создания панели мониторинга Lakeview, а не панели мониторинга Databricks SQL.

• Гистограммы теперь доступны для панелей мониторинга Lakeview. Гистограммы обычно используются для визуализации распределения числового поля.

• При клонирование панели мониторинга Databricks SQL для создания панели мониторинга Lakeview проблемы преобразования набора данных теперь отображаются как ошибки в новом мини-приложении на панели мониторинга Lakeview.

• Цветовые градиенты доступны, если числовое поле используется для визуализации на панели мониторинга Lakeview.

• Градиенты цветов теперь предоставляются в редакторе визуализации панели мониторинга Lakeview при указании цвета по полю .

• Название и описание, связанные с визуализацией, больше не отображаются редактируемыми, если средство просмотра не имеет прав редактирования привилегий на панели мониторинга Черновика Lakeview.

• Исправлена проблема, из-за которой подсказки в диаграммах с более чем 100 сериями неправильно показали все ряды. Теперь отображается только фокусный ряд.

• Сокращение задержки ввода в редакторе SQL на 30 % с помощью оптимизации производительности.

• При управлении запросами в редакторе SQL перемещение запроса в корзину автоматически закрывает вкладку.

• Исправлена проблема в редакторе SQL, в которой текст был случайно выбран при настройке ширины боковой панели.

29 февраля 2024 г.

• В браузере схемы в обозревателе каталогов теперь отображаются ограничения первичного и внешнего ключа столбца.

• Время хранения, показанное на вкладке "Происхождение" в обозревателе каталогов, увеличилось до одного года.

• Подсказки на новых диаграммах в записных книжках теперь всегда отображаются внутри границы визуализации.

• Узнайте, как программно управлять панелями мониторинга Lakeview с помощью REST API. См. раздел "Управление панелями мониторинга с помощью API рабочей области".

• Панели мониторинга Lakeview теперь поддерживают гистограммы.

• Улучшен общий доступ и публикация на панелях мониторинга Lakeview:

  • Улучшены диалоги общего доступа и публикации, что позволяет безопасно и легко предоставлять общий доступ любому пользователю учетной записи.
  • Панели мониторинга, открытые в браузере рабочей области, показывают опубликованную панель мониторинга, если она существует. Теперь зрители могут просматривать сведения о последней опубликованной версии, включая издателя, время и учетные данные.
  • Для редакторов новый раскрывающийся список в пользовательском интерфейсе панели мониторинга Lakeview позволяет быстро перемещаться между черновиками и опубликованными версиями.

Февраль 22, 2024

• Усовершенствования вкладки "Примеры данных" в представлении таблицы обозревателя каталогов позволяют сортировать столбцы, копировать выбранные данные в буфер обмена и просматривать номера строк. Теперь можно лучше отображать специальные значения, такие как объекты JSON, даты, числовые и пустые значения.

• Панели мониторинга Lakeview теперь поддерживают отправку периодических моментальных снимков PDF панели мониторинга пользователям рабочей области и назначениям уведомлений. См . сведения о расписаниях и подписках.

• Список параметров визуализации в раскрывающемся списке Lakeview теперь отсортирован по алфавиту.

• При копировании панелей мониторинга Databricks SQL в панели мониторинга Lakeview мини-приложения, которые теперь не могут быть преобразованы, отображают средство выбора конфигурации визуализации вместо сообщения об ошибке.

15 февраля 2024 г.

• Документация по фильтрам запросов на основе кода, например SELECT action AS 'action::filter', была удалена. Databricks рекомендует обновлять запросы для удаления этого шаблона.

• Для панелей мониторинга Lakeview круговая диаграмма теперь отображает срезы равных размеров, если поле угла не указано.

• Lakeview теперь поддерживает диаграммы со списком, которые объединяют линейчатые и линейные диаграммы для отображения двух разных значений на одной диаграмме.

• Диаграммы тепловой карты, использующие интенсивность цвета для отображения величины корреляции между двумя дискретными переменными, теперь доступны в Lakeview.

8 февраля 2024 г.

• Теперь вы можете запросить доступ при открытии ссылки на панель мониторинга Lakeview, в ней нет разрешений.
• Теперь фильтры панели мониторинга Lakeview имеют явные параметры "Все " и "Нет ". Авторы могут скрыть параметр All в отдельных фильтрах выбора.
• Теперь можно задать минимальные и максимальные значения осей на диаграммах панели мониторинга Lakeview.

1 февраля 2024 г.

Доступно databricks SQL версии 2024.10

Расписание развертывания

• Предварительный выпуск для 2024.10: между 30 января 2024 г. и 5 февраля 2024 г.
• Текущее развертывание для 2024.10: с 13 февраля 2023 по 20 февраля 2024 г.

Изменения в версии 2024.10

• Исправлена обработка поврежденных файлов в командах DML: команды DML и UPDATEMERGE INTO больше не учитывают параметры ignoreCorruptFiles чтения иignoreMissingFiles.DELETE При обнаружении непрочитанного файла в таблице эти команды теперь завершаются ошибкой, даже если эти параметры указаны.
• Параллелизм на уровне строк является общедоступным и по умолчанию: параллелизм на уровне строк уменьшает конфликты между параллельными операциями записи, обнаруживая изменения на уровне строк. Параллелизм на уровне строк поддерживается только в таблицах без секционирования, включая таблицы с отказоустойчивой кластеризностью. Параллелизм на уровне строк включен по умолчанию в разностных таблицах с включенными векторами удаления. См. статью "Конфликты записи с параллелизмом на уровне строк".
• Неглубокий клон для внешних таблиц каталога Unity (общедоступная предварительная версия): теперь можно использовать неглубокое клонирование с внешними таблицами каталога Unity. См . раздел "Мелкий клон" для таблиц каталога Unity.
• Быстрая многопоточная сбор статистики: сбор статистики составляет до 10 раз быстрее на небольших кластерах при выполнении CONVERT TO DELTA или клонации из таблиц Iceberg и Parquet. См. статью "Преобразовать в Delta Lake " и добавочно клонировать таблицы Parquet и Iceberg в Delta Lake.
• Фильтры pushdown в разностных файлах DeltaSource: для улучшения использования фильтры секций в потоковых запросах потоковой передачи разностных таблиц теперь отправляются в Delta до ограничения скорости.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

• Вкладка "Представление администратора" на страницах с описанием объектов SQL Databricks (запросы, панели мониторинга и оповещения) была удалена. Пользователи администраторов рабочей области могут просматривать все объекты на соответствующих страницах списка. См. статью "Доступ" и управление сохраненными запросами, устаревшими панелями мониторинга и оповещениями Databricks SQL?.

• На странице журнала запросов отображаются запросы за последние 24 часа по умолчанию. См . журнал запросов.

• В пользовательский интерфейс панели мониторинга Databricks SQL добавлен параметр меню "Клонировать на панель мониторинга Lakeview". Это средство можно использовать для создания панели мониторинга Lakeview, которая включает те же запросы и визуализации в существующих панелях мониторинга Databricks SQL. См . статью клонирование устаревшей панели мониторинга на панель мониторинга AI/BI.

• Линейчатые диаграммы на панелях Lakeview поддерживают стековые полосы для нормализации до 100 %.

• Исправлена проблема, из-за которой увеличение масштаба на опубликованной панели мониторинга Lakeview привело к фокусу на неправильных интервалах масштабирования.

24 января 2024 г.

• Холст панели мониторинга Lakeview автоматически настраивает размещение мини-приложений, чтобы удалить пустое вертикальное пробелы между строками, когда это возможно.
• Сокращено пробелы между заголовком и текстом описания в визуализациях панели мониторинга Lakeview.

18 января 2024 г.

• Исправлена проблема отрисовки для визуализаций, в которых линейчатые диаграммы с одной датой на оси x привели к очень тонкой полосе. Новые визуализации диаграммы отображаются должным образом.

• На странице описания панели мониторинга Lakeview отображаются панели мониторинга по умолчанию. Фильтры на этой странице можно использовать для доступа к панелям мониторинга Lakeview, принадлежащим другим пользователям рабочей области.

11 января 2024 г.

• API-интерфейсы запросов и панелей мониторинга Databricks поддерживают изменение параметра роли запуска от имени программно.

• Lakeview поддерживает экспорт и импорт панелей мониторинга в виде файлов для упрощения воспроизведения черновиков панелей мониторинга в рабочих областях. См. статью "Экспорт, импорт или замена панели мониторинга"

4 января 2024 г.

• В обозревателе каталогов появились схемы связей первичных ключей и внешних ключей. Просмотр схемы связей сущностей.

21 декабря 2023 г.

• Тип визуализации Счетчика Lakeview отображает цвета при сравнении BigInt значений в основных полях "Значение " и "Целевой ".

• Подсказки, которые отображаются при переключлении видимости столбца в таблицах в Lakeview, были улучшены. Они ведут себя должным образом и не сохраняются.

• Теперь пользователи могут использовать Помощник по Databricks для создания визуализаций в Lakeview. См. статью "Создание визуализаций с помощью Помощника по Databricks".

• Для новых диаграмм диаграмм тип тепловой карты учитывает обратный параметр.

• Исправлена проблема с производительностью отрисовки записных книжек с большим количеством визуализаций.

14 декабря 2023 г.

• Исправлена ошибка, из-за которой панели мониторинга Lakeview не отображались на странице описания Lakeview без обновления страницы вручную.
• Используйте экранный ключ, чтобы отменить создание мини-приложения Lakeview при его размещении на холсте.
• В обозревателе каталогов теперь отображаются индексы векторного поиска в пользовательском интерфейсе в рамках общедоступной предварительной версии поиска векторных векторов мозаики.

7 декабря 2023 г.

Обновления пользовательского интерфейса

• Панели мониторинга Lakeview можно добавлять в избранное для быстрого доступа.

• При разработке панели мониторинга Lakeview поддерживаются сочетания клавиш копирования и вставки. Кроме того, ключ удаления удаляет выбранные мини-приложения.

• Расширенные заголовки и описания мини-приложений Lakeview, чтобы предотвратить вырезку текста во время загрузки.

• Исправлена проблема форматирования визуализации, из-за которой большие целые значения ошибочно отображались в виде с плавающей запятой.

• Исправлена проблема с панелями мониторинга SQL Databricks, в которых развернутые представления диаграмм иногда отображались пустыми диаграммами.

• Линейчатые диаграммы с количественными полями на осях X и Y отображают более понятные метки данных.

• Исправлена проблема в редакторе SQL, чтобы таблицы с словом stream в заголовке больше не конфликтуют с зарезервированным ключевым словом. Теперь эти таблицы отображаются как ожидалось в браузере схемы и не выделены ошибки.

• Страница журнала запросов теперь поддерживает изменение размера столбцов и выбор столбцов.

• Страница журнала запросов поддерживает два новых столбца: источник запроса и тип источника запроса.

• Параметры бизнес-аналитики, такие как Tableau и Power BI, проще найти в обозревателе каталогов на соответствующих страницах.

30 ноября 2023 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

• Круговые диаграммы в Lakeview теперь могут иметь настраиваемые цветовые назначения.

• Преобразования визуализации в Lakeview теперь сохраняются при переключении между совместимыми типами полей.

• Добавлены параметры заголовка для угловых каналов круговой диаграммы Lakeview.

• Раскрывающийся список набора данных Lakeview теперь доступен для упрощения навигации.

• Lakeview поддерживает полночисленное отображение значений в возрасте до 10 000, устраняя аббревиаты.

• Добавлена возможность для полей категориальных дат цветового кода в Lakeview.

• Теперь пользователи Lakeview могут выделить условные обозначения диаграммы с курсором для копирования и вставки значений.

• Круговые диаграммы в Lakeview теперь имеют параметр переключателя метки.

• Стандартизован цвет синего цвета по умолчанию для всех визуализаций Lakeview.

• Значки столбцов Lakeview в преобразованиях теперь последовательно соответствуют используемому методу преобразования.

• Элементы управления в панели редактирования Lakeview теперь автоматически упаковываются для повышения удобочитаемости.

• Выпущен расширенный редактор цветов для визуализаций Lakeview.

• Элемент управления для условий шрифта таблицы в Lakeview теперь упаковывается для улучшения readabilty.

• Улучшена совместимость темного режима для меток в новых диаграммах.

• Новые диаграммы теперь последовательно определяют приоритеты меток в полосах.

• Исправлена ошибка, из-за которой некоторые действия меню правой кнопкой мыши не работали в редакторе SQL.

16 ноября 2023 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

• Запросы, оповещения и панели мониторинга Databricks SQL имеют новый планировщик и интерфейс планирования.

• Мини-приложения Lakeview теперь проще изменять размер из-за более крупной зоны триггера изменения размера.

• Теперь администраторы рабочей области могут изменить владельца панели мониторинга Lakeview. В режиме редактирования на панели мониторинга Lakeview:

  • Нажмите кнопку "Общий доступ"
  • Щелкните .
  • Нажмите кнопку " Назначить нового владельца"

• Пользователи могут переключать метки в Lakeview или отключать их.

Визуализации:

• Новые метки диаграмм теперь настоятельно предпочитают находиться внутри панели, когда это возможно.
• Новые метки диаграмм теперь отображаются правильно на сложенных полосах, которые достаточно широки, чтобы отобразить всю метку.
• Цвета меток внутри линейчатых диаграмм теперь более согласованны.

9 ноября 2023 г.

Изменения в версии 2023.50:

Главное:

• Теперь вы можете использовать вызов именованных параметров в SQL и Python UDF.

Обновления языка SQL: добавлены следующие встроенные функции:

• from_xml: анализирует XML-файл STRING в STRUCT.
• schema_of_xml: наследует схему из XML STRING.
• session_user: возвращает пользователя, вошедшего в систему.
• try_reflect: возвращает вместо исключения, если метод Java завершается NULL ошибкой.

Были улучшены следующие встроенные функции:

• вызов функции. Аргументы таблицы для функций поддерживают секционирование и упорядочение: теперь можно использовать PARTITION BY и ORDER BY предложения для управления передачем аргументов таблицы функции.
• mode: поддержка необязательного параметра, заставляющего детерминированный результат.
• to_char: новая поддержка DATE, TIMESTAMPи BINARY.
• to_varchar: новая поддержка DATE, TIMESTAMPи BINARY.
• array_insert() имеет значение 1 для отрицательных индексов: array_insert функция основана на 1 для положительных и отрицательных индексов. Теперь он вставляет новый элемент в конец входных массивов для индекса -1.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Визуализации:

• Подсказки для новых диаграмм отображают только наведенные элементы для диаграмм высокой кратности.
• Новые диаграммы автоматически выравнивают диаграммы с двумя оси от нуля.
• Диаграммы изменили повернутую метку и направление угла текста оси с -90 до 90 градусов.
• Диаграммы теперь используют ширину метки для выбора поворота.

Панели мониторинга Lakeview:

• Исправление. Строки таблиц на панелях мониторинга Lakeview больше не добавляют вертикальное заполнение, если возвращаются только небольшое количество строк.
• Клонирование нового мини-приложения панели мониторинга Lakeview сначала пытается поместить клон справа от исходного, если на холсте достаточно места. Если недостаточно места, клон помещается ниже исходного.
• Теперь вы можете переназначить владельца панели мониторинга Lakeview с помощью диалогового окна "Общий доступ".

Редактор SQL: автозавершение теперь менее агрессивное и автоматически закрывается в конце инструкций

2 ноября 2023 г.

Улучшения:

Ниже приведены улучшения в происхождении панели мониторинга Lakeview:

• Добавлены различные значки для таблиц, представлений и материализованных представлений.
• Добавлена поддержка вертикальной прокрутки в случае большого количества источников данных вышестоящего потока.
• Улучшено сообщение об ошибке, если средство просмотра не имеет разрешений на вышестоящий объект.
• Уточняющий обмен сообщениями вокруг примеров таблиц данных и данных HMS.
• Добавлены теги значений ключа для вышестоящих источников данных.

Исправление:

• Исправлена проблема в новых диаграммах, которые препятствовали отрисовке после переименования ряда с логическими значениями.

26 октября 2023 г.

Изменения в Databricks SQL версии 2023.45

Главное:

• Прогнозный ввод-вывод для обновлений теперь общедоступен. См. сведения о прогнозном вводе-выводе?
• Теперь доступны векторы удаления. См. векторы удаления?

Оптимизация запросов:

• Удалено внешнее соединение, если они являются всеми отдельными статистическими функциями. SPARK-42583
• Оптимизирован порядок фильтрации предикатов. SPARK-40045

Обновления функций SQL:

• Добавлена поддержка разрешения псевдонима Aggregateнеявного бокового столбца. SPARK-41631
• Поддержка неявного бокового псевдонима столбца в запросах с окном. SPARK-42217
• Поддержка Datasketches HLLSketch. См . hll_sketch_agg агрегатную функцию.
• Добавлена try_aes_decrypt() функция. См . try_aes_decrypt функцию.
• Поддержка режима CBC для aes_encrypt() и aes_decrypt(). См . aes_decrypt функцию.
• Добавьте псевдонимы функций 3-args DATE_ADD и DATE_DIFF.
• Добавлена поддержка aes_encrypt IVs и AAD. SPARK-43290
• Реализуйте функции растрового изображения. SPARK-44154
• Добавлен to_varchar псевдоним для to_char. См . to_varchar функцию.
• Добавлена array_compact поддержка. См . array_compact функцию.
• Поддержка udf luhn_check. См . luhn_check функцию.
• Добавлена поддержка анализатора именованных аргументов для встроенных функций. SPARK-44059
• TABLE Поддержка правила синтаксического анализа аргументов для TableValuedFunction. SPARK-44200
• array_insert Теперь сбой с индексом 0. SPARK-43011
• NULL Добавлены значения для INSERT списков, указанных пользователем, меньше столбцов, чем целевая таблица. SPARK-42521
• DECODE функция возвращает неправильные результаты при передаче NULL. SPARK-41668

Обновления пользовательского интерфейса

Улучшения:

• Редактор SQL Lakeview теперь поддерживает сочетания клавиш для выполнения запросов.

• Фильтры в Lakeview теперь перечисляют быстрые относительные диапазоны дат за последние 7, 14, 28, 30, 60 и 90 дней.

• Периоды в именах полей данных больше не приводят к пустым диаграммам.

• Теперь браузер устаревшей схемы работает с каталогом Unity.

• Реализованы улучшения производительности для загрузки только активной вкладки в редакторе SQL, уменьшая начальное время загрузки до 20 %.

• Комментарии к таблицам, созданные ИИ в обозревателе каталогов, теперь общедоступны.

Исправления:

• Полосы на темпоральных линейчатых диаграммах теперь сосредоточены на отметке даты.
• Шаблоны меток данных с агрегатными выражениями теперь используют правильные числовые формататоры.
• Масштабирование новых диаграмм теперь работает с масштабируемым набором категориальных с использованием темпоральных данных.

Новая статья:

• Выпущена новая статья со всеми визуализациями Lakeview, включая снимки экрана и заметки, показывающие, как воссоздать каждую визуализацию на каждом снимке экрана. См . типы визуализаций панели мониторинга.

19 октября 2023 г.

Улучшения:

• Теперь доступно перетаскивание в браузере схемы.

• Модал "Выбор таблицы" на панелях мониторинга Lakeview упрощает выбор из всех таблиц в каталоге или схеме и теперь использует прогнозы автоматического завершения поиска при вводе.

Исправления:

• Инструкции по выбору условных обозначений указывают использование cmd пользователей Mac и пользователей ctrlWindows.

• Улучшенная видимость усеченных сообщений на панелях мониторинга Lakeview при превышении ограничений отрисовки данных.

• Диаграммы с усеченными данными отображают согласованные цвета, как показано в редакторе.

12 октября 2023 г.

Улучшения:

• Значения фильтра текста, содержащие специальные символы, теперь фильтруется правильно в панелях мониторинга Lakeview.

• Новые диаграммы поддерживают @@name метки данных на разбросанных диаграммах.

• Настраиваемые процентные форматы применяются к подсказкам сгруппированных диаграмм в новых диаграммах.

• Пользовательский интерфейс расширения привязки рабочей области — это общедоступная версия.

Исправления:

• Улучшенная отрисовка меток на новых диаграммах, чтобы предотвратить утечку меток за пределами границ диаграммы.
• Повышение контрастности линий галочки и сетки на новых диаграммах для улучшения видимости.
• Увеличил интервал метки оси для повышения удобочитаемости на новых диаграммах.

5 октября 2023 г.

Улучшения:

• Точные подсказки добавлены для действий в режиме публикации и происхождения дат на панелях мониторинга Lakeview.

• Условный формат и шаблоны ссылок в визуализациях таблиц Lakeview теперь поддерживают скрытые столбцы.

• Оптимизированная позиция меток для темпоральных диаграмм с широкой линейчатой диаграммой для повышения ясности в новых диаграммах.

• Визуализация счетчиков в Lakeview сохраняет свои преобразования даже после удаления других полей, обеспечивая согласованность.

• Наведении указателя мыши на ряд в диаграмме теперь смеяет окружающую серию в подсказке, чтобы улучшить удобочитаемость в новых диаграммах.

• Новые диаграммы, использующие процентные значения, теперь отображают подсказки с абсолютными значениями.

• Добавлена поддержка автозаполнения для создания томов.

• Закрытие неактивной вкладки больше не переключает вкладки.

• Выбранный запуск четко указывает при выделении текста.

Исправления:

• Улучшена формулировка сообщения об ошибке в таблицах сводной таблицы при усечении данных.

• Исправлена ошибка отрисовки в таблицах сводной таблицы, где цвета не отображались при использовании типов данных BigInt.

• При скачивании PNG в новых диаграммах с многочисленными элементами условных обозначений удален цветной символ для записей условных обозначений переполнения.

• Линии в новых диаграммах будут поддерживать согласованную толщину даже на самой верхней границе представления.

• В Lakeview, если набор данных не существует, средство выбора набора данных на холсте пусто.

• Разностные динамические таблицы правильно обнаруживаются средством синтаксического анализа SQL и не отображаются как недопустимые таблицы в браузере схем.

• Подсказки были добавлены на боковую панель.

28 сентября 2023 г.

Улучшения:

• Опубликованные панели мониторинга Lakeview теперь имеют кнопку обновления.

• Улучшены сообщения об ошибках для пользователей, у которых нет доступа к панели мониторинга Lakeview.

• Конфигурация фильтра на панелях мониторинга Lakeview теперь содержит допустимые поля в верхней части списка выбора.

• Скачивание диаграммы в виде PNG на панели мониторинга Lakeview теперь сохраняет заголовок и описание.

• Улучшение журнала разностных таблиц в обозревателе каталогов включает добавление фильтров для диапазона дат, типа пользователя и операции, а также сортируемых столбцов и встроенных ссылок на связанные задания и записные книжки.

• Поддержка темного режима, добавленная в условные обозначения, подсказки и визуализацию таблиц.

Исправление:

• Выбор фильтров больше не очищается при обновлении панели мониторинга Lakeview.

21 сентября 2023 г.

Улучшения:

• Улучшена производительность отрисовки таблицы сводной таблицы.
• Новый шаблон DuBois для табличных представлений происхождения в пользовательском интерфейсе.

14 сентября 2023 г.

Улучшение:

• Имена файлов теперь сохраняются при скачивании PNG в новых визуализациях диаграмм. См . новые визуализации диаграмм в Databricks.

7 сентября 2023 г.

Доступно Databricks SQL версии 2023.40

Расписание развертывания

• Предварительный выпуск для 2023.40: между 5 сентября 2023 г. и 11 сентября 2023 г.
• Текущее развертывание для 2023.40: между 18 сентября 2023 г. и 25 сентября 2023 г.

Изменения в версии 2023.40:

• Теги теперь доступны в каталоге Unity.
• Databricks Runtime возвращает ошибку, если файл изменяется между планированием запросов и вызовом.
• Поддержка драйвера ODBC/JDBC для Azure Databricks.
• Включите метку столбцов временных рядов.
• Новые функции SQL растрового изображения.
• Улучшены функции шифрования.
• Поддержка каталога Unity для REFRESH FOREIGN.
• Теперь поддерживается INSERT BY NAME.
• Предоставление общего доступа к материализованным представлениям с помощью разностного общего доступа.

Обновления пользовательского интерфейса

Улучшения:

• Новые диаграммы теперь доступны, благодаря более быстрой отрисовки, красивым цветам и улучшенной интерактивности. См . новые визуализации диаграмм в Databricks.

• В представлении графа профиля запроса теперь можно просмотреть тип соединения на любом узле, содержав соединение в плане запроса.

• Обозреватель данных переименован в обозреватель каталогов, чтобы распознать тот факт, что его можно использовать для работы со всеми защищаемыми объектами в каталоге Unity, а не только с объектами данных. См. раздел "Что такое обозреватель каталогов?".

• API выполнения инструкций Databricks SQL теперь является общедоступной версией Databricks SQL версии 2023.35 и выше. API позволяет отправлять инструкции SQL для выполнения в хранилище DATAbricks SQL, проверять состояние и получить результаты или отменять выполнение выполняемой инструкции SQL. См . API выполнения инструкций.

31 августа 2023 г.

Новая функция:

• Тег для каталога Unity находится в общедоступной предварительной версии. Теги можно использовать для упрощения поиска и обнаружения ресурсов данных. См. раздел "Применение тегов к защищаемым объектам каталога Unity".

24 августа 2023 г.

Улучшение:

• Автозавершение останавливает предложение рекомендаций после нажатия пробела.
• Обозреватель схем больше не отображает разностные динамические live таблицы как сломанные таблицы.

16 августа 2023 г.

Улучшение:

• Раскрывающийся список каталога в редакторе SQL теперь закрывается при переключении вкладок. Ранее при переключении вкладок раскрывающийся список оставался открытым.

10 августа 2023 г.

Улучшение:

• Автозаполнение теперь поддерживает новый синтаксис для задания тегов каталога Unity. Дополнительные сведения о командах см . в справочнике по языку SQL.

3 августа 2023 г.

Улучшения:

• В базовом редакторе Монако теперь используется версия 37.1.
• Поддержка автозавершения для SHOW ARCHIVED FILES FOR команд Delta.

27 июля 2023 г.

Улучшения:

• Редактор SQL теперь совместим с новыми символами Windows, гарантируя, что форматирование запросов работает должным образом во всех случаях.
• Вы можете открыть навигацию профиля запроса из результатов записной книжки. Для запросов запустите запрос с помощью хранилища SQL.

20 июля 2023 г.

Доступно Databricks SQL версии 2023.35

Расписание развертывания

• Предварительный выпуск для 2023.35: между 18 июля 2023 г. и 24 июля 2023 г.
• Текущее развертывание для 2023.35: между 31 июля 2023 г. и 8 августа 2023 г.

Изменения в версии 2023.35:

• Улучшенная надежность с VACUUM помощью мелкого клона в каталоге Unity.
• Поддержка определяемых пользователем пользователей Python в SQL.
• Delta Lake UniForm for Iceberg находится в общедоступной предварительной версии.
• Отказоустойчивая кластеризация Delta Lake доступна в общедоступной предварительной версии.
• Поддержка архивации Для Delta Lake.
• Поддержка предложения IDENTIFIER.
• Поддержка каталога Unity для пользовательских функций Python и Pandas.

Улучшение:

• Популярность таблицы в обозревателе каталогов доступна всем пользователям каталога Unity.

13 июля 2023 г.

Улучшение:

• Теперь пользователи каталога Unity могут просматривать дополнительные сведения о таблицах в обозревателе каталогов, такие как часто присоединенные таблицы, частые пользователи данной таблицы и часто используемые записные книжки и панели мониторинга.

22 июня 2023 г.

Общедоступная предварительная версия:

• Databricks SQL теперь поддерживает большие языковые модели (LLM), размещенные на конечных точках обслуживания моделей. Вызовите ai_query() для доступа к LLM. Эта функция доступна только в общедоступной предварительной версии в Databricks SQL Pro и без сервера. Чтобы принять участие в общедоступной предварительной версии, отправьте форму регистрации общедоступной предварительной версии функций ИИ.

15 июня 2023 г.

Новая функция:

• Теперь доступны задачи SQL в заданиях. С помощью страницы заданий можно управлять запросами, панелями мониторинга и оповещениями. См . задачу SQL для заданий.
• Теперь новый браузер схемы находится в общедоступной предварительной версии с обновленным пользовательским интерфейсом, вкладкой "Для вас " и улучшенными фильтрами. Браузер схемы доступен в Databricks SQL, обозревателе каталогов и записных книжках. См. статью "Обзор данных".

8 июня 2023 г.

Доступно DBSQL версии 2023.30

Изменения в версии 2023.30

• Новые встроенные функции SQL, такие как array_prepend(array, elem), try_aes_decrypt(expr, key [, mode [, padding]])и sql_keywords() .
• Теперь можно использовать неглубокий клон для создания управляемых таблиц каталога Unity из существующих управляемых таблиц каталога Unity. См . раздел "Мелкий клон" для таблиц каталога Unity.
• Теперь можно использовать CLONE и CONVERT TO DELTA с таблицами Айсберга, которые имеют секции, определенные для усеченных столбцов типов int, longи string. Усеченные столбцы типа decimal не поддерживаются.
• START VERSION теперь не рекомендуется использовать для ALTER SHARE.

Обновления пользовательского интерфейса

Исправление:

• Визуализация счетчиков теперь поддерживает форматирование при использовании больших целых чисел.

1 июня 2023 г.

Улучшения:

• Двоичные данные теперь будут отображаться в виде шестнадцатеричной строки при использовании формата стрелки.

• В API инструкции SQL формат CSV теперь поддерживается для ликвидации EXTERNAL_LINKS . Это позволяет клиентам извлекать до 100 ГиБ данных в формате CSV с предварительно подписанными URL-адресами, а INLINE ограничение для JSON составляет 16 МиБ.

• Azure Databricks SQL Pro доступен во всех регионах Китая. SQL Pro теперь является хранилищем по умолчанию в пользовательском интерфейсе. По умолчанию API по-прежнему является классическим.

29 мая 2023 г.

Новая функция:

• Теперь можно использовать пользовательский интерфейс добавления данных для загрузки данных из пути к хранилищу облачных объектов, который определяется как внешнее расположение каталога Unity. Дополнительные сведения см. в разделе "Загрузка данных с помощью внешнего расположения каталога Unity".

25 мая 2023 г.

Улучшения:

• Теперь можно переключить панель результатов автозаполнения.
• Отключите ключ ввода, чтобы он больше не принимал предложения автозаполнения. В разделе "Параметры пользователя DBSQL" щелкните "Параметры редактора" и "Новые параметры редактора". Отключение клавиши ВВОД принимает предложения автозавершения.

Исправления:

• Теперь у отсортированных заголовков таблицы есть цвета.
• Теперь линии диаграммы отображаются правильно.

18 мая 2023 г.

Улучшение:

• В API инструкции SQL ликвидация EXTERNAL_LINKS теперь поддерживает JSON_ARRAY формат. Вы можете извлечь до 100 ГиБ данных в формате JSON с предварительно подписанными URL-адресами. Ограничение INLINE для JSON составляет 16 МиБ.

11 мая 2023 г.

Новая функция:

• Браузер схем теперь доступен в обозревателе каталогов.

Улучшения:

• Панель сведений о наведении указателя мыши на таблицу менее чувствительна.
• Теперь экранный ключ закрывает панель автозавершения.
• Теперь определения представления имеют синтаксис, выделенный на вкладке сведений обозревателя каталогов.

Исправления:

• Таблицы сводной таблицы теперь правильно отрисовывается на устройствах Windows.
• Предложения по завершению теперь правильно соответствуют примеру первого ключевого слова.

4 мая 2023 г.

Доступно databricks SQL версии 2023.26

Расписание развертывания

• Предварительный выпуск для 2023.26: с 19 апреля 2023 г. по 25 апреля 2023 г.
• Текущее развертывание для 2023.26: с 3 мая 2023 г. по 10 мая 2023 г.

Изменения в версии 2023.26

• Фотон возвращает ошибку, если файл изменяется между планированием запросов и выполнением.
• Новые функции и расширенная поддержка функций прогнозного ввода-вывода. См. раздел Databricks Runtime 13.0 (EoS).
• Используйте соединитель Azure Databricks для подключения к другой рабочей области Azure Databricks.
• CREATE TABLE LIKE функция для таблиц Delta.
• Новые поля столбца метаданных, обозначающие начало и длину блока файлов.
• Новые геопространственные функции H3. См. раздел Геопространственные функции H3.
• Новые встроенные функции SQL. См. раздел Databricks Runtime 13.0 (EoS).

Обновления пользовательского интерфейса

Улучшения:

• Администраторы могут изменять владельцев хранилища с помощью пользовательского интерфейса или API. См. раздел "Управление хранилищем SQL".
• Обозреватель каталогов теперь отображает субъекты-службы учетных записей в списках пользователей для ресурсов в каталоге Unity. Например, субъекты-службы учетных записей отображаются при редактировании привилегий или изменении владельцев в обозревателе каталогов.
• Пользовательские метки диаграмм поддерживают возможность ссылаться на любой столбец в наборе данных.
• Фильтры панели мониторинга теперь загружают имена столбцов, даже если используются запросы, у которых нет сведений о каталоге или схеме.

27 апреля 2023 г.

Улучшения:

• Редактор SQL теперь использует редактор Монако для более надежного редактирования.
• Страница списка журналов SQL (запросы) теперь включает систему конструктора Dubois.

20 апреля 2023 г.

Улучшения:

• Представлена новая сводная таблица, которая позволяет агрегировать более 64k результатов.
• Таблицы и визуализации Databricks SQL теперь поддерживают bigInt, 38 бит десятичные и не символы UTF-8. Для чисел значение по умолчанию теперь определяется пользователем.
• Автозаполнение теперь предлагает частые прошлые соединения для таблиц каталога Unity, на базе данных происхождения каталога Unity в Databricks Runtime 12.0 и более поздних версий.

Новая функция:

• Возвращает текст, созданный выбранной крупной языковой моделью (LLM), с помощью ai_generate_text запроса. Эта функция доступна только в виде общедоступной предварительной версии в Databricks SQL Pro и без сервера. Чтобы принять участие в общедоступной предварительной версии, заполните и отправьте форму регистрации общедоступной предварительной версии функций ИИ.

13 апреля 2023 г.

Новая функция:

• Тип TIMESTAMP_NTZ представляет значения, состоящие из полей года, месяца, дня, часа, минуты и секунды. Все операции выполняются независимо от часового пояса. См . TIMESTAMP_NTZ тип.

Улучшения:

• Теперь пользователи могут отправлять форматированные результаты в оповещениях с помощью тега QUERY_RESULT_TABLE в пользовательском сообщении оповещений.
• Теперь пользователи могут просматривать размер данных файла для таблиц каталога Unity в обозревателе каталогов.

6 апреля 2023 г.

Доступно databricks SQL версии 2023.20

Расписание развертывания

• Развертывание предварительной версии для 2023.20: между 15 марта 2023 г. и 23 марта 2023 г.
• Текущее развертывание для 2023.20: между 27 марта 2023 г. и 3 апреля 2023 г.

Изменения в версии 2023.20

• Эволюция схемы Delta Lake поддерживает указание исходных столбцов в инструкциях слияния.
• Удалите все элементы NULL из массива с помощью array_compact.
• Чтобы добавить элементы в массив, используйте array_append.
• Чтобы анонимизировать конфиденциальные строковые значения, используйте функцию маски.
• Распространенные условия ошибки теперь возвращают SQLSTATE.
• Вызов функций генератора с табличным значением в регулярном FROM предложении запроса.
• from_protobuf to_protobuf Используйте функции для обмена данными между двоичными и типами структур. См . раздел "Чтение и запись буферов протокола".
• Улучшена согласованность для поведения фиксации Delta для пустых транзакций, относящихся к updateкомандам deleteи merge командам.
• Изменение поведения
  • Функция псевдонима бокового столбца вводит изменения в поведении во время разрешения имен. См . изменения поведения.

Обновления пользовательского интерфейса

Улучшения:

• Обозреватель каталогов теперь поддерживает удаление хранилища метаданных Hive.
• Сообщение для начального состояния редактора визуализации изменилось с отсутствующих обязательных столбцов на Нет данных.

3 апреля 2023 г.

Новая функция:

• Теперь таблица создания или изменения из страницы отправки файлов поддерживает отправку JSON-файла. Дополнительные сведения см. в статье "Создание или изменение таблицы с помощью отправки файла".

30 марта 2023 г.

Улучшения:

• На странице мониторинга хранилища теперь можно просмотреть журнал запросов для выбранного диапазона времени вместе с диаграммами масштабирования. Вы также можете просматривать текущие и очередные запросы, активные сеансы SQL, состояние хранилища и текущее число кластеров. См. раздел "Мониторинг хранилища SQL".
• Кластеризация карт по умолчанию отключена в картах маркеров.
• Добавлены подсказки для усечения визуализации и ограничений отрисовки.

Исправления:

• Диаграммы теперь учитывают исходный порядок при отключении сортировки для значений осей, а диаграмма содержит группу по столбцу.

23 марта 2023 г.

Улучшения:

• Визуализации теперь поддерживают бинирование времени по неделям.
• Total теперь вычисляет все данные за пределами 100 X 100 ячеек до 64 кб, что приводит к сводным таблицам записных книжек.
• Теперь пользователи могут форматировать значения ячеек в новой сводной таблице записных книжек.
• Доступны данные о файлах, запросах и хранилищах компонентов.

16 марта 2023 г.

Улучшение:

• Поддержка синтаксиса GROUP BY ALL .

9 марта 2023 г.

Новая функция:

• API выполнения инструкций Databricks SQL теперь доступен в общедоступной предварительной версии. Выполнение инструкций предоставляет конечные точки, выполняющие инструкции SQL в хранилище SQL Databricks. Он также может проверить состояние, получить результаты и отменить запущенную инструкцию SQL.

Улучшение:

• Консоль администрирования SQL была объединена с общими параметрами администратора для создания единого интерфейса для пользователей администрирования. Все параметры администратора SQL теперь доступны из консоли администрирования.
• Теперь назначения оповещений называются назначениями уведомлений.

Исправления:

• Таблицы больше не отображают две полосы прокрутки.
• Пустые заголовки мини-приложений больше не перезаписываются на панелях мониторинга.

2 марта 2023 г.

Исправление:

• Теперь можно использовать относительные URL-адреса в таблицах для доступа к панелям мониторинга.

23 февраля 2023 г.

Улучшение:

• TINYINT теперь поддерживается в таблицах результатов в записных книжках.

Исправление:

• Исправлена ошибка, из-за которой прокрутка на модальном модальном фильтре панели мониторинга приводила к ошибке.

16 февраля 2023 г.

Улучшения:

• Метки данных на диаграммах теперь отображают больше символов, чтобы избежать усечения описаний.
• Автоматическое заполнение теперь распознает range() и функции UDF create Python.
• Автоматическое заполнение теперь позволяет избежать инициации фрагментов в десятичных и в комментариях кода.

Исправления:

• Теперь пользователи могут увеличить масштаб карт.
• В записных книжках цвета теперь правильно назначаются диаграммам.

2 февраля 2023 г.

Улучшения:

• DESCRIBE DETAILS Поддержка в редакторе.
• Улучшена скорость загрузки браузера схемы.
• Теперь можно просмотреть список возможных столбцов на боковой панели SELECT *.

26 января 2023 г.

Улучшение:

• Теперь сообщения об ошибках запроса содержат ссылки на соответствующий раздел документации, описывающий ошибку.

19 января 2023 г.

Улучшения:

• Теперь вы можете найти панель "Новые возможности", которая выделяет ключевые улучшения. Чтобы открыть и закрыть эту панель, щелкните значок подарка.
• Теперь администраторы могут изменить владение хранилищами SQL.
• Теперь можно отфильтровать несколько визуализаций на панели мониторинга, нажав кнопку "Добавить>фильтр" и выбрав запрос и столбцы для фильтрации.

12 января 2023 г.

Улучшения:

• Названия мини-приложений визуализации на панелях мониторинга теперь форматируются как имя визуализации — имя запроса по умолчанию.
• Добавлены геопространственные функции H3 в ссылку на встроенную панель.
• Добавлены встроенные ссылки на синтаксис SQL, например CREATE TABLE и OVER.

Исправления:

• Сортировка и обратные переключатели теперь доступны при автоматическом масштабировании оси X.
• Тепловые карты и таблицы сводной таблицы теперь реагируют на определенные пограничные случаи.
• По умолчанию отсортированные метки по оси Y.
• Черновики запросов больше не теряются после обновления браузера.

8 декабря 2022 г.

• Оповещения SQL Azure Databricks теперь поддерживают оповещения для агрегирования столбцов результатов запроса, таких как SUM, COUNTи AVG.
• Название визуализации по умолчанию теперь — "Имя визуализации — Имя запроса" при создании новых мини-приложений на панелях мониторинга.

17 ноября 2022 г.

Оповещения:

• Chatworks, Mattermost и Google Hangouts Chat больше не являются назначениями уведомлений.

Улучшение:

• Ось Y теперь отображает числа в процентах при проверке процентных значений.
• Теперь администратор рабочей области, чтобы отключить пользовательский интерфейс отправки данных, применяется к новому пользовательскому интерфейсу отправки данных. Этот параметр применяется к Обработка и анализ данных и инженерии, Databricks Mosaic AI и Databricks SQL personas.

Исправления:

• Исправлена проблема в оповещениях SQL Databricks, когда сравнение значений NULL было неправильно оценено.
• Исправлена проблема, из-за которой полосы прокрутки в сводных таблицах исчезли.
• Исправлена проблема, из-за которой браузер схемы не мог изменить размер с переполненными вкладками.

10 ноября 2022 г.

Улучшение:

• Теперь можно создать фильтр панели мониторинга, который работает в нескольких запросах одновременно. В режиме редактирования панели мониторинга нажмите кнопку "Добавить", а затем "Фильтр" и "Создать фильтр панели мониторинга".
• Теперь функция автозаполнения поддерживается CREATE MATERIALIZED VIEW.

Исправление:

• Исправлена проблема, из-за которой прокрутка до конца набора страничных результатов панели мониторинга отправляла ошибку.
• Исправлена проблема, из-за которой переключение с стека линейчатой диаграммы на линейчатую диаграмму сохранило свойство стека.
• Исправлены повторяющиеся вызовы получения.

3 ноября 2022 г.

Улучшение:

• При запросе доступа в Databricks SQL разрешение по умолчанию теперь "может выполняться".

Исправления:

• Исправлена проблема, из-за которой сортировка created_at с помощью API запросов и панелей мониторинга не возвращала правильный порядок сортировки.
• Исправлена проблема, из-за которой столбцы, содержащие URL-адреса с форматированием HTML, имели слишком широкую ширину столбцов.
• Исправлена проблема, из-за которой WHERE ключевое слово не было выделено.

27 октября 2022 г.

Улучшения:

• Ограничение на загрузку результатов запроса в Excel увеличилось с 64 000 строк до 100 000 строк. Ограничения загрузки CSV и TSV остаются неизменными (около 1 ГБ данных).

• Автозаполнение теперь поддерживает LIST синтаксис, URL-адреса и учетные данные.

• Консолидированные и модернизированные панели предложений Fix-me.

• Новый тип хранилища Databricks SQL Pro представлен для Databricks SQL. Этот тип хранилища позволяет хранилищу Databricks SQL использовать интеграцию заданий, федерацию запросов, геопространственные функции и прогнозные операции ввода-вывода.

Исправления:

• Исправлена проблема, из-за которой баннер предупреждения в редакторе перекрывался визуализациями полной высоты.
• Исправлена проблема, из-за которой ширина столбца таблицы не сохранялась при перемещении столбцов таблицы.
• Исправлена проблема, из-за которой ссылка на панель мониторинга во всплывающих уведомлениях была нарушена, если визуализация была добавлена из редактора SQL.

20 октября 2022 г.

Улучшения:

• Теперь в нижнем колонтитуле можно найти строку хода выполнения запроса и действие визуализации в меню кебаба.
• Автозаполнение теперь поддерживает разностное время перемещения и предоставляет автозавершение столбца при определении внешнего ключа.

Исправление:

• Исправлена проблема, из-за которой добавление нескольких визуализаций на панель мониторинга в быстрое успешное выполнение приведет к тому, что визуализации не отображаются на панели мониторинга.

13 октября 2022 г.

Улучшения:

• Теперь можно удалить сообщения об ошибках, сообщаемые.
• COMMENT ON Инструкция теперь поддерживается в редакторе.
• Теперь вы можете использовать cmd+P или Ctr+P (для ПК) в качестве ярлыка для верхнего поиска. Используйте cmd+I или Ctr+I (для ПК) для добавления параметров.

11 октября 2022 г.

Улучшения:

• Пользовательский интерфейс добавления данных предоставляет доступ к общим конфигурациям источников данных и отправке файлов. См. статью "Отправка файлов в Azure Databricks".
• Вы можете отправлять небольшие файлы в Delta Lake с помощью пользовательского интерфейса. См. статью "Создание или изменение таблицы с помощью отправки файлов".

6 октября 2022 г.

Улучшения:

• EXTERNAL теперь является зарезервированным свойством таблицы. Команды и ALTER TABLE ... SET TBLPROPERTIES сбойCREATE TABLE ... TBLPROPERTIES, если EXTERNAL указан в свойствах.
• Вход strfmt и printf(strfmt, obj, ...) больше не поддерживает использование 0$ в качестве format_string(strfmt, obj, ...) первого аргумента. На первый аргумент следует ссылаться 1$ при использовании индекса аргументов, чтобы указать позицию аргумента в списке аргументов.
• Сегменты круговой диаграммы теперь имеют тонкую границу для обозначения различных сегментов.
• Теперь можно использовать cmd+I (для Mac) или Ctr+I (для ПК) в качестве ярлыка для параметра Add. Используйте cmd+P или Ctr+P (для ПК) в качестве ярлыка для глобального поиска.
• Кнопка обратной связи доступна для хороших или плохих сообщений об ошибках запроса.
• Исправление предложений теперь доступно как быстрое исправление.

Исправления:

• lpad и rpad функции теперь работают правильно с BINARY строковыми входными данными. Выходные lpad данные и rpad BINARY для строковых входных данных теперь являются строкой BINARY .
• Исправлена проблема, из-за которой обновления оповещений вручную не работали.
• Откат изменений в автоматическом изменении размера счетчика для устранения проблем форматирования.

29 сентября 2022 г.

Улучшения:

• Теперь вы можете запросить доступ к sql-запросам Databricks, оповещениям и панелям мониторинга от владельцев этих ресурсов.
• Теперь можно фильтровать по длительности запроса и типу инструкции на странице журнала запросов.
  • Чтобы использовать фильтр длительности запроса, введите время и выберите единицу времени. Результат журнала возвращает запросы, которые выполняются дольше указанного времени.
  • Чтобы использовать фильтр типов инструкций, выберите тип инструкции из раскрывающегося списка. Результат журнала возвращает запросы, содержащие этот оператор.

Исправление:

• Исправлена проблема, из-за которой не все поддерживаемые HTML-теги работали в пользовательских шаблонах оповещений. Все теги доступны как документированные.
• Исправлена проблема, из-за которой уведомление визуализации всплывалось. Например, дважды щелкнув, чтобы уменьшить масштаб визуализации, ранее не отображался.
• Исправлена проблема, из-за которой переключение осей на диаграмме не отображалось в имени диаграммы.

22 сентября 2022 г.

Улучшения:

• Мини-приложения счетчиков одного и того же размера будут иметь одинаковый размер шрифта при отображении нескольких мини-приложений счетчиков на панели мониторинга.
• Обновленные сочетания диаграмм, чтобы при использовании двойной оси можно использовать только один и тот же тип диаграммы (например, линия, полоса) на одной оси. Псевдонимы рядов также применяются к оси.
• Добавлена поддержка автозаполнения суррогатных ключей и LIST операций.

Исправление:

• Исправлена проблема, из-за которой текстовые параметры не приняли Null в качестве допустимого значения.

15 сентября 2022 г.

Исправление:

• Исправлена проблема, из-за которой просмотр журнала запросов на странице со списком хранилищ SQL не работал.

8 сентября 2022 г.

Улучшение:

• Вводные сведения о новой карточке "Интеграции с открытым исходным кодом" на домашних страницах DSE/SQL, где отображаются варианты интеграции с открытым кодом, например Разностные динамические таблицы и ядро dbt.

Исправление:

• Исправлена проблема, из-за которой раскрывающееся меню параметров блокировались вкладкой визуализации.

1 сентября 2022 г.

Улучшения:

• Представлен новый упрощенный пользовательский интерфейс для добавления параметров и фильтров. Щелкните и выберите добавление фильтра или параметра.
• Круглые скобки маркеров SQL, например OVER(), теперь получили автозавершение.

Исправления:

• Исправлена проблема, из-за которой при просмотре панели мониторинга в полноэкранном режиме игнорировалась цветовая палитра.
• Исправлена проблема, из-за которой при быстром вводе текста запроса и последующем использовании ярлыка Выполнить выполнялся предыдущий текст запроса, а не только что введенный текст запроса.
• Исправлена проблема, из-за которой при использовании клавиш CTRL+ВВОД для выполнения запросов отправлялись повторяющиеся запросы.

25 августа, 2022 г.

Исправление:

• Исправлена проблема, из-за которой фильтры панели мониторинга не обновлялись при изменении параметров запроса.

18 августа 2022 г.

• Для Databricks SQL решение Unity Catalog (общедоступная предварительная версия) доступно в канале предварительной версии. Дополнительные сведения см. в статье Что такое Unity Catalog?

• Документация. Выпущена документация по API оповещений.

• Визуализации. Теперь пользователи могут задавать значения по умолчанию для фильтров дат. При обновлении фильтра в запросе или на панели мониторинга применяется значение по умолчанию.

• Исправления:

  • Исправлена проблема, из-за которой применение изменений не срабатывало, если панель мониторинга все еще перезагружалась.
  • Исправлена проблема, из-за которой столбцы были слишком узкими, когда запрос не давал результатов.

11 августа 2022 г.

Улучшения:

• Пользователи могут получать сообщения электронной почты при сбое обновлений. Чтобы включить такие уведомления, перейдите на вкладку параметров SQL консоли администрирования. В разделе Failure Emails (Сообщения о сбое) выберите тип объекта (запрос, панель мониторинга или оповещение), для которого вы хотите получать уведомления о сбоях. Отчеты о сбоях отправляются каждый час.
• Визуализации
  • Представляем новую современную цветовую палитру для визуализаций и панелей мониторинга. Чтобы применить к панели мониторинга новую цветовую палитру, перейдите на панель мониторинга, щелкните кнопку -> -> и выберите Databricks Color Palette (Цветовая палитра Databricks). Администраторы SQL также могут задать новую цветовую палитру в качестве параметра по умолчанию для рабочей области, щелкнув -> -> -> и выбрав новую палитру.

Исправления:

• Исправлена проблема, при которой ранее нажатие кнопки для применения фильтра не срабатывало, если запрос уже выполнялся.

4 августа 2022 г.

Улучшения:

• При клонировании панели мониторинга теперь можно указать, следует ли клонировать запросы.
• Содержимое вкладок синхронизируется на вкладках браузера. Состояние запроса теперь будет синхронизировано на всех вкладках браузера. Это означает, что если вы работаете с запросом 1 на вкладке браузера 1, а затем переключитесь на вкладку браузера 2, вы увидите запрос 1 в состоянии, в котором вы оставили его на исходной вкладке браузера.

Исправление:

• Метки для пустых строк в круговой диаграмме теперь отражают, что строка пуста (а не индекс значения).

28 июля 2022 г.

• Оповещения
  • Настраиваемые шаблоны для оповещений по электронной почте обновлены, чтобы запретить определенные HTML-теги, которые могут представлять угрозу безопасности. Запрещенные HTML-теги и атрибуты автоматически удаляются. Например,
  • Теперь пользователи могут подписать других пользователей на оповещения без необходимости создавать назначение уведомления, для которого требуются разрешения администратора.
• Скачивания: теперь пользователи могут скачивать приблизительно до 1 ГБ данных результатов из Databricks SQL в формате CSV и TSV (ранее разрешалось не более 64 000 строк).
• Визуализации
  • Теперь вы можете редактировать визуализации непосредственно на панели мониторинга. В режиме редактирования щелкните меню kebab и выберите Изменить визуализацию, чтобы начать редактирование визуализации.
  • При скачивании результатов, связанных с визуализацией с агрегированиями, скачанные результаты также агрегируются. Параметр для скачивания перемещен с нижней части kebab на kebab, связанный с вкладкой. Скачанные результаты относятся к последнему выполнению запроса, создавшего визуализацию.
• Редактор SQL: таблицы результатов теперь отображают сообщение, когда данные, отображаемые в таблице в браузере, ограничены 64 000 строками. При скачивании TSV- и CSV-файлов размер по-прежнему составляет около 1 ГБ данных.
• Фильтры запросов:
  • Фильтры запросов обновлены для динамической работы на стороне клиента или сервера для оптимизации производительности. Предыдущие фильтры запросов (теперь устаревшие) работали только на стороне клиента. При необходимости пользователи по-прежнему могут использовать устаревшие фильтры с синтаксисом ::.
  • Обновленные фильтры проще: пользователи нажимают кнопку + Добавить фильтр и выбирают столбец из раскрывающегося списка. Ранее пользователям приходилось изменять текст запроса напрямую.
  • Соответствующие значения выделяются, чтобы вам было проще видеть, какие варианты выбора в фильтре будут возвращать результаты с учетом других выбранных вариантов.
• Журнал запросов: сведения о запросе в журнале запросов теперь отображают источник выполненного запроса.

21 июля 2022 г.

• Уведомления при общем доступе: пользователи теперь будут получать уведомления по электронной почте при получении возможности доступа к панели мониторинга, запросу или оповещению.
• Расширенный интерфейс редактора SQL с помощью нового встроенного набора средств редактора
  • Динамическое выделение синтаксических ошибок (например, неправильное ключевое слово, таблица не существует и предложения по исправлению ошибки).
  • Контекстная справка: при наведении указателя мыши (например, полное имя таблицы, подробная панель функций) и сообщения об ошибках выполнения (например, выделение строки с ошибкой после выполнения).
  • Интеллектуальное ранжирование предложений (например, автозавершение параметров, формула ранжирования, сопоставление со сниженным уровнем шума).

14 июля 2022 г.

• Теперь вы можете отправлять TSV-файлы с помощью пользовательского интерфейса Create Table в дополнение к CSV-файлам.
• Databricks SQL теперь позволяет уведомлять пользователей по электронной почте всякий раз, когда им предоставляется доступ к панели мониторинга, запросу или предупреждению.
• Таблицы визуализации теперь дополнительно включают номера строк, отображаемые рядом с результатами.
• Когда вы выбираете географический регион для визуализации Chloropleth, вы теперь будете получать встроенные подсказки для допустимых значений.

23 июня 2022 г.

• Изменение названия конечных точек SQL: в Databricks конечные точки SQL теперь называются хранилищами SQL, так как это больше, чем просто точка входа API для выполнения команд SQL. Хранилище SQL — это вычислительный ресурс для всех потребностей хранения данных, неотъемлемой частью платформы Databricks. Вычислительные ресурсы — это ресурсы инфраструктуры, которые обеспечивают возможности обработки в облаке.
• Для визуализаций Choropleth выбранные "Ключевой столбец" и "Целевое поле" в редакторе визуализации были переименованы в "Географический столбец" и "Географический тип". Это было сделано для ясности и не предполагает изменений в поведении новых или существующих визуализаций Choropleth.
• Возможность ограничения в 1000 запросов была перемещена из флажка в редакторе запросов SQL в флажок на кнопке запуска.
• Кэшированные запросы в таблице Журнал запросов теперь помечаются тегом Cache.
• При обновлении панели мониторинга вручную используется хранилище панели мониторинга (если доступно) вместо хранилища каждого отдельного запроса.
• При обновлении оповещения всегда используется хранилище оповещения, независимо от параметра "Запуск от имени наблюдателя или владельца".

9 июня 2022 г.

• При наведении указателя мыши на селектор конечной точки полное имя конечной точки отображается в виде подсказки.
• При фильтрации в браузере схемы редактора SQL условие поиска теперь выделяется в результатах поиска.
• Диалоговое окно "Закрыть все" в редакторе SQL теперь отображает список несохраненных запросов.
• Чтобы повторно открыть последнюю закрытую вкладку в редакторе SQL, используйте это новое сочетание клавиш: <Cmd> + <Shift> + <Option> + T
• Теперь в комбинированные диаграммы можно добавлять метки данных.
• Список операций агрегирования визуализаций теперь включает дисперсию и стандартное отклонение.

26 мая 2022 г.

Улучшения разработки:

• Теперь вы можете обходить агрегирования при создании визуализаций. Это особенно полезно, если запрос уже включает агрегат. Например, если используется запрос SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudio, редактор диаграмм ранее требовал явного указания другого слоя агрегирования.
• При создании панелей мониторинга теперь у вас есть возможность:
  • Создавать копии мини-приложений в текстовых полях.
  • Расширять панель изменения текстовых полей.
• Агрегирование по умолчанию для столбца ошибок при создании визуализаций является стандартным отклонением.

Исправления:

• Действия редактирования для визуализаций доступны только в том случае, если панель мониторинга находится в режиме редактирования. Действия редактирования больше не доступны в режиме просмотра.
• При создании нового запроса он открывается на вкладке справа от вкладки в фокусе, а не в конце списка.
• В модальном окне открытого запроса показано, какой запрос уже открыт, и предоставлена возможность переключить фокус на вкладку такого запроса.
• Диаграммы Sankey и Sunburst больше не рассматриваются как null.

19 мая 2022 г.

• Исправлена проблема. При открытии фокуса редактора SQL на определенной вкладке визуализации и совместном использовании ссылки другому пользователю пользователь будет иметь тот же фокус в редакторе SQL при щелчке общей ссылки.
• Улучшения:
  • Microsoft Teams теперь является поддерживаемым назначением уведомлений.
  • Параметры диапазона дат, диапазона даты и времени, а также диапазона даты и времени (с секундами) теперь поддерживают вариант для обозначения начального дня недели с воскресеньем в качестве значения по умолчанию.

12 мая 2022 г.

• Визуализации теперь поддерживают группирование времени непосредственно в пользовательском интерфейсе. Теперь вы можете легко переключаться между годовыми, месячными, дневными или часовыми интервалами ваших данных, изменяя раскрывающееся значение, а не добавляя и изменяя функцию date_trunc() в самом тексте запроса.
• Панели мониторинга теперь характеризуются согласованностью цветов по умолчанию. Если у вас есть один ряд на нескольких диаграммах, ряды всегда будут окрашены одинаково на всех диаграммах — без необходимости настройки вручную.

3 мая 2022 г.

• При совместном использовании панели мониторинга с пользователем или группой мы теперь также предоставляем возможность совместного использования всех восходящих запросов, используемых визуализациями и параметрами.
  • Если у вас нет разрешения на совместное использование одного или нескольких восходящих запросов, вы получите предупреждающее сообщение о том, что не ко всем запросам может быть предоставлен совместный доступ.
  • Разрешения, предоставляемые при предоставлении совместного доступа к панели мониторинга, не переопределяют, не отменяют и не расширяют существующие разрешения для восходящих запросов. Например, если у пользователя или группы есть разрешения CAN RUN от имени владельца на общей панели мониторинга, но только разрешения запуска от имени просмотра для вышестоящего запроса, то действующие разрешения для этого вышестоящего запроса будут выполняться как средство просмотра.

27 апреля 2022 г.

• Макет вашей панели инструментов теперь сохраняется при экспорте в PDF по запросу и создании запланированных электронных писем о подписке.

17 марта 2022 г.

• Теперь в диаграммах доступен новый вариант визуализации объединения. Это позволяет создавать диаграммы со столбиками и линиями одновременно.

10 марта 2022 г.

• Каталог Unity (предварительная версия) позволяет администрировать управление данными и доступ к ним на уровне учетной записи. Вы можете управлять хранилищами метаданных и разрешениями на доступ к данным централизованно. Вы также можете назначить хранилище метаданных нескольким рабочим областям в вашей учетной записи. Вы можете управлять данными и объектами каталога Unity и взаимодействовать с ними с помощью обозревателя каталога SQL Databricks или редактора SQL, а также использовать данные каталога Unity в панелях мониторинга и визуализациях. См. статью Что такое Unity Catalog?

Примечание.

Для каталога Unity требуется, чтобы конечные точки SQL использовали версию 2022.11, которая находится в канале предварительной версии.

• Delta Sharing (предварительная версия) позволяет обмениваться данными только для чтения с получателями за пределами вашей организации. Databricks SQL поддерживает запросы к данным Delta Sharing и их использование в визуализациях и панелях мониторинга.
• Каждый раз, когда панель мониторинга обновляется вручную или по расписанию, обновляются все запросы в этой панели и в восходящем потоке, включая те, которые используются параметрами. При обновлении отдельной визуализации обновляются все запросы в восходящем потоке, включая те, которые используются параметрами.

3 марта 2022 г.

• Визуализация когорт была обновлена таким образом, что когорты интерполируются по минимальным и максимальным значениям, а не по 0 и 100. Теперь гораздо проще отличать когорты в фактическом диапазоне доступных данных. Ранее все числа, близкие друг к другу, использовали один и тот же цвет. Теперь числа, близкие друг к другу, с большей вероятностью будут использовать разные цвета, потому что когорта разделена от максимального до минимального диапазона для формирования каждой серии.
• Поэтому проще понять, активно ли расписание подписки панели мониторинга или приостановлено. Если расписание подписки панели мониторинга приостановлено, при нажатии кнопки Подписаться отображается сообщение Это расписание приостановлено. Когда расписание подписки панели мониторинга приостановлено, вы можете подписаться на панель мониторинга или отменить подписку, однако запланированные моментальные снимки не будут отправляться, а визуализации панелей мониторинга не будут обновляться.
• При просмотре Журнала запросов теперь можно сортировать список по длительности. По умолчанию запросы сортируются по времени начала.

24 февраля 2022 г.

• В обозревателе каталогов теперь можно просмотреть разрешения, которые пользователи или группы имеют в таблице, представлении, схеме или каталоге. Щелкните объект, а затем выберите Разрешения и используйте новое поле фильтра.

17 февраля 2022 г.

• Визуализации стали умнее! Когда результаты запроса представляют собой один или два столбца, автоматически выбирается рекомендуемый тип визуализации.
• Теперь можно создать гистограммы , чтобы визуализировать частоту, которую каждое значение происходит в наборе данных, и понять, имеет ли набор данных значения, кластеризованные вокруг небольшого количества диапазонов или более распределенные.
• И в Журнале запросов, и в профиле запроса теперь можно развернуть на всю ширину строку запроса и сообщение об ошибке неудачного запроса. Это упрощает анализ планов запросов и устранение неполадок запросов, завершившихся неудачно.
• В визуализациях гистограмм, линейных диаграмм, диаграмм с областями, круговых диаграмм и тепловых карт теперь можно выполнять агрегирование непосредственно в пользовательском интерфейсе конфигурации визуализации без необходимости изменения самого запроса. При использовании этих новых возможностей агрегирование выполняется для всего набора данных, а не только для первых 64 000 строк. При редактировании визуализации, созданной до этого выпуска, вы увидите сообщение о том, что если вы хотите использовать новые возможности, необходимо повторно создать визуализацию. См. раздел Включение агрегирования в визуализации.

10 февраля 2022 г.

• Теперь можно задать пользовательскую цветовую палитру для панели мониторинга. Все визуализации, отображаемые на этой панели мониторинга, будут использовать указанную палитру. Настройка пользовательской палитры не влияет на отображение визуализации на других панелях мониторинга или в редакторе SQL.

  Вы можете указать для палитры шестнадцатеричные значения цветов или импортировать цвета из другой палитры, предоставленной Databricks или созданной администратором рабочей области.

  При применении палитры к панели мониторинга все визуализации, отображаемые на этой панели мониторинга, будут по умолчанию использовать эту выбранную цветовую палитру, даже если при создании визуализации вы настроили пользовательские цвета. О том, как переопределить это поведение, см. в разделе Настройка цветов для визуализации.

• Администраторы рабочей области теперь могут создать настраиваемую цветовую палитру с помощью консоли администрирования. После создания пользовательской цветовой палитры ее можно использовать как в новых, так и в и существующих панелях мониторинга. Чтобы использовать или пользовательскую цветовую палитру для панели мониторинга или настроить ее, можно изменять параметры панели мониторинга.

• При добавлении визуализации, которая использует параметры на панель мониторинга из меню SQL , визуализация теперь использует параметры уровня панели мониторинга по умолчанию. Это соответствует поведению при добавлении мини-приложения с помощью кнопки Добавить визуализацию на панели мониторинга.

• При просмотре журнала запросов и фильтрации списка с помощью сочетания параметров теперь отображается число соответствующих запросов.

• В визуализациях была исправлена проблема, из-за которой не удалось настроить диапазон оси Y с конкретными значениями.

3 февраля 2022 г.

• Редактор SQL с вкладками теперь включен по умолчанию для всех пользователей. Дополнительные сведения о том, как отключить редактор с вкладками, см. в разделе Изменение нескольких запросов.

• Подписчики панели мониторинга по электронной почте теперь вместо вложения получают встроенное изображение, показывающее моментальный снимок панели мониторинга. К сообщению электронной почты прикрепляется PDF-файл моментального снимка.

• Теперь вы можете балансировать надежность и затраты, настраивая политику точечных экземпляров для конечных точек SQL. Политика точечных экземпляров определяет, используют ли рабочие роли только экземпляры по требованию или сочетание экземпляров по требованию и точечных экземпляров. При значении Cost Optimized (Оптимизация стоимости), которое установлено по умолчанию, используются в основном точечные экземпляры и один экземпляр по требованию. При значении Reliability Optimized (Оптимизация надежности) используются только экземпляры по требованию. Ранее для конечных точек SQL всегда использовались экземпляры по требованию. Чтобы это поведение сохранилось, задайте для политики точечных экземпляров значение Reliability Optimized (С оптимизированной стоимостью). Дополнительные сведения см. в разделе Настройка политики для точечных экземпляров

27 января 2022 г.

• Были внесены улучшения в способы просмотра, предоставления общего доступа и импорта профиля запроса. См. раздел Профиль запроса.

• Визуализация сведений теперь позволяет переименовывать столбцы точно так же, как визуализация таблицы.

• Теперь можно закрыть вкладку в редакторе SQL, щелкнув ее в центре.

• В редактор SQL с вкладками добавлены следующие сочетания клавиш.

  • Закрыть все вкладки: Cmd + Option + Shift + A (macOS) / Ctrl+Option+Shift+A (Windows)
  • Закрыть другие вкладки: Cmd+Option+Shift+W (macOS) / Ctrl+Option+Shift+W (Windows)

  Эти сочетания клавиш можно использовать вместо щелчку правой кнопкой мыши на вкладке для получения доступа к тем же действиям. Чтобы просмотреть все сочетания клавиш, щелкните значок клавиатуры в редакторе SQL с вкладками.

20 января 2022 г.

• Форматирование по умолчанию для типов данных Integer и float в таблицах обновлено и теперь не включает запятые. Это означает, что по умолчанию такие значения, как 10002343, больше не будут иметь запятые. Чтобы эти типы данных отображались с запятыми, нажмите Изменить визуализацию, разверните область для столбца и измените формат, чтобы включить запятую.
• Чтобы лучше соответствовать ограничениям рендеринга браузера, визуализации теперь отображают не более 10 000 точек данных. Например, диаграмма рассеяния будет отображать не более 10 000 точек. Если количество точек данных ограничено, выводится предупреждение.

13 января 2022 г.

• Исправлена проблема, из-за которой кнопка Сохранить в редакторе SQL в некоторых случаях была отключена. Кнопка Сохранить теперь всегда включена, и при обнаружении несохраненных изменений на ней отображается звездочка (*).

15 декабря 2021 г.

• Databricks SQL теперь находится в состоянии общедоступной версии. Это знаменует собой важную веху в обеспечении первой платформы Lakehouse, которая объединяет данные, ИИ и рабочие нагрузки бизнес-аналитики в одном месте. Общедоступная версия гарантирует самый высокий уровень стабильности, поддержки и корпоративной готовности Databricks для критически важных рабочих нагрузок. Дополнительные сведения см. в блоге объявлений о выходе общедоступных версий.
• Оповещения теперь планируются независимо от запросов. При создании нового предупреждения и создании запроса вам будет предложено также создать расписание для оповещения. Если у вас есть оповещение, его расписание дублируется из исходного запроса. Это изменение также позволяет настраивать оповещения как для запросов с выполнением от имени владельца, так и для запросов с выполнением от имени зрителя. Запросы с выполнением от имени владельца выполняются по назначенному расписанию оповещения с учетными данными владельца запроса. Запросы с выполнением от имени зрителя выполняются по назначенному расписанию оповещения с учетными данными создателя оповещения. Ознакомьтесь с оповещениями Databricks SQL и запланируйте запрос.
• Теперь вы можете изменять порядок параметров в редакторе SQL и в панелях мониторинга.
• Расширена документация по созданию визуализаций тепловых карт. См. параметры тепловой карты.

9 декабря 2021 г.

• При создании визуализации таблицы теперь можно задавать цвет шрифта для столбца как статическое значение или как диапазон значений на основе значений полей столбца. Литеральное значение сравнивается с пороговым значением. Например, чтобы выделить цветом результаты, значения которых превышают 500000, создайте пороговое значение > 500000, а не > 500,000. См. раздел Условное форматирование цветов столбцов.
• Значки в обозревателе схемы редактора SQL со вкладками теперь позволяют различать таблицы и представления.

1 декабря 2021 г.

• Теперь можно применить параметры конфигурации SQL на уровне рабочей области. Эти параметры автоматически применяются ко всем существующим и новым конечным точкам SQL в рабочей области. См. раздел "Настройка параметров SQL".

18 ноября 2021 г.

• При просмотре журнала запроса теперь можно фильтровать запросы по субъекту-службе, которая их выполняла. См. раздел Просмотр журнала запросов.

• Теперь можно открывать редактор SQL с помощью ярлыка на боковой панели. Чтобы открыть редактор SQL, щелкните ярлык Редактор SQL.

• Если у вас есть разрешение на создание Обработка и анализ данных и инженерных кластеров, теперь можно создать конечные точки SQL, нажав кнопку "Создать" на боковой панели и щелкнув конечную точку SQL.

• Теперь администраторы могут передавать права владения запросом, панелью мониторинга или оповещением другому пользователю с помощью пользовательского интерфейса. См.

  • Передача прав владения запросом
  • Передача владения устаревшей панелью мониторинга
  • Передача прав владения оповещением

4 ноября 2021 г.

• В визуализации визуализации карты (Хороплет) максимальное количество шагов градиента для цветов в условных обозначениях увеличилось с 11 до 20. Значение по умолчанию — 5 градиентных шагов, включая Min color и Max color.
• Редактор SQL с вкладками теперь поддерживает массовое управление вкладками. Если щелкнуть вкладку правой кнопкой мыши, отобразятся команды Close others (Закрыть остальные), Close left (Закрыть слева), Close right (Закрыть справа) и Close all (Закрыть все). Обратите внимание, что если щелкнуть правой кнопкой мыши первую или последнюю вкладку, команды Close left (Закрыть слева) и Close right (Закрыть справа) будут недоступны.

28 октября 2021 г.

• При просмотре таблицы в обозревателе каталогов существует два варианта упрощения взаимодействия с таблицей:
  • Выберите Создать > Запрос, чтобы создать запрос, выбирающий все столбцы и возвращающий первые 1000 строк.
  • Выберите Создать > Быстрая панель мониторинга, чтобы открыть страницу конфигурации, на которой можно выбрать нужные столбцы и создать панель мониторинга, а также вспомогательные запросы, предоставляющие основную информацию с использованием этих столбцов и демонстрирующие параметры уровня панели мониторинга и другие возможности.

19 октября 2021 г.

• Новые сочетания клавиш теперь доступны в редакторе с вкладками:
  • Откройте новую вкладку:
    • Windows: Cmd+Alt+T
    • Mac: Cmd+Option+T
  • Закрыть текущую вкладку
    • Windows: Cmd+Alt+W
    • Mac: Cmd+Option+W
  • Диалоговое окно открытия запроса
    • Windows: Cmd+Alt+O
    • Mac: Cmd+Option+O

23 сентября 2021 г.

• Теперь вы можете создать новую панель мониторинга, клонируя существующую панель мониторинга, если у вас есть разрешение CAN RUN, CAN EDIT и CAN MANAGE на панели мониторинга и все последующие запросы. См . статью "Клонирование устаревшей панели мониторинга".
• Теперь можно использовать GROUP BY в визуализации с несколькими столбцами оси Y. См . точечную диаграмму.
• Теперь можно использовать {{ @@yPercent}} для форматирования меток данных в ненормализованной линейчатой диаграмме с накоплением. См. линейчатую диаграмму.
• Если вы используете аутентификацию SAML и срок действия учетных данных SAML истекает через несколько минут, теперь запрос на повторное выполнение входа отобразится перед выполнением запроса или обновлением панели мониторинга. Это помогает предотвратить нарушение работы из-за учетных данных, срок действия которых истекает во время выполнения запроса.

20 сентября 2021 г.

• Теперь можно передавать права владения панелями мониторинга, запросами и оповещениями с помощью REST API разрешений. См . списки управления доступом запросов.

16 сентября 2021 г.

• В результатах запроса результаты BIGINT теперь сериализуются как строки, если значение 9007199254740991 превышается. Это позволяет решить проблему, из-за которой результаты BIGINT могли быть усечены в результатах запроса. Другие целочисленные результаты по-прежнему сериализуются как числа. Форматирование чисел в метках осей и подсказках не применяется к результатам BIGINT, которые сериализуются как строки. Дополнительные сведения о типах данных в Databricks SQL см. в статье Тип BIGINT.

7 сентября 2021 г.

Для Databricks в течение недели будет выпущено несколько изменений. Эти изменения могут быть активированы для вашей рабочей области только после 7 сентября.

• Решение Databricks SQL теперь предоставляется в общедоступной предварительной версии и доступно всем пользователям в новых рабочих областях.

  Примечание.

  Если ваша рабочая область была активирована для Databricks SQL во время действия общедоступной предварительной версии (до недели, начавшейся 7 сентября 2021 г.), пользователи сохраняют права, назначенные до этой даты, пока вы их не измените. Другими словами, если у пользователей не было доступа к Databricks SQL в общедоступной предварительной версии, у них его не будет, пока администратор не предоставит такой доступ.

• Администраторы могут управлять тем, какие пользователи имеют доступ к Databricks SQL, назначая право доступа к Databricks SQL (databricks-sql-access в API) пользователям или группам. Новые пользователи имеют это право по умолчанию.

  Администраторы могут ограничить пользователя или группу доступом только к Databricks SQL и запретить им доступ к Обработка и анализ данных и инженерии или Databricks Mosaic AI, удалив права доступа к рабочей области (workspace-accessв API) от пользователя или группы. Новые пользователи имеют это право по умолчанию.

  Внимание

  Чтобы войти в систему и получить доступ к Azure Databricks, пользователь должен иметь право на доступ к Databricks SQL или доступ к рабочей области (или и то, и другое).

• Небольшая классическая конечная точка SQL с именем Starter Endpoint предварительно настроена для всех рабочих областей, поэтому вы можете сразу создавать панели мониторинга, визуализации и запросы. Для обработки более сложных рабочих нагрузок вы можете легко увеличить их размер (для сокращения задержки) или число базовых кластеров (для поддержки большего числа параллельных пользователей). Для управления затратами конечная точка Starter настраивается на завершение работы после 120 минут простоя.

• Новый интерактивный интерфейс подключения, доступный администраторам и пользователям, ускоряет начало работы. Панель подключения отображается по умолчанию, и вы всегда можете увидеть, сколько задач подключения осталось на боковой панели. Щелкните Оставшиеся задачи, чтобы повторно открыть панель подключения.

• Вы можете быстро начать работу с Databricks SQL с помощью двух сложных наборов данных в каталоге только для чтения под названием SAMPLES, который доступен из всех рабочих областей. Когда вы узнаете о Databricks SQL, эти схемы можно использовать для создания запросов, визуализаций и панелей мониторинга. Конфигурация не требуется, и у всех пользователей есть доступ к этим схемам.

  • Схема nyctaxi содержит данные о поездках на такси в trips таблице.
  • Схема tpch содержит данные розничной выручки и цепочки поставок в следующих таблицах:
    • customer
    • lineitem
    • nation
    • orders
    • part
    • partsupp
    • region
    • supplier

  Нажмите кнопку "Запустить первый запрос" на панели подключения, чтобы создать новый запрос nyctaxi схемы.

• Чтобы узнать о визуализации данных в Databricks SQL без обязательной настройки, импортируйте панели мониторинга из коллекции примеров панелей мониторинга. Эти панели мониторинга работают на основе наборов данных в каталоге SAMPLES.

  Чтобы просмотреть коллекцию примеров панелей мониторинга, щелкните Import sample dashboard (Импортировать пример панели мониторинга) на панели подключения.

• Теперь вы можете создавать и удалять собственные функции SQL с помощью команд CREATE FUNCTION и DROP FUNCTION.

2 сентября 2021 г.

• Пользователи с разрешением CAN EDIT на панели мониторинга теперь могут управлять расписанием обновления панели мониторинга и списком подписок. Ранее требуется разрешение CAN MANAGE. Дополнительные сведения см. в разделе Автоматическое обновление панели мониторинга.

• По умолчанию визуализации больше не изменяют динамически размер в зависимости от числа возвращаемых результатов, но сохраняют одинаковую высоту независимо от количества результатов. Чтобы вернуться к предыдущему поведению и настроить визуализацию для динамического изменения размера, включите параметр Динамическое изменение высоты панели для визуализации панели мониторинга. Дополнительные сведения см. в разделе "Параметры таблицы".

• Если у вас есть доступ к нескольким рабочим областям в одной учетной записи, вы можете переключаться между ними из Databricks SQL. Щелкните в левом нижнем углу рабочей области Azure Databricks, а затем выберите рабочую область, чтобы переключиться на нее.

12 августа 2021 г.

• Администратор теперь может завершать запрос другого пользователя в ходе его выполнения. Дополнительные сведения см. в разделе Завершение выполняющегося запроса.

5 августа 2021 г.

• Улучшенное форматирование EXPLAIN результатов
  • Результаты Explain теперь легче читать.
  • Используется моноширинный формат без переноса строки.

29 июля 2021 г.

• Применение нескольких запросов теперь стало проще благодаря поддержке нескольких вкладок в редакторе запросов. Сведения об использовании редактора с вкладками см. в разделе Изменение нескольких запросов.

8 июля 2021 г.

• Мини-приложения визуализации в панелях мониторинга теперь имеют заголовки и описания, чтобы вы могли адаптировать заголовки и описания визуализаций, используемые в нескольких панелях мониторинга, к самой панели мониторинга.
• Боковая панель обновлена для улучшения видимости и навигации:
  • Хранилища теперь называются Конечные точки SQL, а Журнал переименован в Журнал запросов.
  • Параметры учетной записи (ранее именованные пользователи) были перемещены в учетную запись. При выборе раздела Учетная запись вы можете изменить рабочую область Azure Databricks и выполнить выход.
  • Параметры пользователя были перемещены в параметры и разделены на параметры и консоль администрирования SQL. Консоль администратора SQL отображается только для администраторов.
  • Значок справки изменился на справку.

1 июля 2021 г.

• Новый обозреватель каталогов позволяет легко изучить разрешения и управлять ими в базах данных и таблицах. Пользователи могут просматривать сведения о схеме, образцы данных, а также сведения о таблицах и свойствах. Администраторы могут просматривать и изменять владельцев объектов данных, а владельцы объектов данных могут предоставлять и отзывать разрешения. Дополнительные сведения см. в разделе "Что такое обозреватель каталогов?".
• Оси Y в горизонтальных диаграммах были обновлены с учетом порядка в таблицах. Если вы ранее выбрали обратную сортировку, вы можете использовать переключатель Обратная сортировка на вкладке "Ось Y", чтобы изменить порядок сортировки.

23 июня 2021 г.

• Упрощена настройка конечных точек SQL с помощью субъектов-служб. Теперь доступен элемент управления, который позволяет настроить субъект-службу в параметре глобальных конечных точек SQL. См. раздел Настройка субъекта-службы.
• Теперь поддерживаются временные представления.

17 июня 2021 г.

• Photon, новый векторизованный модуль выполнения Databricks, теперь включен по умолчанию для новых конечных точек SQL (в пользовательском интерфейсе и REST API). Фотона прозрачно ускоряется
  • запись в файлы Parquet и таблицы Delta;
  • выполнение многих запросов SQL. См . ограничения.
• С легкостью управляйте пользователями и группами с помощью команд CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS и SHOW USERS. Дополнительные сведения см. в разделах Инструкции по безопасности и Инструкции отображения.
• Браузер схемы редактора запросов является оснастки и быстрее на схемах с более чем 100 таблицами. В таких схемах браузер схем не загружает все столбцы автоматически; Список таблиц по-прежнему отображается как обычно, но столбцы загружают только при щелчке таблицы. Это изменение влияет на автозавершение запросов в редакторе запросов, так как оно использует эти данные для отображения предложений. Если не развернуть таблицу и не загрузить ее столбцы, такие предложения будут недоступны.

3 июня 2021 г.

• Администраторы новых рабочих областей Azure Databricks теперь получают право на работу с Databricks SQL по умолчанию и больше не должны самостоятельно предоставлять себе такое право с помощью консоли администратора.
• Photon теперь предоставляется в общедоступной предварительной версии и включен по умолчанию для новых конечных точек SQL.
• Балансировка нагрузки для нескольких кластеров теперь предоставляется в общедоступной предварительной версии.
• Теперь вы можете включить совместную работу на панелях мониторинга и запросах с другими членами организации с помощью разрешения CAN EDIT. См. раздел Списки управления доступом.

26 мая 2021 г.

• Аналитика SQL переименована в Databricks SQL. Это изменение влияет на следующие проблемы с клиентом:

  • Ссылки в пользовательском веб-интерфейсе обновлены.

  • Право на предоставление доступа к Databricks SQL было переименовано:

    • пользовательский интерфейс: Доступ к Databricks SQL (ранее Доступ к Аналитике SQL);
    • API SCIM: databricks-sql-access (ранее sql-analytics-access).

    Пользователи, группы и субъекты-службы с предыдущими правами были перенесены в новое право.

  • Теги для событий журнала аудита, связанных с Databricks SQL, изменились:

    • префикс для событий Databricks SQL теперь имеет вид databrickssql;
    • changeSqlAnalyticsAcl изменено на changeDatabricksSqlAcl.
• Обновления панели мониторинга
  • Имя файла экспорта панели мониторинга было изменено на "панель мониторинга + метка времени" вместо UUID.
  • Ограничение на записи экспорта было увеличено с 22 КБ до 64 КБ.

20 мая 2021 г.

• Теперь можно использовать собственный ключ из Azure Key Vault для шифрования запросов и журнала запросов Databricks SQL, хранящихся в Azure Databricks. Если вы уже настроили собственный ключ для рабочей области, чтобы шифровать данные для управляемых служб (записные книжки и секреты), дальнейшие действия не требуются. Тот же управляемый клиентом ключ для управляемых служб теперь также шифрует запросы и журнал запросов Databricks SQL. См . ключи, управляемые клиентом, для управляемых служб. Это изменение затрагивает только новые хранимые данные. Шифрование с помощью этого ключа запросов и журнала запросов Databricks SQL, которые хранились до этого момента, не гарантируется.

  Результаты запросов Databricks SQL хранятся в корневом экземпляре Хранилища BLOB-объектов Azure, созданного в Azure Databricks при настройке рабочей области. Они не шифруются ключом управляемых служб. Но вы можете использовать собственный ключ, чтобы зашифровать их. Ознакомьтесь с ключами, управляемыми клиентом, для корневого каталога DBFS.

  Эта функция доступна с планом Premium.

• На вкладке Past executions (Предыдущие выполнения) теперь указывается относительное время.

13 мая 2021 г.

• Databricks SQL больше не пытается автоматически определять типы столбцов. Ранее тип данных для столбца с форматом xxxx-yy-dd автоматически определялся как дата, даже если в столбце представлен идентификационный код. Теперь данные в этом столбце больше не определяются автоматически как дата. При необходимости этот тип можно указать в запросе. Такое изменение может привести к тому, что некоторые визуализации, зависящие от предыдущего поведения, перестанут работать. В этом выпуске можно изменить >параметр "Параметры>обратной совместимости", чтобы вернуться к предыдущему поведению. Но в будущем выпуске такая возможность будет удалена.

• Теперь в редакторе запросов есть индикатор выполнения запроса. Изменения состояния теперь отображаются на постоянно обновляемом индикаторе выполнения.

  

6 мая 2021 г.

• Теперь вы можете скачивать содержимое панели мониторинга как PDF-файл. См. раздел Скачивание в качестве PDF-файла.

• У администратора теперь есть доступ к представлению всех запросов и панелей мониторинга. В этом представлении администратор может просматривать и удалять любые запросы или панели мониторинга. Однако администратор не может изменить запрос или панель мониторинга, если она не предоставлена администратору. См. представление администратора запросов и устаревшее представление администратора панели мониторинга.

• Теперь для всех учетных записей доступна возможность повысить уровень параллелизма конечных точек с балансировкой нагрузки в нескольких кластерах. Вы можете создавать конечные точки, которые автоматически масштабируются между указанными минимальным и максимальным количеством кластеров. Для перегруженных конечных точек масштаб будет вертикально увеличиваться, а для конечных точек с недостаточной нагрузкой — уменьшаться.

29 апреля 2021 г.

• Параметры запроса и сведения теперь организованы в наборе вкладок слева от редактора запросов:

  • Data sources (Источники данных). Выберите доступный источник данных и схему. Сведения см. в разделе Создание запроса.

    

  • Past executions (Предыдущие выполнения). Просмотр предыдущих выполнений в редакторе SQL. При этом не отображаются запланированные выполнения. См. статью " Запись запросов" и изучение данных в редакторе SQL.

    

  • Query info (Сведения о запросе). Задайте описание запроса, просмотрите сведения о запросе и укажите расписание обновления. См. статью " Запись запросов" и изучение данных в редакторе SQL и планировании запроса.

    

22 апреля 2021 г.

• Исправлена проблема, из-за которой конечные точки были недоступны (отображались как удаленные) из-за внутренней ошибки.

16 апреля 2021 г.

Databricks SQL обеспечивает совместимость с семантикой SQL в Apache Spark. В этом выпуске представлено обновление семантики для соответствия семантике Apache Spark 3.1. Ранее в Databricks SQL использовалась семантика Apache Spark 3.0.

• Функции статистического агрегирования, в том числе std, stddev, stddev_samp, variance, var_samp, skewness, kurtosis, covar_samp и corr, возвращают NULL вместо Double.NaN при возникновении DivideByZero в ходе оценки выражения, например при применении stddev_samp к одному набору элементов. До этого выпуска возвращался Double.NaN.
• grouping_id() возвращает значения типа long. До этого выпуска эта функция возвращала значения типа int.
• Результаты с объяснением плана запросов теперь отформатированы.
• from_unixtime, unix_timestamp,to_unix_timestamp, to_timestamp и to_date завершатся со сбоем, если указанный шаблон даты и времени является недопустимым. До этого выпуска они возвращали NULL.
• Источники данных Parquet, ORC, Avro и JSON выдают исключение org.apache.spark.sql.AnalysisException: "Found duplicate column(s) in the data schema" (Найдены дубликаты столбцов в схеме данных) при чтении, если они обнаруживают дублирующиеся имена в столбцах верхнего уровня, а также во вложенных структурах.
• Структуры и сопоставления заключаются в скобки ({}) при их приведении к строкам. Например, действие show() и выражение CAST используют такие скобки. До этого выпуска скобки использовались с такой же целью.
• Элементы NULL структур, массивов и сопоставлений преобразуются в значения NULL при их приведении к строкам. До этого выпуска элементы NULL преобразовывались в пустые строки.
• Сумма переполнений столбцов десятичного типа возвращает значение NULL. До этого выпуска сумма столбцов десятичного типа могла возвращать значение NULL или неверный результат либо даже завершаться сбоем при выполнении (в зависимости от фактического выполнения плана запросов).
• IllegalArgumentException возвращается для неполных литералов интервалов, например INTERVAL '1', INTERVAL '1 DAY 2', которые являются недопустимыми. До этого выпуска такие литералы приводили к получению значений NULL.
• Загрузка меток времени из файлов Parquet и их сохранение в них завершается сбоем, если для меток времени установлено значение ранее 1900-01-01 00:00:00Z и они загружаются (сохраняются) как тип INT96. До этого выпуска действия не завершались ошибкой, но могли приводить к смещению входных меток времени из-за перехода на юлианский календарь с григорианского или наоборот.
• Функции schema_of_json и schema_of_csv возвращают схему в формате SQL, в которой имена полей заключаются в кавычки. До этого выпуска функция возвращала строку каталога без заключений полей в кавычки и с использованием нижнего регистра.
• Типы CHAR, CHARACTER и VARCHAR поддерживаются в схеме таблицы. Операции сканирования таблиц и вставки учитывают семантику char/varchar. Если char/varchar используется не только в схеме таблиц, выдается исключение (CAST является исключением, которое просто обрабатывает char/varchar как строку, как и раньше).
• Следующие исключения создаются для таблиц из внешнего каталога Hive:
  • ALTER TABLE .. ADD PARTITION выдает исключение PartitionsAlreadyExistException, если новый раздел уже существует.
  • ALTER TABLE .. DROP PARTITION выдает исключение NoSuchPartitionsException для несуществующих разделов.

13 апреля 2021 г.

• Улучшенная пропускная способность запросов с помощью организации очереди конечных точек SQL. Запросы, отправленные на конечную точку SQL, теперь помещаются в очередь, если конечная точка уже выполняет большое число запросов. Это повышает пропускную способность запросов, так как конечная точка не перегружается ими. Вы можете оценить улучшенную производительность на экране мониторинга конечных точек.

01 апреля 2021 г.

• Расширение "Журнал запросов" позволяет быстро узнать время, затраченное на компиляцию, выполнение и выборку результатов для запроса. См. раздел Профиль запроса. Ранее эти сведения были доступны только на вкладке "Сведения о выполнении". Чтобы открыть ее, нужно щелкнуть имя запроса.
• Конечные точки SQL больше не масштабируются за пределы максимального числа указанных кластеров. Все кластеры, выделенные для конечной точки SQL, перезапускаются через 24 часа, в результате чего на короткое время становится доступным еще один кластер.

18 марта 2021 г.

• Автозаполнение в редакторе запросов теперь поддерживает синтаксис Databricks SQL, который учитывает контекст и псевдоним. Сведения см. в разделе Создание запроса.
• Запросы JDBC и ODBC больше не завершаются с недопустимыми ошибками сеанса после истечения времени ожидания сеанса на сервере. Клиенты бизнес-аналитики теперь могут легко восстанавливаться при превышении времени ожидания сеанса.

11 марта 2021 г.

• Администраторам и пользователям в рабочих областях, недавно включенных для Databricks SQL, больше автоматически не предоставляется й доступ к Databricks SQL. Чтобы включить доступ к Databricks SQL, администратору необходимо:
  1. Перейдите на страницу параметров администратора.
  2. Откройте вкладку Пользователи .
  3. В строке учетной записи установите флажок Databricks SQL access (Доступ к Databricks SQL).
  4. Нажмите кнопку Подтвердить.
  5. Повторите шаги 3 и 4, чтобы предоставить пользователям доступ к Databricks SQL или предоставить доступ к группам.
• Простое создание запросов, панелей мониторинга и оповещений, выбрав "Создать > " [Запрос | Панель мониторинга | Оповещение] в верхней части боковой панели.
• Теперь Редактор запросов сохраняет черновики, чтобы можно было отменить изменения и вернуться к сохраненному запросу. См. статью " Запись запросов" и изучение данных в редакторе SQL.
• Больше нельзя создавать внешние источники данных.
• Повышена надежность диаграммы мониторинга конечных точек SQL. На диаграмме больше не отображаются ложные сообщения об ошибках.

04 марта 2021 г.

• Теперь доступна документация по API запросов, панелей мониторинга и оповещений. См . справочник по REST API Databricks.

• Запланированные обновления панели мониторинга теперь выполняются всегда. Обновления выполняются в веб-приложении, поэтому вам больше не нужно оставлять панель мониторинга открытой в браузере. См. раздел Автоматическое обновление панели мониторинга.

• Новые конечные точки SQL, созданные с помощью API хранилища SQL, теперь включают автоматическую остановку с интервалом ожидания по умолчанию в течение двух часов.

• Пользователи Tableau Online теперь могут подключаться к конечным точкам SQL. Ознакомьтесь с новым кратким руководством по Tableau Online.

26 февраля 2021 г.

Новый соединитель Power BI для Azure Databricks, выпущенный в общедоступной предварительной версии в сентябре 2020 г., теперь предоставляется в общедоступной версии. Предоставляет:

• Простая конфигурация подключения — новый соединитель Azure Databricks Power BI интегрирован в Power BI. Его можно настроить с помощью простого диалогового окна, выполнив несколько действий.
• Проверка подлинности на основе учетных данных идентификатора Microsoft Entra — больше не требуется администраторам для настройки маркеров PAT.
• Ускоренный импорт и оптимизированные вызовы метаданных благодаря новому драйверу ODBC Azure Databricks, который обеспечивает значительное повышение производительности.
• Доступ к данным Azure Databricks с помощью Power BI учитывает управление доступом к таблицам Azure Databricks и разрешения учетной записи хранения Azure, связанные с удостоверением идентификатора Microsoft Entra.

Дополнительные сведения см. в статье "Подключение Power BI к Azure Databricks".

25 февраля 2021 г.

• Настройка разрешений для конечной точки SQL теперь выполняется быстрее. Это следующий шаг после создания новой конечной точки SQL, который также можно без усилий выполнить при редактировании существующей конечной точки. См. статью "Подключение к хранилищу SQL" и управление хранилищем SQL.
• Для повторного использования параметров визуализации теперь можно дублировать визуализацию. См. раздел Клонирование визуализации.
• Результаты запроса теперь хранятся в вашей учетной записи, а не учетной записи Azure Databricks.
• Чтобы предотвратить утечку информации путем перечисления всех определенных разрешений для объекта, необходимо выполнить SHOW GRANTS [<user>] <object> следующее:
  • Администратор Databricks SQL или владелец <object>.
  • пользователем, определенным в [<user>].

7 января 2021 г.

• Чтобы сократить расходы на неактивные конечные точки, для новых конечных точек SQL теперь будет включен режим автоматической остановки со стандартным временем ожидания два часа. По истечении этого периода ожидания конечная точка будет остановлена. Вы можете изменить период ожидания или отключить автоматическую остановку в любое время.
• Кроме параметров запроса типа TEXT, кавычки больше не добавляются в параметры запроса. Если вы использовали Dropdown List, Query Based Dropdown List или любые параметры запроса типа Date, необходимо добавить кавычки, чтобы запрос выполнялся. Например, если у вас есть запрос SELECT {{ d }}, теперь этот запрос должен быть SELECT '{{ d }}'.

18 ноября 2020 г.

Команда Databricks представляет общедоступную предварительную версию Databricks SQL. Это интуитивно понятная среда для выполнения нерегламентированных запросов и создания панелей мониторинга для данных, которые хранятся в озере данных. Databricks SQL предоставляет организации возможности использовать многооблачную архитектуру озер и хранилищ, которая обеспечивает производительность хранилищ данных и экономичность озер данных. Databricks SQL:

• Интегрируется с доступными средствами бизнес-аналитики, такими как Tableau и Microsoft Power BI, позволяя выполнять запросы к актуальным данным в вашем озере данных.
• Дополняет существующие средства бизнес-аналитики, предоставляя интерфейс SQL, с помощью которого специалисты по анализу и обработке данных могут отправлять запросы к озеру данных непосредственно из Azure Databricks.
• Позволяет обмениваться аналитикой запросов через многофункциональные визуализации и перетаскивать панели мониторинга с автоматическими оповещениями о важных изменениях в данных.
• Использует подключение к хранилищу SQL для обеспечения надежности, качества, масштабирования, безопасности и производительности в озере данных, чтобы можно было запускать традиционные рабочие нагрузки аналитики с помощью последних и полных данных.
• Предоставляет привилегию USAGE, которая упрощает администрирование доступа к данным. Чтобы использовать объект в схеме, необходимо предоставить привилегию USE для этой схемы, а также любые привилегии, необходимые для выполнения действия. Привилегии USAGE можно предоставить схемам или каталогу. В рабочих областях, которые уже используют управление доступом к таблицам, права USAGE предоставляются автоматически группе пользователей в корне CATALOG. Дополнительные сведения см. в разделе "Привилегии хранилища метаданных Hive" и защищаемые объекты (устаревшие ).

Дополнительные сведения см. в статье " Что такое хранилище данных в Azure Databricks?" .

Устраненные проблемы

• Редактор SQL. Редактор SQL теперь будет сохранять выделенный текст и положение прокрутки при переключении между вкладками запроса.
• Редактор SQL. Если щелкнуть "Выполнить" в запросе в редакторе SQL, перейдите на другую страницу и вернитесь во время выполнения запроса, редактор отобразит правильное состояние запроса. Если запрос завершится, пока вы находитесь на другой странице, результаты запроса будут доступны при возвращении на страницу редактора SQL.
• Теперь MySQL 8.0 можно использовать в качестве внешнего хранилища метаданных.
• Команды DESCRIBE DETAIL в таблицах Delta больше не завершаются сбоем с исключением java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• Считывание файлов Parquet с метками времени INT96 больше не завершается ошибкой.
• Если пользователь имеет разрешение CAN RUN на запрос и запускает его, если запрос был создан другим пользователем, журнал запросов отображает средство выполнения запроса в качестве пользователя.
• Теперь при отрисовке диаграмм значения NULL пропускаются, что повышает удобство использования диаграмм. Например, ранее при наличии значений NULL в линейчатой диаграмме столбики отображались очень мелко. Теперь оси задаются только на основе ненулевых значений.

Известные проблемы

• Операции чтения из источников данных, отличающихся от озер данных в многокластерных конечных точках SQL с распределенной нагрузкой, могут быть несогласованными.
• Таблицы Delta, открываемые в Databricks SQL, передают свои схемы и свойства таблиц в настроенное хранилище метаданных. Если вы используете внешнее хранилище метаданных, вы сможете просматривать сведения о Delta Lake в хранилище метаданных. Delta Lake делает все возможное, чтобы поддерживать эти данные в актуальном состоянии. Вы также можете использовать команду DESCRIBE <table> для гарантированного обновления информации в хранилище метаданных.
• Databricks SQL не поддерживает смещения часовых поясов, такие как GMT+8, в качестве часового пояса сеанса. Для решения этой проблемы можно использовать часовой пояс на основе региона (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones), например Etc/GMT+8. Дополнительные сведения о настройке часовых поясов см. в статье SET TIME ZONE.

Вопросы и ответы

• Как начисляется плата за рабочие нагрузки Databricks SQL?
• Где выполняются конечные точки SQL?
• Можно ли использовать конечные точки SQL из записных книжек SQL рабочей области для обработки, анализа и инжиниринга данных?
• Мне предоставлен доступ к данным с использованием учетных данных поставщика облачных служб. Почему я не могу получить доступ к этим данным в Databricks SQL?

Как начисляется плата за рабочие нагрузки Databricks SQL?

Плата за рабочие нагрузки Databricks SQL начисляется в соответствии с ценовой категории "Стандартный" для SKU Jobs Compute.

Где выполняются конечные точки SQL?

Как и в случае с кластерами Azure Databricks, конечные точки SQL создаются и управляются в учетной записи Azure. Конечные точки SQL автоматически управляют оптимизированными для SQL кластерами в вашей учетной записи и масштабируются в соответствии с потребностями конечных пользователей.

Можно ли использовать конечные точки SQL из записных книжек SQL рабочей области для обработки, анализа и инжиниринга данных?

№ Конечные точки SQL можно использовать из запросов, средств бизнес-аналитики и других клиентов JDBC и ODBC в Databricks SQL.

Мне предоставлен доступ к данным с использованием учетных данных поставщика облачных служб. Почему я не могу получить доступ к этим данным в Databricks SQL?

В Databricks SQL работает система управления доступом к данным, поэтому администратору или владельцу данных необходимо предоставить вам соответствующие разрешения.