Поделиться через

Заметки о выпуске Databricks SQL 2024

Ниже описаны улучшения и обновления в Databricks SQL с января по декабрь 2024 года.

21 ноября 2024 г.

системные таблицы хранилища SQL (общедоступная предварительная версия)

  • Таблица system.compute.warehouses фиксирует время создания, изменения и удаления хранилищ SQL. Таблицу можно использовать для отслеживания изменений параметров хранилища, включая имя хранилища, тип, размер, канал, теги, автоматическое завершение и параметры автомасштабирования. См. справочник по системным таблицам складов.

обнаружения данных

  • Вкладка Lineage в Каталог Эксплорере была переработана, предлагая улучшенный пользовательский интерфейс для фильтрации объектов.

13 ноября 2024 г.

устаревшие панели мониторинга:

  • Устранена проблема, из-за которой подсказки, основанные на шаблонах, не отображали подробное содержимое для диаграмм с двумя осями и осью с множеством полей.

6 ноября 2024 г.

Поддержка человеко-читаемого расписания для потоковых таблиц и материализованных представлений в Databricks SQL

Теперь пользователи могут запускать, создавать и изменять расписания для таблиц с потоковой передачей и материализованных представлений, используя читаемый человеком синтаксис вместо планирования CRON. См. ALTER MATERIALIZED VIEW, ALTER STREAMING TABLE, CREATE MATERIALIZED VIEWи CREATE STREAMING TABLE.

Потоковые таблицы теперь поддерживают временные запросы

Теперь вы можете использовать возможность путешествия во времени для запроса предыдущих версий таблицы на основе метки времени или версии таблицы (как это записано в журнале транзакций). Вам может потребоваться обновить таблицу потоковой передачи, прежде чем использовать запросы на поездки во времени. См. Что такое путешествие по времени Delta Lake?.

Запросы, связанные с временными данными, не поддерживаются для материализованных представлений.

31 октября 2024 г.

Обновления пользовательского интерфейса

новый редактор SQL (общедоступная предварительная версия)

  • Теперь можно запустить активный SQL-запрос с помощью сочетания клавиш Command (или Ctrl) + Shift + Enter.
  • Область ввода параметров теперь отображает полосу прокрутки, когда текст расширяется за пределами окна отображения.
  • Исправлена проблема, из-за которой страница сведений о профиле запроса не открывалась полностью.
  • Теперь можно переименовать запросы, введя новое имя в заголовок вкладки.
  • Кнопка Планировать теперь отключена для запросов, которые никогда ранее не сохранялись.

24 октября 2024 г.

Заметки о выпуске инструментов ИИ/BI

Заметки о выпуске для панелей мониторинга AI/BI и AI/BI Genie были перенесены в заметки о выпуске AI/BI. Будущие выпуски и обновления будут документированы там.

17 октября 2024 г.

Адреса уведомлений теперь доступны всем

Вы можете создавать и настраивать назначения уведомлений, которые пользователи рабочей области могут добавлять в определенные рабочие процессы, такие как оповещения, задания Lakeflow и расписания панели мониторинга AI/BI, чтобы отправлять электронные письма или веб-перехватчики при выполнении события. См. раздел Управление назначениями уведомлений.

10 октября 2024 г.

Материализованные представления и потоковые таблицы теперь доступны в Databricks SQL

Таблицы потоковой передачи обеспечивают инкрементный прием данных из облачных хранилищ и очередей сообщений, а материализованные представления — это предварительно вычисляемые представления, которые автоматически и постепенно обновляются по мере поступления новой информации. См. статью "Использование материализованных представлений" в Databricks SQL и использование таблиц потоковой передачи в Databricks SQL.

аналитики запросов

  • Новые столбцы query_source, executed_asи executed_as_user_id были добавлены в системную таблицу журнала запросов. См. ссылку на систему таблицы журнала запросов .

3 октября 2024 г.

Расширенная поддержка бессерверного хранилища SQL

Бессерверные хранилища SQL теперь доступны в регионе swedencentral. См. функции с ограниченной региональной доступностью.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Обозреватель каталогов

  • Созданные ИИ комментарии теперь поддерживаются для каталогов, схем, томов, моделей и функций. Пользователи могут использовать встроенного помощника чата для редактирования своих комментариев.

функции ИИ SQL Функция vector_search() теперь доступна в общедоступной предварительной версии. См. vector_search функции

26 сентября 2024 г.

Расширенная поддержка бессерверного хранилища SQL

Бессерверные хранилища SQL теперь доступны в регионе francecentral. См. функции с ограниченной региональной доступностью.

11 сентября 2024 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

редактор SQL

Теперь в редакторе SQL можно использовать синтаксис маркера именованных параметров. Синтаксис маркера именованных параметров можно использовать в редакторе SQL, записных книжках и панелях мониторинга ИИ/BI. См. раздел Работа с параметрами запроса.

Запросы и наследованные панели мониторинга

Для запросов SQL и устаревших панелей мониторинга удаленные элементы больше не отображаются на страницах списка. Найдите удаленные элементы в папке корзины рабочей области. Администраторы рабочей области могут просматривать удаленные элементы во всех папках корзины пользователей.

5 сентября 2024 г.

Изменения в 2024.40

Databricks SQL версии 2024.40 включает следующие изменения поведения, новые функции и улучшения.

Изменения поведения

  • Изменить режим привязки схемы по умолчанию для представлений

    Теперь представления адаптируются к изменениям схемы в исходном запросе с помощью компенсации схемы с использованием стандартных правил преобразования. Это изменение по сравнению с предыдущими настройками по умолчанию в режиме BINDING, которое приводило к ошибкам, когда при ссылке на представление не удавалось выполнить безопасное приведение.

    См. CREATE VIEW и функцииcast.

  • запретить использование незадокументированного синтаксиса ! вместо NOT вне логических выражений

    В этом выпуске использование ! в качестве синонима для NOT вне логических выражений больше не допускается. Например, инструкции, такие как следующие: CREATE ... IF ! EXISTS, НЕ NULL, столбец или свойство поля ! NULL, ! IN и НЕ МЕЖДУ, необходимо заменить следующим образом: CREATE ... IF NOT EXISTS, IS NOT NULL, столбец или свойство поля NOT NULL, NOT IN и NOT BETWEEN.

    Это изменение гарантирует согласованность, соответствует стандарту SQL и делает SQL более переносимым.

    Логический оператор префикса ! (например, !is_mgr или !(true AND false)) не влияет на это изменение.

  • Запретить недокументированный синтаксис определения столбцов в представлениях

    Databricks поддерживает CREATE VIEW, используя именованные столбцы и комментарии к столбцам. Ранее была разрешена спецификация типов столбцов, ограничений NOT NULL или DEFAULT. В этом выпуске этот синтаксис больше не используется.

    Это изменение обеспечивает согласованность, соответствует стандарту SQL и поддерживает будущие улучшения.

  • Добавление ограничения CHECK для недопустимого столбца теперь возвращает класс ошибок UNRESOLVED_COLUMN.WITH_SUGGESTION

    Чтобы предоставить более полезные сообщения об ошибках, в Databricks Runtime 15.3 и более поздних версиях, инструкция ALTER TABLE ADD CONSTRAINT, содержащая ограничение CHECK, ссылающееся на недопустимое имя столбца, возвращает ошибку класса UNRESOLVED_COLUMN.WITH_SUGGESTION. Ранее был возвращен INTERNAL_ERROR.

Новые функции и улучшения

  • Включите UniForm Iceberg с использованием ALTER TABLE

    Теперь вы можете включить UniForm Iceberg в существующих таблицах без перезаписи файлов данных. См. Включение чтения Iceberg на существующей таблице.

  • функции проверки UTF-8

    В этом выпуске представлены следующие функции для проверки строк UTF-8:

    • is_valid_utf8 проверяет, является ли строка допустимой строкой UTF-8.
    • make_valid_utf8 преобразует потенциально недопустимую строку UTF-8 в допустимую строку UTF-8 с помощью символов подстановки
    • validate_utf8 вызывает ошибку, если входные данные не являются допустимой строкой UTF-8.
    • try_validate_utf8 возвращает NULL, если входные данные не являются допустимой строкой UTF-8.

  • to_avro и функции from_avro

    Функции to_avro и from_avro позволяют преобразовать типы SQL в двоичные данные Avro и обратно.

  • функция try_url_decode

    В этом выпуске представлена функция try_url_decode, которая декодирует строку, закодированную URL-адресом. Если строка не имеет правильного формата, функция возвращает NULL вместо возникновения ошибки.

  • при необходимости позволяют оптимизатору полагаться на неисполненные ограничения внешнего ключа

    Чтобы повысить производительность запросов, теперь можно указать ключевое слово RELY в ограничениях FOREIGN KEY, когда вы создаете CREATE или изменяете ALTER таблицы.

  • Поддержка удаления функции таблицы ограничений проверки

    Выборочные перезаписи с помощью replaceWhere теперь выполняют процессы, которые удаляют данные и вставляют новые данные параллельно, повышая производительность запросов и эффективность использования кластера.

  • Параллельные запуски задач для выборочных перезаписей

    Выборочные перезаписи с помощью replaceWhere теперь выполняют процессы, которые удаляют данные и вставляют новые данные параллельно, повышая производительность запросов и эффективность использования кластера.

  • Улучшена производительность канала передачи данных об изменениях с выборочными перезаписями

    Выборочные перезаписи с помощью replaceWhere в таблицах с каналом передачи изменений больше не записывают отдельные файлы измененных данных для вставленных данных. Эти операции используют скрытый столбец _change_type, присутствующий в базовых файлах данных Parquet, для записи изменений без увеличения объема записи.

  • Улучшена задержка запросов для команды COPY INTO

    Этот выпуск включает изменение, которое улучшает задержку запроса для команды COPY INTO. Это улучшение реализуется за счет асинхронной загрузки состояния хранилищем состояний RocksDB. При этом изменении вы увидите улучшение времени запуска запросов с большими состояниями, например, запросов с большим количеством уже загруженных файлов.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

визуализации

  • Общие итоги подсказки теперь отображаются только для сложенных диаграмм.

22 августа 2024 г.

визуализации

Для сгруппированных и много-полей конфигураций подсказки теперь отображают общие суммы при наведении курсора на элементы диаграммы.

15 августа 2024 г.

визуализации

Исправлена проблема, из-за которой номера строк в визуализациях таблиц не обновлялись после изменения размера страницы.

обнаружения данных

Теперь поддерживается возможность расширения и свертывание вложенных сложных типов столбцов в таблицах каталога Unity.

1 августа 2024 г.

визуализации:

  • Сортировка таблиц теперь сохраняется при изменении данных из-за фильтрации.

Редактор SQL:

  • Повышение удобочитаемости путем добавления дополнительного заполнения между последней строкой запроса и выходными данными результатов.

25 июля 2024 г.

REST API Databricks:

  • API для управления запросами, оповещениями, источниками данных и разрешениями были изменены. Устаревшая версия будет поддерживаться в течение шести месяцев. Этот переходный период предназначен для того, чтобы предоставить достаточно времени для переноса приложений и интеграции в новую версию, прежде чем старая версия будет прекращена. См. обновление до последней версии API SQL Databricks

18 июля 2024 г.

Обновления пользовательского интерфейса

обозреватель каталогов

  • Теперь мастер настройки нового каталога доступен для настройки привязок рабочей области, привилегий каталога и метаданных при создании каталога.

мониторинг хранилища SQL:

  • Разрешение CAN MONITOR теперь общедоступно. Он позволяет привилегированным пользователям отслеживать хранилища SQL, включая историю запросов и профили запросов. См. списки управления доступом хранилища SQL.

11 июля 2024 г.

Версия Databricks SQL 2024.35 доступна.

Расписание внедрения: предварительный этап развертывания для 2024.35: в период с 9 июля по 15 июля

Изменения 2024.35

Отключение сопоставления столбцов с функцией удаления

Теперь можно использовать DROP FEATURE для отключения сопоставления столбцов в таблицах Delta и понижения уровня протокола таблицы. См. "Отключение сопоставления столбцов".

Синтаксис типа variant и функции в публичной предварительной версии

Встроенная поддержка Apache Spark для работы с полуструктурированными данными в виде типа VARIANT теперь доступна в Spark DataFrames и SQL. См. вариантных данных запроса.

Поддержка типа variant для Delta Lake в общедоступной предварительной версии

Теперь можно использовать VARIANT для хранения полуструктурированных данных в таблицах, поддерживаемых Delta Lake. См. сведения о поддержке вариантов в Delta Lake.

Поддержка различных режимов эволюции схемы в представлениях

CREATE VIEW и ALTER VIEW теперь позволяют задать режим привязки схемы, повышая способ обработки изменений схемы в базовых объектах. Эта функция позволяет представлениям терпеть или адаптироваться к изменениям схемы в базовых объектах. Он устраняет изменения в схеме запроса, вызванные изменениями определений объектов.

Улучшение производительности некоторых функций окна

Этот выпуск включает изменение, которое повышает производительность некоторых функций окна Spark, в частности функции, которые не включают предложение ORDER BY или параметр window_frame. В таких случаях система может перезаписать запрос, чтобы запустить его с помощью агрегатной функции. Это изменение позволяет запросу выполняться быстрее с помощью частичной агрегирования и предотвращения затрат на выполнение функций окна. Параметр конфигурации Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled управляет этой оптимизацией и по умолчанию имеет значение true. Чтобы отключить эту оптимизацию, задайте для spark.databricks.optimizer.replaceWindowsWithAggregates.enabled значение false.

Добавлена поддержка функции try_mod

Этот выпуск добавляет поддержку функции PySpark try_mod(). Эта функция поддерживает вычисление целочисленного остатка, совместимого с ANSI SQL, путем деления двух числовых значений. Если аргумент делителя равен 0, функция try_mod() возвращает значение NULL вместо того, чтобы вызвать исключение. Вы можете использовать функцию try_mod() вместо mod или %, что создает исключение, если аргумент делителя равен 0, а sql ANSI включен.

Обновления пользовательского интерфейса

Редактор SQL:

Встроенный помощник теперь доступен в редакторе SQL. Щелкните значок помощника в поле редактора, чтобы переключить входные данные. Введите вопрос или комментарий на английском языке, а затем нажмите клавишу ВВОД (не SHIFT+ВВОД, который запускает запрос), чтобы создать ответ с другим представлением непосредственно в редакторе.

платформа:

Теперь доступен API для назначений уведомлений. Теперь вы можете программно управлять вебхуками и адресами электронной почты для оповещений и уведомлений о запуске заданий. См. назначения уведомлений.

4 июля 2024 г.

Доступно Databricks SQL Версии 2024.30

расписание развертывания: предварительное развертывание версии 2024.30: с 9 июля по 15 июля

Изменения в 2024.30

Федерация Лейкхаус доступна в общем доступе (GA)

Соединители федерации Lakehouse для следующих типов баз данных теперь доступны для общего пользования (GA).

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Снежинка
  • Microsoft SQL Server
  • Azure Synapse (хранилище данных SQL)
  • Databricks

В этом выпуске также представлены следующие улучшения:

  • Поддержка дополнительных уменьшений уровня (строк, математических и других функций).
  • Улучшен уровень успешности выполнения pushdown в различных конфигурациях запросов.
  • Дополнительные возможности отладки с использованием технологии pushdown.
    • В выходных данных EXPLAIN FORMATTED отображается пониженный текст запроса.
    • Пользовательский интерфейс профиля запроса отображает переданный вниз текст запроса, идентификаторы федеративного узла и время выполнения запросов JDBC (в подробном режиме). См. результаты системно-сгенерированных федеративных запросов.

DESCRIBE HISTORY теперь отображает столбцы кластеризации для таблиц, использующих liquid clustering

При выполнении запроса DESCRIBE HISTORY столбец operationParameters по умолчанию отображает поле clusterBy для операций CREATE OR REPLACE и OPTIMIZE. Для разностной таблицы, использующей кластеризацию жидкости, clusterBy поле заполняется столбцами кластеризации таблицы. Если таблица не использует кластеризацию жидкости, поле пусто.

Общедоступная поддержка первичных и внешних ключей

Общедоступна поддержка первичных и внешних ключей в Databricks Runtime. Выпуск общедоступной версии включает следующие изменения привилегий, необходимых для использования первичных и внешних ключей:

  • Чтобы определить внешний ключ, необходимо иметь права SELECT в таблице с первичным ключом, на который ссылается внешний ключ. Вам не нужно владеть таблицей с первичным ключом, который ранее требовался.
  • Удаление первичного ключа с помощью предложения CASCADE не требует привилегий для таблиц, определяющих внешние ключи, ссылающиеся на первичный ключ. Ранее необходимо было владеть таблицами ссылок.
  • Для удаления таблицы, включающей ограничения, теперь требуются те же привилегии, что и для удаления таблиц, которые не включают ограничения.

Сведения об использовании первичных и внешних ключей с таблицами или представлениями см. в предложении CONSTRAINT, предложении ADD CONSTRAINT, и предложении DROP CONSTRAINT.

Жидкая кластеризация — это общедоступная версия

Поддержка кластеризации жидкости теперь общедоступна с помощью Databricks Runtime 15.2 и более поздних версий. См. раздел "Использование кластеризации жидкости" для таблиц.

Расширение типов в общедоступной предварительной версии

Теперь можно включить расширение типов в таблицах, поддерживаемых Delta Lake. Таблицы с включенным расширением типов позволяют изменять тип столбцов на более широкий тип данных без перезаписи базовых файлов данных. См. расширение типа.

В синтаксис объединения SQL добавлено условие изменения схемы

Теперь можно добавить предложение WITH SCHEMA EVOLUTION в SQL-операцию MERGE, чтобы включить эволюцию схемы для операции. См. синтаксис эволюции схемы для слияния.

Поддержка инвентаризации вакуумного оборудования

Теперь можно указать инвентаризацию файлов, которые следует учитывать при выполнении команды VACUUM в таблице Delta. См. документы OSS Delta.

Поддержка функций сжатия Zstandard

Теперь можно использовать функции zst_compress, zstd_decompressи try_zstd_decompress для сжатия и распаковки BINARY данных.

Планы запросов в интерфейсе пользователя SQL теперь правильно отображаются "PhotonWriteStage"

При отображении в пользовательском интерфейсе SQL команды write в планах запросов неправильно отображались PhotonWriteStage в качестве оператора. В этом выпуске пользовательский интерфейс обновляется, чтобы отобразить PhotonWriteStage в виде этапа. Это изменение пользовательского интерфейса только и не влияет на выполнение запросов.

Обновления пользовательского интерфейса

поддержка API:

27 июня 2024 г.

Фильтры строк и маски столбцов в материализованных представлениях и таблицах для потоковой обработки в Databricks SQL теперь находятся в публичной предварительной версии.

Фильтры строк и маски столбцов в материализованных представлениях и в потоковых таблицах Databricks в общедоступном режиме предварительного просмотра. Выпуск общедоступной предварительной версии включает следующие изменения:

  • Фильтры строк и маски столбцов можно добавить в материализованное представление или таблицу потоковой передачи Databricks SQL.

    • Вы можете определить материализованные представления Databricks SQL или потоковые таблицы в таблицах, включающих фильтры строк и маски столбцов.

    См. CREATE MATERIALIZED VIEW и CREATE STREAMING TABLE.

Обновления пользовательского интерфейса

визуализации:

  • Улучшенная интерактивность при отображении подсказок при наведении указателя мыши на круговую, точечную и тепловую диаграмму с множеством точек данных.

Обозреватель каталогов:

  • Обновленный пользовательский интерфейс обозревателя каталогов упрощает обнаружение и добавление в избранное последних ресурсов Unity Catalog из представления быстрого доступа. Интерфейс навигации также был упрощен, что позволяет изучать вычисления, хранилище, учетные данные, подключения, DBFS и сведения об управлении с помощью значка параметров параметры в левом верхнем углу экрана. Delta Sharing, чистые зоны данных и внешние данные теперь имеют выделенные страницы.

6 июня 2024 г.

Исправление для материализованных представлений и потоковых таблиц в Databricks SQL

Проблема, из-за которой ALTER SCHEDULE запросы к материализованным представлениям и таблицам потоковой передачи Databricks SQL вступали в силу только после следующей операции REFRESH, была решена. Теперь запросы ALTER SCHEDULE применяются немедленно. См. расписание обновлений материализованного представления.

Материализованные представления и потоковые таблицы в Databricks SQL — публичный предварительный просмотр

Материализованные представления и потоковые таблицы в Databricks SQL находятся в общем предварительном доступе и доступны для всех клиентов. Общедоступный предварительный выпуск включает следующие изменения:

Обновления пользовательского интерфейса

панели мониторинга:

  • Пользователи учетной записи теперь могут скачать данные визуализации с опубликованных панелей мониторинга
  • Теперь неопубликованные дашборды можно публиковать с помощью раскрывающегося списка Черновик/Публикация, расположенного вверху дашборда.
  • Исправлена проблема, из-за которой параметры с именами и не обнаруживались.

визуализации:

  • Улучшенная отрисовка ящиковых диаграмм в темном режиме.

Информация о запросах:

  • Для всех ноутбуков, подключенных к складам данных SQL, можно получить доступ к профилю запроса, щелкнув Смотреть производительность под ячейкой, где находится запрос. Если ячейка содержит несколько запросов, для каждого из них предоставляется ссылка на профиль запроса для каждого утверждения.

30 мая 2024 г.

Новый уровень разрешений для хранилищ SQL

Может мониторить разрешение позволяет пользователям мониторить хранилища SQL, включая связанную историю запросов и профили запросов. Разрешение может теперь отслеживать в общедоступной предварительной версии. См. списки управления доступом хранилища SQL.

Обновления пользовательского интерфейса

улучшения панели мониторинга:

  • Добавлено меню кебаб в мини-приложения панели мониторинга для скачивания изображений и данных.
  • Пользователи могут перенести устаревшие параметры панели мониторинга, основанные на запросах, и параметры в виде раскрывающихся списков на новые панели мониторинга.

23 мая 2024 г.

Обновления пользовательского интерфейса

  • Теперь можно выбрать несколько элементов в рабочей области для перемещения или удаления. При выборе нескольких объектов отображается панель действий и предоставляет параметры перемещения или удаления элементов. Кроме того, можно выбрать несколько элементов с помощью мыши и перетащить их в новое расположение. Существующие разрешения на объекты по-прежнему применяются во время операций массового перемещения и удаления.
  • Теперь вы можете пометить ресурсы каталога Unity как избранное в обозревателе каталогов и браузере схем. К ним относятся каталоги, схемы, таблицы, модели, тома и функции. Ресурсы каталога Unity, отмеченные как избранное, легко доступны на домашней странице Azure Databricks.

обновлений панели мониторинга:

  • Комбинированные диаграммы с двумя осями теперь правильно отображают легенды столбцов на правой оси и легенды линий соответствующим образом.
  • Теперь диаграммы двойной оси теперь правильно отображают метки на полосах.

обновления визуализаций:

  • Метки условного форматирования редактора таблиц для если и то теперь поддерживают темный режим.
  • Значок избыточной открытой ссылки был удален из подсказок формата редактора таблиц.
  • Метка цвета шрифта по умолчанию в редакторе таблиц теперь выравнивается автоматически.

16 мая 2024 г.

расписание развертывания

  • Предварительный релиз версии 2024.25: завершён 1 мая 2024 года
  • Текущее развертывание для 2024.25: с 14 мая по 21 мая

Заметка

Обновление до библиотеки Python panda (версия 2.0.3) вызвало критическое изменение в Databricks SQL версии 2024.20. Azure Databricks не развернула версию 2024.20 на текущем канале. Вместо этого канал предварительной версии был обновлен до 2024.25 1 мая 2025 года. Текущее развертывание канала сразу переходит с версии 2024.15 на 2024.25.

Изменения в 2024.25

Управление данными

Передача учетных данных и элементы управления доступом к таблицам метахранилища Hive устарели.

сквозная передача учетных данных и элементы управления доступом к таблицам Hive являются устаревшими моделями управления данными. Обновите каталог Unity, чтобы упростить безопасность и управление данными, предоставив централизованное место для администрирования и аудита доступа к данным в нескольких рабочих областях в вашей учетной записи. См. статью Что такое каталог Unity?.

Поддержка передачи учетных данных и контроля доступа к таблицам Hive будет удалена в предстоящей версии DBR.

Функции языка SQL

Поддержка * (звёздочки) теперь реализована в предложении WHERE.

Теперь можно использовать предложение star (*) в предложении WHERE для ссылки на все столбцы из списка SELECT. Например, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Поддержка хранилища Cloudflare R2 для предотвращения исходящих сборов между регионами с версии 2024.15

Теперь вы можете использовать Cloudflare R2 в качестве облачного хранилища для данных, зарегистрированных в каталоге Unity. Cloudflare R2 предназначен в основном для сценариев использования Delta Sharing, в которых вы хотите избежать сборов за исходящий трафик данных, взимаемых поставщиками облачных служб при пересечении данных между регионами.

Хранилище Cloudflare R2 поддерживает все данные Databricks и ресурсы ИИ, поддерживаемые в Azure Data Lake Storage.

См. статью Использование реплик Cloudflare R2 или перенос хранилища в R2 и создание учетных данных хранения для подключения к Cloudflare R2.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

Обновления обнаружения данных: Мастер обновления метаданных Hive до каталога Unity поддерживает обновление управляемых таблиц хранилища из Hive с использованием универсальных вычислительных ресурсов или складов SQL. Обновление более 20 таблиц создает новую записную книжку, содержащую команды SYNC AND и ALTER TABLE, которые выполняют преобразование.

обновлений панели мониторинга:

  • Функциональность с двойной осью теперь доступна для типов диаграмм: областной, столбчатой, линейной и точечной.
    • При включении двухосьевой диаграммы заголовок и диапазон осей больше не копируются на вторичную ось.
    • Последнее поле, определенное в конфигурации визуализации, автоматически перемещается на ось y справа.

9 мая 2024 г.

редактор SQL исправляет:

  • Настройка администратора функций буфера обмена таблицы результатов теперь применяется к новой таблице результатов редактора SQL.

улучшения панели мониторинга:

  • Параметры на основе запросов позволяют авторам определять список доступных для выбора значений, которые средства просмотра могут использовать в качестве параметров для других визуализаций на холсте панели мониторинга. См. Использование параметров на основе запросов.
  • Порядок столбцов в файлах, скачанных из мини-приложения таблицы, теперь сохраняется.
  • Теперь редактор таблиц включает подсказки наведения указателя, отображающие имена столбцов.
  • При переходе с других типов визуализаций на гистограмму кодирование сведений теперь лучше сохраняется.

исправления панели мониторинга:

  • Исправлена проблема, из-за которой один фильтр высоты сетки отображал ненужную полосу прокрутки.
  • Исправлена проблема, из-за которой визуализации неправильно отображались на опубликованных панелях мониторинга, если в наборе данных был удалён столбец, на который была ссылка.

2 мая 2024 г.

обновлений панели мониторинга:

  • Теперь запросы и визуализации можно скопировать на новую панель мониторинга из редактора SQL. Визуализации по-прежнему можно добавлять в устаревшие панели мониторинга из редактора SQL. См. редактирование, скачивание или добавление на панель мониторинга.
  • Теперь панели мониторинга будут поддерживать кэш результатов 24 часа для оптимизации времени начальной загрузки. См. оптимизацию набора данных и кэширование.
  • Столбчатые диаграммы с категориальными шкалами X и количественными шкалами Y теперь сортируются в ответах Ассистента Databricks.
  • Исправлена проблема миграции с устаревшей гистограммой COUNT (*), чтобы обеспечить точную миграцию.
  • Реализована возможность смешивания числовых типов и типов дат в мини-приложении фильтра.
  • При создании диаграмм помощник Databricks теперь автоматически предлагает соответствующие столбцы по мере ввода.

обновления для визуализации:

  • Выбранный пользователем цвет для таблиц теперь сохраняется в светлых и темных режимах в устаревших диаграммах.
  • Улучшена логика обрезки данных для повышения производительности в комбинированных, круговых, тепловых и гистограммах.
  • Отметка галочки теперь всегда отображается в верхней части количественной оси для базовых диаграмм.

23 апреля 2024 г.

обновления пользовательского интерфейса:

  • Для всех диалоговых окон совместного использования в пользовательском интерфейсе группа All Users была переименована в All Workspace Users. Новое имя более точно отражает сферу деятельности группы, в которую всегда входили пользователи, назначенные для работы с областью. Изменения не вносятся в членство в группах в рамках этого переименования.

улучшения панели мониторинга:

  • При запуске хранилища SQL панели мониторинга появится диалоговое окно, чтобы объяснить время ожидания.
  • Позиция прокрутки сохраняется при переключении между вкладками Canvas и Data.
  • Клонирование устаревшей панели мониторинга для создания панели мониторинга Lakeview теперь поддерживает некоторые преобразования параметров. См. раздел Настройка устаревших параметров.
  • Относительные даты, такие как сегодня, завтраи 7 дней назад, теперь поддерживаются для параметров даты и времени.
  • Ползунки диапазона чисел можно добавить в качестве фильтров на информационной панели.
  • Гистограммы теперь могут отображать разделенные данные.
  • Точечные диаграммы теперь поддерживают кодировку размера.

исправления панели мониторинга:

  • Кодирование временных цветов теперь может правильно изменять распределение цветов.

обновления для визуализации:

  • Форматы пользовательских подсказок теперь работают правильно для диаграмм с несколькими осями.
  • New charts тег предварительной версии снимается, если пользователи не изменяют переключатель в течение последних 14 дней.

18 апреля 2024 г.

Панели мониторинга Lakeview являются общедоступными

Панели мониторинга Lakeview теперь являются средством мониторинга по умолчанию. Они были переименованы в панели мониторинга в пользовательском интерфейсе. Панели мониторинга Databricks SQL теперь называются устаревшие панели мониторинга. Имена связанных средств API не изменились.

  • улучшения панели мониторинга :
    • Журналы аудита доступны для панелей мониторинга Lakeview. См. события панели мониторинга AI/BI.
    • Данные, скачанные с панелей мониторинга, учитывают примененные параметры.
    • Помощник Databricks включен на вкладке данных , не добавляя сначала наборы данных.
    • Стекированные линейчатые диаграммы с несколькими полями Y могут поддерживать сортировку оси X на основе суммы значений оси Y.
    • Переключение между линейнымии log(Симметричными) функциями масштабирования в меню осей визуализации.
    • Размер мини-приложения фильтра по умолчанию теперь более компактный.
    • Начальное время загрузки мини-приложения фильтра ввода текста сократилось.
    • Улучшены автоматические преобразования диаграмм при миграции с устаревших панелей мониторинга.
  • исправления панели управления:
    • Предупреждение о параметрах ограниченного просмотра не отображается, если панель мониторинга была предоставлена другим пользователям.
    • Сообщения об ошибках в редакторе SQL на вкладке данных теперь поддерживают тёмный режим.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

улучшения:

  • Подсказки на сложенных диаграммах теперь отображают значение слоев и процент по умолчанию.
  • Подсказки для диаграмм с несколькими осями теперь могут выделять наведённый указателем элемент.
  • Визуализации таблиц для Databricks SQL теперь адаптируют новый тип данных результата запроса при редактировании в редакторе SQL.
  • В таблице журнала запросов обозревателя каталогов отображается древообразное представление для атрибуции источника запросов. Это можно использовать для просмотра того, какие сущности активировали инструкцию запроса для выполнения.

11 апреля 2024 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

улучшения:

  • Теперь можно сгруппировать по процентам при создании визуализаций в Databricks SQL и записных книжках.
  • Для новых диаграмм (в общедоступной предварительной версии) можно увеличить масштаб по одной оси, щелкнув и перетащив прямую линию параллельно с осью.
  • Интерфейс общего кластера Unity Catalog список разрешенных теперь доступен в общем порядке. Вы можете получить доступ к нему на странице сведений о хранилище метаданных в обозревателе каталогов. См. Добавление элементов в список разрешений.
  • Формы для создания и редактирования внешних расположений теперь открываются в виде полной страницы. Они включают возможность добавления учетных данных для хранения.

исправления:

  • Исправлена проблема для гистограммных диаграмм, в которых отрицательные значения были ошибочно помечены как положительные.

4 апреля 2024 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

улучшения:

  • Улучшения гистограмм на информационных панелях Lakeview.
    • Добавлена поддержка меток.
    • Параметры корзины теперь сохраняются при переключении между различными полями.
  • Коллекция примеров на странице описания панели мониторинга теперь создает панели мониторинга Lakeview. См. руководство: как использовать примеры панелей мониторинга.
  • Щелкните правой кнопкой мыши на границе виджета в панели мониторинга Lakeview, чтобы открыть контекстное меню.
  • Панель навигации слева сохраняется для пользователей рабочего пространства, просматривающих публикуемые панели мониторинга Lakeview.
  • Выбор фильтров сохраняется при переходе между опубликованными и черновиками панелей мониторинга Lakeview.
  • Теперь имена столбцов можно вставить в редактор SQL при редактировании запроса на вкладке Данные в черновике панели мониторинга Lakeview.
  • Замена панели мониторинга Lakeview сохраняет существующее имя панели и заменяет ее содержимое.
  • Переключение визуализаций между тепловыми картами и другими типами диаграмм теперь сохраняет соответствующие поля лучше.

исправления:

  • Линейчатые диаграммы с кодировками цветов теперь правильно ограничивают добавление нескольких полей оси Y.
  • Устранена проблема, из-за которой в некоторых визуализациях отсутствует кнопка загрузки в формате PNG.
  • Исправлено форматирование для отрицательных больших чисел, которые ранее не имели разделителей тысяч.
  • Исправлено неправильное размещение линии наведения при наведении указателя на метки на линейных диаграммах.

28 марта 2024 г.

Доступна версия Databricks SQL 2024.15

расписание развертывания

  • Предварительный выпуск для 2024.15: с 14 февраля по 4 марта
  • Текущее развертывание для 2024.15: в период между 25 марта и 8 апреля

изменения в версии 2024.15

Инкрементные обновления

  • Delta UniForm теперь общедоступен: UniForm теперь общедоступен и использует функцию таблицы IcebergCompatV2. Теперь вы можете включить или обновить UniForm в существующих таблицах. См. Чтение таблиц Delta с клиентами Iceberg.
  • Пересчитать статистику пропуска данных для таблиц Delta: теперь можно пересчитать статистику, хранящуюся в журнале Delta, после изменения столбцов, используемых для пропуска данных. См. Укажите столбцы статистики Delta.

Обновления языка SQL

  • Объявлять временные переменные в сеансе SQL: этот выпуск предоставляет возможность объявлять временные переменные в сеансе, которые можно задать и затем использовать в запросах. См. переменных .
  • поддержка формата собственного XML-файла (общедоступная предварительная версия) поддержка формата собственного XML-файла теперь доступна в общедоступной предварительной версии. Поддержка формата XML-файла позволяет получать, запрашивать и анализировать XML-данные для пакетной обработки или потоковой передачи. Он может автоматически выводить и развивать схемы и типы данных, поддерживать выражения SQL, такие как from_xml, и создавать XML-документы. Он не требует внешних jar-файлов и работает без проблем с автозагрузчиком, read_files, COPY INTO, и DLT. См. : Чтение и запись XML-файлов.

Обновления APACHE Spark SQL

Databricks SQL 2024.15 включает Apache Spark 3.5.0. Дополнительные исправления ошибок и улучшения для SQL перечислены в заметке о выпуске Databricks Runtime 14.3. См. Apache Spark и найдите тег [SQL] для полного списка.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

  • На новой вкладке обзора на странице сущности обозревателя каталогов отображаются важные метаданные, такие как размер файла, источник данных, владелец, схема таблицы и примечания.
  • обновления панели мониторинга Lakeview:
    • Панели мониторинга Lakeview теперь поддерживают параметры. Авторы могут добавлять параметры в запросы набора данных на вкладке данных, а затем задавать параметры на холсте с помощью селекторов с одним значением и средств выбора дат. См. раздел Работа с параметрами панели мониторинга.
    • Панели мониторинга Lakeview теперь поддерживаются в API разрешений рабочей области. См. PATCH /api/workspace/workspace/updatepermissions в документации по REST API.
    • Виджеты управления на холсте были переименованы в виджеты фильтр.
    • Комбинированные диаграммы больше не допускают разагрегированные поля на оси x.
    • Кнопка Копировать ссылку в диалоговом окне "Общий доступ" теперь содержит параметры, хранящиеся в URL-адресе.
    • Мини-приложения на опубликованных панелях мониторинга больше не отображают границы при наведении указателя мыши.
    • Устранена проблема, из-за которой кнопки Databricks Assistant и Download PNG перекрывали визуальные элементы диаграммы.
  • Переключение визуализаций между тепловыми картами и другими типами диаграмм теперь лучше сохраняет соответствующие поля.
  • Линейчатые диаграммы с кодировками цветов теперь правильно ограничивают добавление нескольких полей оси Y.

21 марта 2024 г.

  • Модель каталога Unity теперь доступна в общедоступной предварительной версии.

Теперь представление таблицы в обозревателе каталогов содержит вкладку Обзор, чтобы описать свои основные метаданные.

  • Хранилища SQL для записных книжек, теперь общедоступные, позволяют использовать полностью управляемые, мгновенные и масштабируемые вычислительные ресурсы для рабочих нагрузок SQL в богатой среде совместной разработки и создания записной книжки. См. статью "Использование записной книжки с хранилищем SQL".

Следующие исправления и улучшения применяются к панелям мониторинга Lakeview:

  • Расширенная поддержка API для Lakeview добавляет возможность создавать, получать, обновлять и перемещать в корзину панели мониторинга. См. Lakeview в справочнике по REST API.
  • Добавлена кнопка обновления для браузера каталога на вкладке данных.
  • панели мониторинга Lakeview теперь отображаются перед панелями мониторинга в меню «Создать» в секции боковой панели рабочей области. На странице описания панели мониторинга вкладка панели мониторинга Lakeview отображается слева от вкладки Панели мониторинга.
  • Интерфейс Помощника Databricks для Lakeview был обновлён с добавлением поля ввода и предложений, чтобы улучшить обнаруживаемость и помочь пользователям понять запросы, которые они могут задавать.
  • Теперь визуализации Lakeview поддерживают агрегирование по медиане.
  • Обновлен средство выбора цветов в редакторе визуализации панели мониторинга Lakeview для более упрощенного взаимодействия с пользователем при создании таблиц.
  • Улучшена миграция круговой диаграммы для поддержки исключительно сценариев с определениями угла или цвета.
  • Исправлена ошибка, препятствующая группировке диаграмм с именами , количество. Теперь диаграммы можно сгруппировать по полям с именем количество.
  • Для столбчатых диаграмм элементы управления группировкой и, а также стеком и теперь скрываются, если это не применимо к выбранной пользователем конфигурации.

14 марта 2024 г.

Для панелей мониторинга Lakeview:

  • Гистограммы теперь поддерживают пользовательские категориальные цвета.
    • Тепловые карты теперь поддерживают количественные шкалы.
    • Названия и описания сохраняются при переключении между типами визуализаций, включая комбинированные диаграммы.
    • Теперь можно открыть базовый набор данных, связанный с мини-приложением черновика панели мониторинга, щелкнув его правой кнопкой мыши. Набор данных откроется на вкладке Данные.
  • Новые диаграммы теперь применяют псевдонимы и настраиваемые цвета для значений NULL в числовых столбцах.
  • Новые диаграммы теперь отображают галочки, чтобы отобразить верхнюю часть оси y.

7 марта 2024 г.

  • При просмотре таблицы в обозревателе каталогов есть кнопка «Создать», с помощью которой можно создать панель мониторинга Lakeview вместо панели мониторинга Databricks SQL.
  • Гистограммы теперь доступны для панелей мониторинга Lakeview. Гистограммы обычно используются для визуализации распределения числового поля.
  • При клонировании панели мониторинга Databricks SQL для создания панели мониторинга Lakeview проблемы преобразования набора данных теперь отображаются как ошибки в новом виджете на панели мониторинга Lakeview.
  • Цветовые градиенты доступны, если числовое поле используется для визуализации на панели мониторинга Lakeview.
  • Градиенты цветов теперь предоставляются в редакторе визуализации панели мониторинга Lakeview при указании цвета по полю.
  • Заголовок и описание, связанные с визуализацией, больше не могут быть редактируемыми, если у пользователя нет прав редактирования на черновике панели мониторинга Lakeview.
  • Исправлена проблема, из-за которой подсказки в диаграммах с более чем 100 сериями неправильно отображали все серии. Теперь отображается только сфокусированная серия.
  • Сокращение задержки ввода в редакторе SQL на 30% с помощью оптимизации производительности.
  • При управлении запросами в редакторе SQL перемещение запроса в корзину автоматически закрывает вкладку.
  • Исправлена проблема в редакторе SQL, в которой текст был случайно выбран при настройке ширины боковой панели.

29 февраля 2024 г.

  • В браузере схем в обозревателе каталогов теперь отображаются ограничения первичных и внешних ключей для столбцов.
  • Время хранения, показанное на вкладке "Происхождение" в обозревателе каталогов, увеличилось до одного года.
  • Подсказки на новых диаграммах в записных книжках теперь всегда отображаются внутри границы визуализации.
  • Узнайте, как программно управлять панелями мониторинга Lakeview с помощью REST API. См. управление панелями с помощью API рабочих областей.
  • Панели мониторинга Lakeview теперь поддерживают гистограммы.
  • Улучшен общий доступ и публикация на панелях мониторинга Lakeview:
    • Улучшены диалоги общего доступа и публикации, что позволяет безопасно и легко предоставлять общий доступ любому пользователю учетной записи.
    • Панели мониторинга, открытые в браузере рабочей области, показывают опубликованную панель мониторинга, если она существует. Теперь зрители могут просматривать сведения о последней опубликованной версии, включая издателя, время и учетные данные.
    • Для редакторов новый раскрывающийся список в пользовательском интерфейсе панели мониторинга Lakeview позволяет быстро перемещаться между черновиками и опубликованными версиями.

Февраль 22, 2024

  • Улучшения во вкладке примеров данных в представлении таблицы обозревателя каталога позволяют сортировать столбцы, копировать выбранные данные в буфер обмена и просматривать номера строк. Теперь можно лучше отображать специальные значения, такие как объекты JSON, даты, числовые и пустые значения.
  • Панели мониторинга Lakeview теперь поддерживают отправку периодических PDF-скриншотов пользователям рабочей области и адресатам уведомлений. См. расписания и подписки.
  • Список параметров визуализации в раскрывающемся списке Lakeview теперь отсортирован по алфавиту.
  • При копировании панелей мониторинга Databricks SQL в панели Lakeview виджеты, которые не могут быть преобразованы, теперь показывают средство выбора конфигурации визуализации вместо сообщения об ошибке.

15 февраля 2024 г.

  • Документация по фильтрам запросов на основе кода, например SELECT action AS 'action::filter', была удалена. Databricks рекомендует обновлять запросы для удаления этого шаблона.
  • Для панелей мониторинга Lakeview круговая диаграмма теперь отображает срезы равных размеров, если поле угла не указано.
  • Lakeview теперь поддерживает комбинированные диаграммы, которые объединяют линейчатые и линейные диаграммы для отображения двух разных значений на одном графике.
  • Диаграммы тепловой карты, использующие интенсивность цвета для отображения величины корреляции между двумя дискретными переменными, теперь доступны в Lakeview.

8 февраля 2024 г.

  • Теперь вы можете запросить доступ при открытии ссылки на панель мониторинга Lakeview, когда у вас нет на нее прав доступа.
  • Теперь фильтры панели мониторинга Lakeview имеют четкие варианты "Все" и "Нет". Авторы могут скрыть параметр Все в отдельных фильтрах выбора.
  • Теперь можно задать минимальные и максимальные значения осей на диаграммах панели мониторинга Lakeview.

1 февраля 2024 г.

Доступна версия Databricks SQL 2024.10

расписание развертывания

  • Предварительный запуск для 2024.10: с 30 января 2024 г. по 5 февраля 2024 г.
  • Текущее развертывание для 2024.10: с 13 февраля 2023 по 20 февраля 2024 г.

Изменения в 2024.10

  • Исправлена обработка поврежденных файлов в командах DML: команды DML DELETE, UPDATEи MERGE INTO больше не учитывают параметры чтения ignoreCorruptFiles и ignoreMissingFiles. При обнаружении непрочитанного файла в таблице эти команды теперь завершаются ошибкой, даже если эти параметры указаны.
  • параллелизм на уровне строк является общедоступным и по умолчанию: параллелизм на уровне строк уменьшает конфликты между параллельными операциями записи, обнаруживая изменения на уровне строк. Параллелизм на уровне строк поддерживается только в таблицах, не содержащих секционирование, включая таблицы с liquid-кластеризацией. Параллелизм на уровне строк включен по умолчанию в Delta-таблицах, где включены векторы удаления. См. конфликты записи с параллелизмом на уровне строк.
  • неглубокое клонирование для внешних таблиц каталога Unity (общедоступная предварительная версия): теперь можно использовать неглубокое клонирование с внешними таблицами каталога Unity. См. поверхностное клонирование для таблиц Unity Catalog.
  • Более быстрая многопоточная сбор статистических данных: На небольших кластерах сбор статистики становится до 10 раз быстрее при выполнении CONVERT TO DELTA или при клонировании из таблиц Iceberg и Parquet. См. Convert to Delta Lake и Поочередное клонирование таблиц Parquet и Apache Iceberg в Delta Lake.
  • Фильтры перегрузки в источнике Delta для файлов Delta: Для повышения эффективности фильтры секций в потоковых запросах таблиц Delta теперь применяются к Delta перед ограничением скорости.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

  • Параметр меню Клонировать на панель мониторинга Lakeviewдобавлен в пользовательский интерфейс панели мониторинга Databricks SQL. Это средство можно использовать для создания панели мониторинга Lakeview, которая включает те же запросы и визуализации в существующих панелях мониторинга Databricks SQL. См. клонировать устаревшую панель мониторинга в панель мониторинга ИИ/BI.
  • Линейчатые диаграммы на досках Lakeview поддерживают столбики, складываемые в стопку, для нормализации к 100%.
  • Исправлена проблема, из-за которой увеличение масштаба опубликованной панели мониторинга Lakeview приводило к фокусировке на неправильных интервалах масштабирования.

24 января 2024 г.

  • Холст панели мониторинга Lakeview автоматически настраивает размещение мини-приложений, чтобы удалить пустой вертикальный пробел между строками, если это возможно.
  • Уменьшены интервалы между заголовком и текстом описания в визуализациях панели мониторинга Lakeview.

18 января 2024 г.

  • Исправлена проблема отрисовки для визуализаций, в которых столбчатые диаграммы с одной датой на оси x результировались в очень тонкой полосе. Новые визуализации графиков отображаются должным образом.
  • На странице списка панели мониторинга Lakeview по умолчанию отображаются ваши панели мониторинга. Фильтры на этой странице можно использовать для доступа к панелям мониторинга Lakeview, принадлежащим другим пользователям рабочей области.

11 января 2024 г.

  • API запросов SQL и панели мониторинга Databricks поддерживают программное изменение настройки роли выполнить как.

4 января 2024 г.