Заметки о выпуске Databricks SQL 2021

Ниже описаны улучшения и обновления в Databricks SQL с января по декабрь 2021 года.

15 декабря 2021 г.

• Databricks SQL является общедоступным. Это знаменует собой важную веху в обеспечении первой платформы Lakehouse, которая объединяет данные, ИИ и рабочие нагрузки бизнес-аналитики в одном месте. С общедоступной версией можно ожидать наивысший уровень стабильности, поддержки и готовности для корпоративного использования от Databricks для критически важных рабочих нагрузок. Читайте блог об объявлении GA, чтобы узнать больше.
• Оповещения теперь планируются независимо от запросов. При создании нового оповещения и создании запроса вам будет предложено также создать расписание для оповещения. Если у вас было существующее оповещение, мы скопировали расписание из исходного запроса. Это изменение также позволяет настроить оповещения для запросов запуска от имени владельца и запуска от имени запросов. Запросы запускаются от имени владельца в соответствии с указанным расписанием оповещений, с использованием учетных данных владельца запроса. Запросы в режиме просмотра выполняются в соответствии с установленным для оповещений расписанием с использованием учетных данных создателя оповещений. Смотрите оповещения Databricks SQL и планирование запроса.
• Теперь можно изменять порядок параметров как в редакторе SQL , так и в панелях мониторинга .
• Развернута документация по созданию визуализаций тепловой карты. См. параметры тепловой карты.

9 декабря 2021 г.

• При создании визуализации таблицы теперь можно задать цвет шрифта для столбца статическим значением или диапазоном значений на основе значений поля столбца. Литеральное значение сравнивается с пороговым значением. Например, чтобы цветировать результаты, значения которых превышают 500000, создайте пороговое значение > 500000, а не > 500,000. См. условное форматирование цветов столбцов.
• Значки в вкладочном редакторе SQL в браузере схемы теперь позволяют различать таблицы и представления.

1 декабря 2021 г.

• Теперь можно применить параметры конфигурации SQL на уровне рабочей области. Эти параметры автоматически применяются ко всем существующим и новым конечным точкам SQL в рабочей области. См. Настройте параметры SQL.

18 ноября 2021 г.

• При просмотре истории запросов теперь можно фильтровать запросы по служебной учетной записи, посредством которой они выполнялись. См. просмотр журнала запросов.

• Теперь вы можете открыть редактор SQL с помощью ярлыка боковой панели. Чтобы открыть редактор SQL, щелкните SQL Editor.
• Если у вас есть разрешение на создание кластеров Data Science & Engineering, вы можете создать конечные точки SQL, щелкнув Создать на боковой панели и затем щелкнув SQL Endpoint.
• Теперь администраторы могут передавать права владения запросом, панелью мониторинга или оповещением другому пользователю через пользовательский интерфейс. См.
• Передача владения запросом
• передача владения устаревшей панелью мониторинга
• передача прав владения оповещением

4 ноября 2021 г.

• В визуализации карты (Хороплет) визуализации максимальное количество шагов градиента для цветов в условных обозначениях увеличилось с 11 до 20. По умолчанию используются 5 градиентных шагов, включая Min color и Max color.
• Редактор SQL с вкладками теперь поддерживает массовое управление вкладками. Если щелкнуть правой кнопкой мыши вкладку, вы увидите параметры Закрыть другие, Закрыть слева, Закрыть справа и Закрыть все. Обратите внимание, что если щелкнуть правой кнопкой мыши первую или последнюю вкладку, вы не увидите параметры закрытия слева или закрытия справа.

28 октября 2021 г.

• При просмотре таблицы в обозревателе каталогов существует два варианта упрощения взаимодействия с таблицей:
• Щелкните Создать > запрос, чтобы создать запрос, который выбирает все столбцы и возвращает первые 1000 строк.
• Щелкните Создать > быструю панель мониторинга, чтобы открыть страницу конфигурации, где вы можете выбрать нужные столбцы и создать панель мониторинга и вспомогательные запросы, предоставляющие основные сведения с использованием этих столбцов, а также демонстрирующие параметры уровня панели мониторинга и другие возможности.

19 октября 2021 г.

• Новые сочетания клавиш теперь доступны в редакторе с вкладками:
• Откройте новую вкладку:
  • Виндовс: Cmd+Alt+T
  • Мак: Cmd+Option+T
• Закрыть текущую вкладку
  • Виндовс: Cmd+Alt+W
  • Мак: Cmd+Option+W
• Открыть диалог запроса
  • Виндовс: Cmd+Alt+O
  • Мак: Cmd+Option+O

23 сентября 2021 г.

• Теперь вы можете создать новую панель мониторинга, клонируя существующую панель мониторинга, если у вас есть разрешение CAN RUN, CAN EDIT и CAN MANAGE на панели мониторинга и все последующие запросы. См. Клонируйте устаревшую панель мониторинга.
• Теперь можно использовать GROUP BY в визуализации с несколькими столбцами оси Y. См. точечная диаграмма.
• Теперь можно использовать {{ @@yPercent}} для форматирования меток данных в ненормализованной линейчатой диаграмме. См. линейчатой диаграммы.
• Если вы используете проверку подлинности SAML и срок действия учетных данных SAML истекает в течение нескольких минут, вам теперь будет предложено повторно войти в систему перед выполнением запроса или обновлением панели мониторинга. Это помогает предотвратить нарушение из-за истечения срока действия учетных данных во время выполнения запроса.

20 сентября 2021 г.

• Теперь вы можете передать владение панелями мониторинга, запросами и оповещениями с помощью REST API разрешений. См. списки запросов ACL.

16 сентября 2021 г.

• В результатах запроса BIGINT результаты теперь сериализуются в виде строк, если больше 9007199254740991. Это устраняет проблему, из-за которой результаты BIGINT могут обрезаться в результатах запроса. Другие целые результаты по-прежнему сериализуются в виде чисел. Форматирование чисел на осевых метках и в подсказках не применяется к результатам BIGINT, сериализованным как строки. Дополнительные сведения о типах данных в Databricks SQL см. в BIGINT типе.

7 сентября 2021 г.

Databricks развертывает изменения, которые следуют на протяжении недели. Ваша рабочая область может не поддерживать эти изменения до 7 сентября.

• Databricks SQL теперь находится в общедоступной предварительной версии и включен для всех пользователей в новых рабочих областях.

Заметка

Если ваша рабочая область была включена для Databricks SQL во время общедоступной предварительной версии , то есть до начала недели, начиная с 7 сентября 2021 г., пользователи сохраняют назначенные права до этой даты, если вы не измените ее. Другими словами, если у пользователя нет доступа к Databricks SQL во время общедоступной предварительной версии, он не будет иметь его сейчас, если администратор не предоставит ему доступ.

• Администраторы могут управлять доступом пользователей к Databricks SQL, назначив пользователям или группам право доступа Databricks SQL (databricks-sql-access в API). По умолчанию новые пользователи имеют это право.

Администраторы могут ограничить доступ пользователя или группы только к Databricks SQL и запретить им доступ к & инженерии или Databricks Mosaic AI, удалив права доступа к рабочей области (workspace-access в API) от пользователя или группы. По умолчанию новые пользователи имеют это право.

Важный

Чтобы войти и получить доступ к Azure Databricks, пользователь должен иметь доступ Databricks SQL или доступ к рабочей области (или оба).

• Небольшая классическая конечная точка SQL с именем начальной конечной точки предварительно настроена во всех рабочих областях, поэтому вы можете сразу приступить к созданию панелей мониторинга, визуализаций и запросов. Для обработки более сложных рабочих нагрузок можно легко увеличить размер (уменьшить задержку) или количество базовых кластеров (для обработки большего числа одновременных пользователей). Для управления затратами начальная конечная точка настроена на завершение после 120 минут простоя.

2 сентября 2021 г.

• Пользователи с разрешением CAN EDIT на панели мониторинга теперь могут управлять расписанием обновления панели мониторинга и списком подписок. Ранее требуется разрешение CAN MANAGE. Дополнительные сведения см. в статье Автоматическое обновлениепанели мониторинга.

• По умолчанию визуализации больше не изменяются динамически на основе количества возвращаемых результатов, но поддерживают одинаковую высоту независимо от количества результатов. Чтобы вернуться к предыдущему поведению и настроить визуализацию для динамического изменения размера, включите динамическое изменение высоты панели в параметрах визуализации на панели мониторинга. Дополнительные сведения см. в разделе параметры таблицы.
• Если у вас есть доступ к нескольким рабочим областям в одной учетной записи, вы можете переключить рабочие области из Databricks SQL. Щелкните значок в левом нижнем углу рабочей области Azure Databricks, а затем выберите рабочую область, чтобы на нее переключиться.

1 июля 2021 г.

• Новый обозреватель каталогов позволяет легко изучить разрешения и управлять ими в базах данных и таблицах. Пользователи могут просматривать сведения о схеме, просматривать примеры данных и просматривать сведения о таблице и свойствах. Администраторы могут просматривать и изменять владельцев объектов данных, а владельцы объектов данных могут предоставлять и отзывать разрешения. Дополнительные сведения см. в разделе Что такое обозреватель каталогов?.
• Оси Y в горизонтальных диаграммах были обновлены, чтобы отразить то же упорядочение, что и в таблицах. Если вы ранее выбрали обратный порядок, можно использовать тумблер обратного порядка на вкладке оси Y для реверсирования нового порядка.

23 июня 2021 г.

• Легко настраивайте конечные точки SQL с помощью служебных учетных записей. Теперь есть элемент управления, который помогает настроить субъект-службу в параметрах глобальных конечных точек SQL. См. Настройте субъекта-службы.
• Теперь поддерживаются временные представления.

17 июня 2021 г.

• Photon, новый векторный механизм исполнения Databricks, теперь включен по умолчанию для новых конечных точек SQL (как пользовательского интерфейса, так и REST API). Фотон транспарентно ускоряется
  • Записывает в таблицы Parquet и Delta.
  • Многие запросы SQL. См. ограничения.
• Легко управлять пользователями и группами с помощью команд CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPSи SHOW USERS. Дополнительные сведения см. в инструкциях безопасности и инструкциях по отображению.
• Редактор запросов и браузер схемы становятся более отзывчивыми и быстрее работают на схемах с более чем 100 таблицами. В таких схемах браузер схем не загружает все столбцы автоматически; Список таблиц по-прежнему отображается как обычно, но столбцы загружают только при щелчке таблицы. Это изменение влияет на автозавершение запросов в редакторе запросов, так как оно зависит от этих сведений для отображения предложений. Пока вы не развернете таблицу и загрузите его столбцы, эти предложения недоступны.

03 июня 2021 г.

• Администраторы недавно активированных рабочих областей Azure Databricks теперь получают право доступа к Databricks SQL по умолчанию и больше не требуется предоставлять себе это право доступа с помощью консоли администрирования.
• Photon теперь доступен в режиме предварительного просмотра и включен по умолчанию для новых конечных точек SQL .
• Балансировка нагрузки с несколькими кластерами теперь доступна в общедоступной предварительной версии.
• Теперь вы можете включить совместную работу на панелях мониторинга и запросах с другими членами организации с помощью разрешения CAN EDIT. См. списки управления доступом .

26 мая 2021 г.

• Аналитика SQL переименована в Databricks SQL. Это изменение имеет следующие последствия для клиентов:

  • Ссылки в веб-интерфейсе обновлены.

  • Право на предоставление доступа к Databricks SQL было переименовано:

    • пользовательского интерфейса: доступ к SQL Databricks (ранеедоступ к АНАЛИТИКЕ SQL)
    • API SCIM: databricks-sql-access (ранее sql-analytics-access)

    Пользователи, группы и служебные субъекты с предыдущими правами доступа были перенесены на новые права доступа.

  • Теги для событий журнала аудита , связанные с Databricks SQL, изменились:

    • Префикс событий SQL Databricks теперь databrickssql.
    • changeSqlAnalyticsAcl теперь changeDatabricksSqlAcl.

• Обновления панели мониторинга

  • Имя файла экспорта панели мониторинга обновлено, чтобы он был именем панели мониторинга и метки времени, а не идентификатором UUID.
  • Ограничение на экспорт записей было увеличено с 22 к 64 кб.

13 мая 2021 г.

• Databricks SQL больше не пытается угадать типы столбцов. Ранее столбец с форматом xxxx-yy-dd автоматически рассматривался как дата, даже если это был идентификационный код. Теперь этот столбец больше не обрабатывается автоматически как дата. В случае необходимости, это следует указать в запросе. Это изменение может привести к тому, что некоторые визуализации, зависящие от предыдущего поведения, больше не работают. В этом выпуске можно изменить значок >параметры>обратной совместимости, чтобы вернуться к предыдущему поведению. В будущем выпуске мы удалим эту возможность.

• Теперь в редакторе запросов есть индикатор хода выполнения запроса. Изменения состояния теперь отображаются в постоянно обновляемой строке хода выполнения.

  

Исправлены проблемы

• Редактор SQL. Редактор SQL теперь сохраняет выделенный текст и положение прокрутки при переключении между вкладками запросов.
• Редактор SQL. Если щелкнуть "Выполнить" в запросе в редакторе SQL, перейдите на другую страницу и вернитесь во время выполнения запроса, редактор отобразит правильное состояние запроса. Если запрос завершится, пока вы находитесь на другой странице, результаты запроса будут доступны при возвращении на страницу редактора SQL.
• Теперь в качестве внешнего хранилища метаданных можно использовать MySQL 8.0.
• команды DESCRIBE DETAIL на таблицах Delta больше не терпят неудачу с java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• Чтение файлов Parquet с метками времени INT96 больше не завершается ошибкой.
• Если у пользователя есть разрешение CAN RUN на запрос и он его запускает, то если запрос был создан другим пользователем, в журнале запросов в качестве исполнителя отображается этот пользователь.
• Значения NULL теперь игнорируются при отрисовке диаграммы, что повышает удобство использования диаграмм. Например, ранее столбцы в гистограмме выглядели бы очень маленькими при наличии нулевых значений. Теперь оси задаются только на основе значений, отличных от NULL.