Ноябрь 2023 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в ноябре 2023 года.

Примечание.

Выпуски являются поэтапными. Рабочая область Azure Databricks может не обновляться до недели или более после начальной даты выпуска.

Mosaic AI поиск по вектору — общедоступная предварительная версия

30 ноября 2023 г.

Mosaic AI Vector Search — это бессерверная система поиска сходства, которая позволяет хранить векторное представление ваших данных, включая метаданные, в векторном индексе. В рамках этой функции можно создать индексы автоматического обновления векторного поиска из данных в каталоге Unity и запросить их с помощью простого API, чтобы вернуть наиболее похожие векторы в рамках рабочих процессов RAG. См. Databricks AI Search.

Списки элементов управления доступом больше не могут быть отключены

29 ноября 2023 г.

Следующие параметры включены во всех рабочих областях плана Premium и больше не могут быть отключены на странице параметров администратора рабочей области или API conf рабочей области:

  • Управление доступом к рабочей области: позволяет пользователям настраивать разрешения для объектов рабочей области.
  • Кластер, пул, управление доступом к заданиям: позволяет пользователям настраивать разрешения для кластеров, пулов и заданий.
  • Элемент управления видимостью кластера: предотвращает отображение кластеров пользователям, у которых нет разрешений на них.
  • Элемент управления видимостью заданий: предотвращает отображение заданий пользователям, у которых нет разрешений на них.
  • Параметр управления видимостью рабочей области: запрещает пользователям, у которых нет разрешений на доступ к записным книжкам и папкам.

Параметры управления доступом включены по умолчанию в новых рабочих областях с марта 2018 г. и параметры управления видимостью включены по умолчанию с декабря 2020 г.

Дополнительные сведения см. в списках управления доступом.

Новые поведения и действия в обозревателе каталогов для томов

22 ноября 2023 г.

Теперь вы можете создать новый том в целевой схеме данных, если в пользовательском интерфейсе Загрузка в том ещё не существует ни одного тома. См . статью "Работа с файлами в томах каталога Unity".

Такие действия, как удаление файла и загрузка файла, были добавлены в Проводник каталогов для файлов на томах.

Databricks Runtime 14.2 — общедоступная версия

22 ноября 2023 г.

Databricks Runtime 14.2 и Databricks Runtime 14.2 ML теперь общедоступны.

См. Databricks Runtime 14.2 (EoS) и Databricks Runtime 14.2 для Машинное обучение (EoS).

Соединитель SQL Databricks для Python версии 3.0.0

17 ноября 2023 г.

Теперь можно запустить pip install databricks-sql-connector==3.0.0.

Этот выпуск:

  • Удаляет поддержку Python 3.7
  • Добавляет поддержку собственных параметризованных запросов SQL. Требуется Databricks Runtime 14.2 и выше. Дополнительные сведения см. в разделе Using Native Parameters в репозитории databricks-sql-python GitHub.
  • Включает наш полностью перезаписанный диалект SQLAlchemy:
    • Добавляет поддержку SQLAlchemy = 2.0 и удаляет поддержку SQLAlchemy >1.x
    • Полное комплексное покрытие тестов всех поддерживаемых функций
    • Подробные заметки об использовании, доступные здесь
    • Добавляет поддержку:
      • Новые типы: TIME, , TIMESTAMPTIMESTAMP_NTZTINYINT
      • Numeric тип масштабирования и точности, например Numeric(10,2)
      • Чтение и запись PrimaryKeyConstraintForeignKeyConstraint
      • Чтение и запись составных ключей
      • Чтение и запись из представлений
      • Запись значения Identity в таблицы (с автоматическим увеличением первичных ключей)
      • LIMIT и OFFSET для пролистывания результатов
      • Кэширование вызовов метаданных
  • Включает Cloud Fetch по умолчанию. Чтобы отключить, задайте use_cloud_fetch=False при создании databricks.sql.client.
  • Добавьте интеграционные тесты для запросов инжеста томов Unity Catalog в Azure Databricks
  • Повторных попыток:
    • Добавление _retry_max_redirects конфигурации
    • Задайте _enable_v3_retries=True и предупреждайте, если пользователи его переопределяют.
  • Безопасность: повышение минимальной версии pyarrow до 14.0.1 (CVE-2023-47248)

Библиотеки файлов рабочей области поддерживаются на общих кластерах без изоляции

15 ноября 2023 г.

Теперь можно установить библиотеки, хранящиеся в виде файлов рабочей области, для вычислений, настроенных с режимом общего доступа без изоляции в Databricks Runtime 14.1 и более поздних версий.

Устаревание библиотек рабочей области

15 ноября 2023 г.

Теперь библиотеки рабочей области устарели и создание новых библиотек рабочей области было отключено. Существующие библиотеки рабочей области продолжают функционировать. Обратите внимание, что хранение библиотек в качестве файлов рабочей области отличается от библиотек рабочих областей и по-прежнему полностью поддерживается. Библиотеки, хранящиеся в виде файлов рабочей области, можно установить непосредственно для задач вычислений или заданий. См. раздел "Установка библиотек".

Поддержка типов виртуальных машин конфиденциальных вычислений Azure теперь общедоступна

15 ноября 2023 г.

Поддержка Azure Databricks для типов виртуальных машин Azure конфиденциальных вычислений теперь общедоступна. Azure конфиденциальные вычисления помогают защитить используемые данные, предотвращая доступ поставщика облачных служб к конфиденциальным данным. См. раздел виртуальные машины конфиденциальных вычислений Azure.

13 ноября 2023 г.

Теперь вы можете найти наборы данных, модели ИИ и акселераторы решений Databricks в Databricks Marketplace с помощью глобальной панели поиска в пользовательском интерфейсе рабочей области Azure Databricks. См. раздел "Что такое Databricks Marketplace" и поиск объектов рабочей области.

Использование продуктов данных в Databricks Marketplace с помощью внешних платформ

10 ноября 2023 г.

Пользователи, у которых нет рабочей области Azure Databricks с включенным каталогом Unity, теперь могут получить доступ к продуктам данных в Databricks Marketplace. С помощью соединителей общего доступа Delta Share можно получить доступ к данным Marketplace с помощью нескольких распространенных платформ, включая Microsoft Power BI, Microsoft Excel, pandas, Apache Spark и рабочие области, отличные от каталога Unity Databricks. На внешних платформах доступны только табличные наборы данных, но не записные книжки и не модели Databricks. См. статью "Доступ к продуктам данных" в Databricks Marketplace с помощью внешних платформ.

Поддержка бессерверных хранилищ SQL, добавленных для нескольких регионов Azure

9 ноября 2023 г.

Следующие Azure регионы теперь поддерживают бессерверные хранилища SQL:

  • Южная Бразилия (бразилия)
  • Центральная Индия (centralindia).
  • Восточная Япония (japaneast)
  • Северо-Центральная часть США (североцентральная США)
  • Южная Часть Великобритании (uksouth)

См. регионы Azure Databricks и Настройка бессерверных SQL складов.

Автоматическое включение каталога Unity для новых рабочих областей

9 ноября 2023 г.

Databricks начал автоматически включать каталог Unity для новых рабочих областей. Это устраняет необходимость для администраторов учетных записей настраивать каталог Unity после создания рабочей области. Развертывание будет проводиться постепенно по учетным записям. См. статью "Начало работы с каталогом Unity".

Databricks Runtime 14.2 (бета-версия)

8 ноября 2023 г.

Databricks Runtime 14.2 и Databricks Runtime 14.2 ML теперь доступны в качестве бета-выпусков.

См. Databricks Runtime 14.2 (EoS) и Databricks Runtime 14.2 для Машинное обучение (EoS).

Databricks Marketplace включает акселераторы решений Databricks

7 ноября 2023 г.

Databricks Marketplace теперь предоставляет доступ к Databricks Solution Accelerators — специально разработанным руководствам, которые включают в себя полностью функциональные записные книжки, рекомендации по передовым практикам и примеры данных, чтобы быстро настроить использование множества популярных сценариев на Azure Databricks.

Федерация Lakehouse добавляет поддержку Google BigQuery

3 ноября 2023 г.

Настройте федерацию Lakehouse для выполнения федеративных запросов, использующих соединитель типа BigQuery. Новый соединитель BigQuery поддерживается в хранилищах SQL Pro и бессерверных и в версиях Databricks Runtime 13.3 LTS и выше. См. статью "Запуск федеративных запросов" в Google BigQuery.

  • Last updated on