Январь 2025 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в январе 2025 года.

Заметка

Выпуски осуществляются поэтапно. Учетная запись Azure Databricks может не обновляться до недели или более после начальной даты выпуска.

Дополнительные порты для Azure Databricks

31 января 2025 г.

Для групп безопасности сети теперь требуются порты 3306 и 8443-8451 для исходящего доступа к службам Azure Databricks из рабочих областей с включённой функцией внедрения в виртуальную сеть (vnet). См. статью Развертывание Azure Databricks в виртуальной сети Azure (внедрение виртуальной сети).

Средство чтения хранилища состояний теперь доступно для общего использования.

31 января 2025 г.

Поддержка запросов состояния данных и метаданных структурированной потоковой обработки теперь доступна в Databricks Runtime 14.3 LTS и выше для выделенного режима доступа и режима без изоляции. Смотрите Чтение информации о состоянии структурированной потоковой передачи.

Теперь можно включить прогнозную оптимизацию на уровне каталога или схемы.

31 января 2025 г.

Теперь можно включить прогнозную оптимизацию на уровне каталога или схемы, не включив ее на уровне учетной записи. См. прогнозную оптимизацию для управляемых таблиц каталога Unity.

Теперь поддерживается фильтрация полных наборов данных для больших таблиц

30 января 2025 г.

При фильтрации усеченных данных в большой таблице (выходные данные размером более 2 МБ или более 10 000 строк), теперь можно применить фильтр ко всему набору данных. См. результаты фильтрации.

Семейство моделей Meta Llama 3.1 405B больше не используется на платформе Foundation Model Fine-tuning.

30 января 2025 г.

Семейство моделей Meta Llama 3.1 405B выведено из эксплуатации в рамках тонкой настройки базовой модели. См. Устаревшие модели для рекомендуемых моделей замены.

Чистые комнаты — GA

29 января 2025 г.

Теперь функция Azure Databricks Clean Rooms стала общедоступной. См. Что такое чистые комнаты в Azure Databricks?.

• API управления: новые API были представлены для автоматизации настройки, оркестрации и мониторинга чистых помещений. См. чистые комнаты.
• Self-Collaboration: теперь вы можете создавать чистую комнату в одном метасторе, чтобы протестировать её перед полным развертыванием. См. шаг 2 . Создайте чистую комнату.
• выходные таблицы: централизованные чистые комнаты, размещённые в Azure, теперь поддерживают выходные таблицы. Ранее они были поддерживаются только для центральных чистых комнат, размещенных в AWS. Однако коллабораторы в Databricks на платформах всех трех облачных служб (AWS, Azure и Google Cloud) могут совместно использовать блокноты, которые создают выходные таблицы, и считывать выходные таблицы, созданные при выполнении общих блокнотов. Сотрудники Google Cloud должны быть участниками частной предварительной версии "Чистые комнаты". См. Создание и работа с выходными таблицами в Databricks Clean Rooms.
• Соответствие HIPAA: теперь вы можете создать чистое помещение с профилем безопасности для соблюдения стандартов HIPAA. См. шаг 2 . Создайте чистую комнату.
• Федеративный доступ (предварительная версия): Используйте новую функцию федерации запросов, чтобы беспрепятственно сотрудничать с партнёрами через облачные сервисы и платформы данных без необходимости репликации или миграции всех данных. См. Что такое Федерация Lakehouse?.

Подключение средств агента ИИ к внешним службам (общедоступная предварительная версия)

29 января 2025 г.

Теперь средства агента ИИ могут подключаться к внешним приложениям, таким как Slack, Google Calendar или любая служба с API с помощью HTTP-запросов. Агенты могут использовать внешние средства для автоматизации задач, отправки сообщений и получения данных с сторонних платформ. См. статью Подключение средств агента ИИ к внешним службам.

Теперь DLT поддерживает публикацию в таблицы, находящиеся в разных схемах и каталогах.

27 января – 5 февраля 2025 г.

По умолчанию новые конвейеры, созданные в DLT, теперь поддерживают создание и обновление материализованных представлений и потоковых таблиц в нескольких каталогах и схемах.

Новое поведение по умолчанию для конфигурации конвейера требует, чтобы пользователи указали целевую схему, которая становится схемой по умолчанию для конвейера. LIVE виртуальной схемы и связанного синтаксиса больше не требуется. Дополнительные сведения см. в следующих статьях:

• Задать целевой каталог и схему
• Настройка конвейеров
• схема LIVE (устаревшая версия)

Databricks Runtime 16.2 (бета-версия)

27 января 2025 г.

Databricks Runtime 16.2 и Databricks Runtime 16.2 ML теперь доступны в качестве бета-выпусков.

См. статью Databricks Runtime 16.2 (EoS) и Databricks Runtime 16.2 для машинного обучения (EoS).

Комментарии теперь поддерживают уведомления по электронной почте и упоминания с помощью @.

25 января 2025 г.

Теперь вы можете упомянуть пользователей непосредственно в комментариях, введя "@", за которым следует их имя пользователя. Пользователи будут получать уведомления об активности, связанной с комментариями, по электронной почте. См. комментарии кода в разделе .

Ярлык для настройки размера шрифта

25 января 2025 г.

Теперь можно использовать ярлык для быстрого изменения размера шрифта в редакторах записных книжек, файлов и SQL. Используйте Alt + и Alt - для Windows/Linux или Opt + и Opt - для macOS.

Существует также параметр разработчика для управления размером шрифта редактора. Перейдите в "Настройки > Разработчика > Редактор, размер шрифта" и выберите размер шрифта.

Федерация токенов OAuth теперь доступна в общедоступном предварительном просмотре

24 января 2025 г.

Федерация токенов OAuth теперь доступна в общедоступной предварительной версии для администраторов учетной записи.

Федерация токенов OAuth Databricks позволяет безопасно получать доступ к API Databricks с помощью токенов от вашего поставщика удостоверений (IdP). Федерация маркеров OAuth устраняет необходимость управления секретами Databricks, такими как личные маркеры доступа и секреты клиента Databricks OAuth.

Если администратор учетной записи Databricks не изменит политики, текущая конфигурация удостоверений и разрешения останутся без изменений. Эта функция может применяться ко всей учетной записи или к определенному субъекту-службе, что обеспечивает администраторам гибкость при управлении доступом к ресурсам рабочей области Databricks.

Дополнительные сведения об использовании федерации маркеров OAuth Databricks для авторизации доступа к ресурсам рабочей области см. в статье Аутентификация доступа к Azure Databricks с помощью федерации маркеров OAuth.

Заметка

Пользователи Microsoft Azure также могут использовать токены MS Entra для безопасного использования команд Azure Databricks CLI и вызовов API.

Пользовательские ИИ-агенты на Python теперь поддерживают AI Gateway и потоковую передачу данных.

24 января 2025 г.

Фреймворк Mosaic AI для агентов теперь поддерживает потоковый вывод для развернутых пользовательских Python-агентов, улучшая взаимодействие с конечным пользователем и сокращая время до первого токена.

Таблицы интерпретации шлюза ИИ теперь автоматически активируются для пользовательских агентов Python, что позволяет доступ к расширенным метаданным ведения журнала. См. авторские ИИ-агенты в коде.

Импорт файлов рабочей области с перетаскиванием

24 января 2025 г.

Теперь вы можете перетаскивать файлы и папки, чтобы импортировать их в рабочую область. Перетаскивание работает на основной странице файлового обозревателя и в боковой панели обозревателя файлов в рабочей области, которая доступна в редакторах блокнотов, запросов и файлов. См. импорт файла.

Meta Llama 3.3 теперь управляет функциями ИИ, которые используют API-интерфейсы модели Foundation

24 января 2025 г.

функции ИИ, использующие API-интерфейсы модели Foundation, теперь работают на базе Meta Llama 3.3 70B Instruct для выполнения задач чата.

Улучшения выходных данных блокнота

23 января 2025 г.

В опыт работы с результатами записной книжки внесены следующие улучшения:

• Является одним из фильтров: В таблице результатов теперь можно отфильтровать столбец с помощью Является одним из и выбрать значения, для которого требуется отфильтровать. Для этого щелкните меню рядом с столбцом и щелкните Фильтр. Модал фильтра откроется для добавления условий, которые необходимо отфильтровать. Дополнительные сведения о фильтрации результатов см. в разделе Фильтрация результатов.
• Копирование таблицы результатов как: теперь можно скопировать таблицу результатов в формате CSV, TSV или Markdown. Выберите данные, которые нужно скопировать, а затем щелкните правой кнопкой мыши, выберите "Копировать как" и выберите нужный формат. Результаты копируются в буфер обмена. См. Копировать данные в буфер обмена.
• Именование загрузки: При загрузке результатов ячейки имя файла теперь соответствует имени тетради. См. результаты загрузки.

Быстрое время загрузки записной книжки

23 января 2025 г.

При первом открытии записной книжки начальная загрузка теперь происходит до 26% быстрее для записной книжки, содержащей 99 ячеек, и до 6% быстрее для записной книжки с 10 ячейками.

Блокноты теперь поддерживаются как файлы рабочей среды

23 января 2025 г.

Теперь поддерживается использование блокнотов в качестве файлов рабочей области в Databricks Runtime начиная с версии 16.2 и в серверлесс-средах начиная с версии 2. Теперь вы можете программно записывать, читать и удалять записные книжки так же, как и любой другой файл. Это позволяет программно взаимодействовать с записными книжками в любом месте файловой системы рабочей области. Дополнительные сведения см. в статье "Программное создание, обновление и удаление файлов и каталогов".

Неудачные задачи в непрерывных заданиях теперь автоматически повторно выполняются.

22 января 2025 г.

Этот выпуск включает обновление заданий Databricks, которое улучшает обработку сбоев для непрерывных заданий. С этим изменением задачи в рамках непрерывного задания автоматически запускаются повторно при сбое выполнения. Повторные попытки выполнения задачи осуществляются с экспоненциально увеличивающейся задержкой до достижения максимального количества разрешенных повторов. См. Как обрабатываются сбои для непрерывных заданий?.

Записные книжки: журнал чата Databricks Assistant доступен только пользователю, который инициирует его

22 января 2025 г.

В блокноте история чата Databricks Assistant доступна только пользователю, который инициировал чат. Дополнительные сведения о доверии и безопасности помощника см. в разделе Databricks AI assistive features trust and safety.

Сбор статистики теперь автоматизирован с помощью прогнозной оптимизации

22 января – 30 апреля 2025 г.

Теперь прогнозная оптимизация автоматически вычисляет статистику для таблиц, управляемых в каталоге Unity, во время записи и выполнения автоматических заданий обслуживания. См. прогнозную оптимизацию для управляемых таблиц каталога Unity.

Обновление пользовательского интерфейса Databricks Marketplace и Partner Connect

21 января 2025 г.

Мы упростили боковую панель путем объединения Partner Connect и Marketplace в одну ссылку Marketplace. Новая ссылка Marketplace размещается выше на боковой панели для упрощения доступа.

EXPLAIN теперь отображает статистику, используемую в планировании запросов

20 января 2025 г.

В Databricks Runtime 16.0 и более поздних версиях выходные данные команды EXPLAIN перечисляют таблицы с отсутствующими, частичными и полными статистиками. См. команду EXPLAIN.

Драйвер JDBC Databricks 2.7.1

16 января 2025 г.

Драйвер Databricks JDBC версии 2.7.1 теперь можно скачать со страницы загрузки драйвера JDBC.

Этот выпуск включает следующие улучшения и новые возможности:

• Добавлено новое свойство OAuthEnabledIPAddressRanges, позволяющее клиентам переопределить порты обратного вызова OAuth по умолчанию, упрощая получение маркера OAuth в средах с ограничениями сетевого порта.
• Теперь доступна поддержка токенов обновления. Это позволяет драйверу автоматически обновлять маркеры проверки подлинности с помощью свойства Auth_RefreshToken.
• Добавлена поддержка использования доверенного хранилища системы с новым UseSystemTrustStore свойством. Если этот параметр включен (UseSystemTrustStore=1), драйвер проверяет подключения с помощью сертификатов из доверенного хранилища системы.
• Добавлено UseServerSSLConfigsForOAuthEndPoint свойство, которое при включении позволяет клиентам совместно использовать конфигурацию SSL драйвера для конечной точки OAuth.
• BASIC-аутентификация теперь отключена по умолчанию. Чтобы повторно включить его, задайте для свойства allowBasicAuthentication значение 1.

Этот выпуск устраняет следующие проблемы:

• Символы Юникода теперь правильно обрабатываются при использовании IBM JRE с функцией сериализации наборов результатов Arrow.
• Теперь возвращаются полные сообщения об ошибках и причины кода ошибки 401.
• Теперь обработчики загрузки файлов из облака освобождаются после завершения работы.
• Потоки heartbeat больше не утекают при создании соединений через класс DataSource.
• Устранена потенциальная утечка OAuth2Secret в журнале драйверов.
• Идентификаторы запросов в журнале драйверов больше не отсутствуют.
• Использование кэша токенов OAuth больше не вызывает ошибку несоответствия тегов.

Этот выпуск включает обновления до нескольких сторонних библиотек для устранения уязвимостей:

• arrow-memory-core версия 17.0.0 (ранее 14.0.2)
• arrow-vector 17.0.0 (ранее 14.0.2)
• arrow-format 17.0.0 (ранее 14.0.2)
• arrow-memory-netty 17.0.0 (ранее 14.0.2)
• arrow-memory-unsafe 17.0.0 (ранее 14.0.2)
• commons-codec 1.17.0 (ранее 1.15)
• flatbuffers-java 24.3.25 (ранее 23.5.26)
• джексон-заметки-2.17.1 (ранее 2.16.0)
• джексон-core-2.17.1 (ранее 2.16.0)
• джексон-databind-2.17.1 (ранее 2.16.0)
• jackson-datatype-jsr310-2.17.1 (ранее 2.16.0)
• netty-buffer 4.1.115 (ранее 4.1.100)
• netty-common 4.1.115 (ранее 4.1.100)

Полные сведения о конфигурации см. в руководстве по драйверу JDBC Databricks JDBC, установленному с пакетом загрузки драйвера.

Федерация Lakehouse поддерживает Teradata (общедоступная предварительная версия)

15 января 2025 г.

Теперь можно выполнять федеративные запросы к данным, управляемым Teradata. См. "Запуск федеративных запросов на Teradata" .

Выпуск SDK databricks-agents версии 0.14.0: настраиваемые метрики оценки

14 января 2025 г.

С помощью databricks-agent==0.14.0, Оценки агента ИИ Мозаики теперь поддерживает пользовательские метрики, позволяя пользователям определять метрики оценки, адаптированные к конкретному варианту использования инициативного искусственного интеллекта.

Этот выпуск также добавляет поддержку:

• ChatAgent и ChatModel из жгута mlflow.evaluate(model_type='databricks-agent').
• Использование mlflow.evaluate(model_type='databricks-agent') из-за пределов записной книжки Databricks при проверке подлинности с помощью databricks CLI.
• Поддержка вложенных RETRIEVAL диапазонов в трассировках агента.
• Поддержка простого массива словарей в качестве аргумента data для mlflow.evaluate().
• Упрощённый stdout при запуске mlflow.evaluate().

Теперь шлюз ИИ поддерживает подготовленную пропускную способность (общедоступная предварительная версия)

10 января 2025 г.

Шлюз Mosaic AI теперь поддерживает нагрузку на конечных точках обслуживания моделей через API базовых моделей с заданной пропускной способностью.

Теперь вы можете включить следующие функции управления и мониторинга в конечных точках обслуживания модели, которые используют подготовленную пропускную способность:

• Разрешения и ограничение скорости для контроля того, у кого есть доступ и насколько велик этот доступ.
• Журналирование полезной нагрузки для отслеживания и аудита данных, отправляемых в API модели с помощью таблиц выводов.
• отслеживание использования для мониторинга операционного использования на конечных точках и связанных затрат с помощью системных таблиц .
• Защитные меры ИИ для предотвращения появления нежелательных и небезопасных данных в запросах и ответах.
• управления маршрутизацией трафика для минимизации перебоев в производстве во время и после развертывания.

Поддержка серии Databricks Runtime 15.2 заканчивается

7 января 2025 г.

Поддержка Databricks Runtime 15.2 и Databricks Runtime 15.2 для машинного обучения закончилась 7 января. См. жизненные циклы поддержки Databricks .

Поддержка серии Databricks Runtime 15.3 заканчивается

7 января 2025 г.

Поддержка Databricks Runtime 15.3 и Databricks Runtime 15.3 для машинного обучения закончилась 7 января. См. жизненные циклы поддержки Databricks .

Вывод из эксплуатации семейства моделей Meta Llama 2, 3 и Code Llama с доработкой на основе базовой модели Foundation.

7 января 2025 г.

Следующие семейства моделей были выведены из эксплуатации и больше не поддерживаются на настройке базовой модели. См. Устаревшие модели для рекомендуемых моделей замены.

• Мета-Лама-3
• Мета-Лама-2
• Код Лама