Поделиться через

Разностные динамические таблицы версии 2022.37

  • Статья

14 сентября – 22, 2022 г.

Эти функции и улучшения были выпущены в выпуске Delta Live Tables 202.37.

Версии среды выполнения Databricks, используемые этим выпуском

Канал:

  • CURRENT (по умолчанию): Databricks Runtime 10.3.7
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 11.0.5

Новые функции и улучшения в этом выпуске

  • Запрос API обновления конвейера теперь возвращает request_id поле в тексте ответа. Это request_id стабильный идентификатор исходного запроса, запускающий обновление. Если обновление будет извлечено или перезапущено, новое обновление наследует request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Новый requests запрос API (GET /pipelines/{pipeline_id}/requests/{request_id}) возвращает состояние обновления конвейера, связанного с request_id. Ответ содержит сведения о последнем обновлении.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Код Python теперь может вызывать spark.sql операции вне dlt.table() или dlt.view() функции, если операция не считывается из динамической таблицы.

  • Теперь записи журнала событий содержат maturity свойство, указывающее стабильность схемы событий. Возможные значения: stable, evolvingи deprecated. Дополнительные сведения о журнале событий Delta Live Tables см. в разделе "Что такое журнал событий delta Live Tables?".

  • Сообщение об ошибке улучшается при внесении несовместимых изменений в исходные таблицы, используемые потоковой таблицей.

  • Теперь вы можете выбирать политику кластера в пользовательском интерфейсе Разностных динамических таблиц при создании или изменении конвейера. Ранее установка политики кластера для конвейера требовала изменения параметров JSON конвейера.

  • Быстрый запуск конвейера. Этот выпуск включает усовершенствования, которые ускоряют SETTING_UP_TABLES шаг при запуске конвейера.

Исправления ошибок в этом выпуске

  • В этом выпуске исправлена ошибка, которая предотвращает масштабирование расширенного автомасштабирования при отсутствии неактивных экземпляров кластера.