Delta Live Tables リリース 2022.37

2022 年 9 月 14 日から 22 日

これらの機能と機能強化は、Delta Live Tables の 2022.37 リリースでリリースされました。

このリリースで使用される Databricks Runtime のバージョン

チャネル:

パイプラインの更新開始 API 要求が応答本文に request_id フィールドを返すようになりました。 request_id は、更新を開始する元の要求の安定した識別子です。更新が再試行されたり再開したりする場合は、新しい更新によって request_id が継承されます。

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

新しい requests API 要求 (GET /pipelines/{pipeline_id}/requests/{request_id}) は、request_id に関連付けられているパイプライン更新の状態を返します。応答には、最新の更新プログラムに関する情報が含まれます。

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

ユーザーの Python コードが dlt.table() 関数または dlt.view() 関数の外部で spark.sql 操作を呼び出すことができるようになりました。これは、その操作によってライブテーブルからの読み取りが行われない場合にのみ該当します。
イベントログエントリにイベントスキーマの安定性を示す maturity プロパティが含まれるようになりました。指定できる値は、stable、evolving、deprecated です。 Delta Live Tables イベントログの詳細については、「Delta Live Tables イベントログとは」を参照してください。
ストリーミングテーブルで使用されるソーステーブルに互換性のない変更が加えられたときのエラーメッセージが改善されます。
パイプラインを作成または編集する際に、Delta Live Tables UI でクラスターポリシーを選択できるようになりました。これまで、パイプラインのクラスターポリシーを設定するには、パイプラインの JSON 設定を編集する必要がありました。
パイプラインの起動の高速化。このリリースには、パイプラインの開始時に SETTING_UP_TABLES ステップを高速化する機能強化が含まれています。