次の Lakeflow Spark 宣言型パイプラインの機能、機能強化、バグ修正は、2026 年にリリースされました。
注
Lakeflow Spark 宣言型パイプライン チャネル リリースはローリング アップグレード プロセスに従うため、チャネルのアップグレードは異なる時間に異なるリージョンにデプロイされます。 Databricks ランタイム バージョンを含むリリースは、最初のリリース日から 1 週間以上経過するまで更新されない場合があります。 パイプラインの Databricks Runtime バージョンを確認するには、 ランタイム情報を参照してください。
2026 年 1 月
これらの機能と Lakeflow Spark 宣言パイプラインの機能強化は、2025 年 11 月 14 日から 2026 年 1 月 13 日の間にリリースされました。
このリリースで使用される Databricks Runtime のバージョン
チャネル:
- CURRENT (既定値): Databricks Runtime 16.4
- プレビュー: Databricks Runtime 17.3
新機能と機能強化
Unity カタログ テーブルにデータ品質の期待値を直接格納および管理し、データ品質ルールをデータ ガバナンス フレームワークで一元化できるようになりました。 これにより、複数のパイプライン間で共有できる、バージョン管理された監査可能な品質規則が可能になります。
7 日を超えて実行されている継続的なパイプラインは、基になるコンピューティングを更新する必要があるときに突然再起動するのではなく、最小限のダウンタイムと明示的な更新の原因 (
INFRASTRUCTURE_MAINTENANCE) で正常に再起動されるようになりました。パイプラインでは、複数の更新要求が自動的にキューに登録され、競合で失敗するのではなく順番に実行される、キューに登録された実行モードがサポートされるようになりました。 これにより、頻繁に更新トリガーが発生するパイプラインの操作が簡略化され、手動による再試行調整が不要になります。
1 つの変更データ ソースから複数の SCD タイプ 2 ビューを具体化できるようになり、同じデータの複数の履歴ビューを作成するときの効率が向上します。 これにより、SCD タイプ 2 出力ごとにソース データを再処理する必要がなくなります。
パイプラインのスケジュールと構成を格納し、Unity カタログ テーブルのプロパティから読み取ることができるようになりました。これにより、データ ガバナンスによる一元的な設定管理が可能になります。 これにより、データ定義と共にパイプラインの動作を管理できます。
MANAGEアクセス許可が Unity カタログの具体化されたビューとストリーミング テーブルに自動的に反映され、パイプライン出力のアクセス許可管理が簡略化されるようになりました。 これにより、アクセス許可を手動で許可することなく、一貫性のあるアクセス制御が保証されます。SCD タイプ 2 の操作では、重複するレコードが同じ自然キーと自動的に結合され、データの一貫性が確保され、緩やかに変化するディメンション テーブル内の履歴レコードの重複が防止されるようになりました。
パイプラインには、パイプライン定義の一部ではなくなった非アクティブなテーブルを自動的に削除するオプションが追加されました。 これにより、クリーンなデータ ウェアハウスを維持し、古いテーブルからストレージ コストを削減できます。 「パイプラインで Unity カタログを使用する」を参照してください。
パイプライン定義、パッチ操作、および実行 ID の変更が監査ログに含まれるようになり、コンプライアンスとセキュリティの監視のための構成変更の包括的な追跡が提供されます。 パイプライン イベント ログを参照してください。
バグの修正
このリリース期間には、重要なバグ修正は含まれていませんでした。 すべての変更は、新機能と機能強化でした。