次の方法で共有

Lakeflow Spark 宣言パイプラインのリリース ノートとリリース アップグレード プロセス

この記事では、Lakeflow Spark 宣言パイプラインのリリース プロセス、Lakeflow Spark 宣言パイプライン ランタイムの管理方法、および各 Lakeflow Spark 宣言パイプライン リリースのリリース ノートへのリンクについて説明します。

Lakeflow Spark 宣言型パイプラインのランタイム チャネル

Note

Lakeflow Spark 宣言パイプライン リリースで使用される Databricks ランタイムバージョンを確認するには、そのリリースの リリース ノート を参照してください。

Lakeflow Spark 宣言型パイプライン クラスターでは、 Databricks ランタイムリリース ノートのバージョンと互換性に基づいてランタイムが使用されます。 Databricks は、プラットフォームの機能強化とアップグレードをサポートするために、Lakeflow Spark 宣言パイプライン ランタイムを自動的にアップグレードします。 Lakeflow Spark 宣言パイプラインの設定の channel フィールドを使用して、パイプラインを実行する Lakeflow Spark 宣言型パイプラインのランタイム バージョンを制御できます。 サポートされる値は

  • current: 現在のランタイム バージョンを使用する場合。
  • preview: ランタイム バージョンに対する今後の変更でパイプラインをテストする場合。

既定では、パイプラインは current ランタイム バージョンを使用して実行されます。 運用ワークロードには current ランタイムを使用することをお勧めします。 preview 設定を使用して次のランタイム バージョンでパイプラインをテストする方法については、「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。

Important

一般公開またはパブリック プレビューとしてマークされている機能は、current チャネルで利用できます。

Lakeflow Spark 宣言パイプライン チャネルの詳細については、Lakeflow Spark 宣言パイプラインのchannelの フィールドを参照してください。

Lakeflow Spark 宣言パイプラインが各リリースのアップグレード プロセスを管理する方法については、「 Lakeflow Spark 宣言パイプラインのアップグレードのしくみ」を参照してください。

パイプライン更新に対応した Databricks Runtime バージョンを確認するにはどうすればよいですか?

Lakeflow Spark 宣言型パイプライン イベント ログに対してクエリを実行して、パイプライン更新の Databricks Runtime バージョンを見つけることができます。 「ランタイム情報」をご覧ください。

Lakeflow Spark 宣言型パイプラインのリリースノート

Lakeflow Spark 宣言型パイプラインのリリース ノートは、年および週ごとに整理されています。 Lakeflow Spark 宣言パイプラインは バージョンレスであるため、ワークスペースとランタイムの両方の変更が自動的に行われます。 以下のリリース ノートでは、各リリースでの変更とバグ修正の概要が示されています。

Lakeflow Spark 宣言型パイプラインのアップグレードはどのように機能するか

Lakeflow Spark 宣言型パイプラインは バージョンレス 製品と見なされます。つまり、Databricks は、プラットフォームの機能強化とアップグレードをサポートするために、Lakeflow Spark 宣言パイプライン ランタイムを自動的にアップグレードします。 Databricks では、Lakeflow Spark 宣言パイプラインの外部依存関係を制限することをお勧めします。

Databricks は、自動アップグレードによって、運用環境の Lakeflow Spark 宣言型パイプラインにエラーや問題が発生するのを防ぐために積極的に取り組んでいます。 Lakeflow Spark 宣言型パイプラインのアップグレード プロセスに関するページを参照してください。

特に、外部の依存関係を持つ Lakeflow Spark 宣言型パイプラインをデプロイするユーザーの場合、Databricks では、 preview チャネルを使用してパイプラインを事前にテストすることをお勧めします。 「次のランタイム バージョンでのパイプラインのテストを自動化する」をご覧ください。

Lakeflow Spark 宣言的パイプラインのアップグレードプロセス

Databricks は、Lakeflow Spark 宣言型パイプラインコンピューティング リソースによって使用される Databricks ランタイム を管理します。 Lakeflow Spark 宣言型パイプラインは、Azure Databricks ワークスペース内のランタイムを自動的にアップグレードし、アップグレード後にパイプラインの正常性を監視します。

アップグレードが原因でパイプラインを開始できないことが Lakeflow Spark 宣言パイプラインで検出された場合、パイプラインのランタイム バージョンは、安定していることがわかっている以前のバージョンに戻り、次の手順が自動的にトリガーされます。

  • パイプラインのLakeflow Spark宣言型パイプラインのランタイムは、以前の既知の適切なバージョンに固定されています。
  • Databricks サポートに問題が通知されます。
    • 問題がランタイムの回帰に関連している場合は、Databricks によって問題が解決されます。
    • 問題の原因がパイプラインで使用されるカスタム ライブラリまたはパッケージである場合は、Databricks から問題を解決するように求められます。
  • 問題が解決すると、Databricks によってアップグレードが再び開始されます。

Important

Lakeflow Spark 宣言型パイプラインでは、チャネルが current に設定された実稼働モードで実行されているパイプラインのみが元に戻されます。

次のランタイム バージョンでのパイプラインのテストを自動化する

次の Lakeflow Spark 宣言パイプライン ランタイム バージョンの変更がパイプラインに影響しないようにするには、Lakeflow Spark 宣言パイプライン チャネル機能を使用します。

  1. ステージング パイプラインを作成し、チャネルを preview に設定します。
  2. Lakeflow Spark 宣言パイプライン UI で、パイプラインを毎週実行し、アラートがパイプラインエラーの電子メール通知を受信できるようにするスケジュールを作成します。 Databricks では、パイプラインのテスト実行を毎週スケジュールすることをお勧めします。特に、カスタムのパイプラインの依存関係を使用する場合にお勧めします。
  3. エラーの通知を受け取った場合に、そのエラーを解決できないときは、Databricks でサポート チケットを開きます。

パイプラインの依存関係

Lakeflow Spark 宣言型パイプラインでは、パイプライン内の外部依存関係がサポートされます。たとえば、 %pip install コマンドを使用して任意の Python パッケージをインストールできます。 Lakeflow Spark 宣言型パイプラインでは、グローバルスコープおよびクラスタースコープの init スクリプトの使用もサポートしています。 ただし、こうした外部依存関係 (特に init スクリプト) があると、ランタイムのアップグレードで問題が生じるリスクが高くなります。 リスクを軽減するには、パイプラインでの init スクリプトの使用を最小限に抑えます。 init スクリプトを必要とする処理がある場合は、パイプラインのテストを自動化して問題を早期に検出します。「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。 init スクリプトを使用する場合は、テストの頻度を高めることをお勧めします。

  • Last updated on