ノートブックでの Delta Live Tables パイプラインの開発とデバッグ

重要

Delta Live Tables 開発用のノートブック エクスペリエンスは、パブリック プレビュー段階です。

この記事では、Delta Live Tables コードの開発とデバッグを支援する Azure Databricks ノートブックの機能について説明します。

機能の概要

既存の Delta Live Tables パイプラインのソース コードである Python または SQL ノートブックで作業するときは、ノートブックをパイプラインに直接接続できます。 ノートブックがパイプラインに接続されている場合は、次の機能を使用できます。

• ノートブックからパイプラインを開始して検証します。
• ノートブックの最新の更新に対して、パイプラインのデータフロー グラフとイベント ログを表示します。
• ノートブック エディターでパイプライン診断を表示します。
• パイプラインのクラスターの状態をノートブックで表示します。
• ノートブックから Delta Live Tables の UI にアクセスします。

前提条件

• ソース コードとして Python または SQL ノートブックを含む既存の Delta Live Tables パイプラインが必要です。
• パイプラインの所有者であるか、CAN_MANAGE の特権を持っている必要があります。

制限事項

• この記事で説明する機能は、Azure Databricks ノートブックでのみ使用できます。 ワークスペース ファイルはサポートされていません。
• Web ターミナルは、パイプラインにアタッチされている場合は使用できません。 その結果、下部のパネルにタブとして表示されません。

ノートブックを Delta Live Tables パイプラインに接続する

ノートブック内で、コンピューティングの選択に使用するドロップダウン メニューをクリックします。 ドロップダウン メニューには、このノートブックを含むすべての Delta Live Tables パイプラインがソース コードとして表示されます。 ノートブックをパイプラインに接続するには、一覧からノートブックを選択します。

パイプラインのクラスターの状態を表示する

パイプラインのクラスターの状態を簡単に理解するために、クラスターが実行されていることを示す緑色で、状態がコンピューティング ドロップダウン メニューに表示されます。

パイプライン コードの検証

パイプラインを検証して、データを処理せずにソース コード内の構文エラーを確認できます。

パイプラインを検証するには、次のいずれかの操作を行います。

• ノートブックの右上隅にある [検証] をクリックします。
• 任意のノートブック セルで Shift+Enter を押します。
• セルのドロップダウン メニューで、[Validate Pipeline]\(パイプラインの検証\) をクリックします。

Note

既存の更新プログラムが既に実行されている間にパイプラインを検証しようとすると、既存の更新プログラムを終了するかどうかを確認するダイアログ ボックスが表示されます。

パイプラインを開始する

パイプラインの更新では、クラスターの起動、定義されているすべてのテーブルとビューの検出と検証、使用可能な最新のデータを使用したテーブルとビューの作成または更新が行われます。

パイプラインの更新を開始するには、ノートブックの右上隅にある [開始] ボタンをクリックします。

[はい] をクリックすると、既存の更新プログラムが停止し、更新の検証が自動的に開始されます。

更新プログラムの状態を表示する

ノートブックの上部パネルに、パイプラインの更新が次の状態であるかどうかが表示されます。

• 開始中
• 検証中
• 停止中

エラーと診断を表示する

パイプラインが開始または検証されると、エラーがある場合は赤い下線付きでインラインに表示されます。 エラーにカーソルを合わせると、詳細情報が表示されます。

パイプライン イベントを表示する

パイプラインにアタッチすると、ノートブックの下部に Delta Live Tables イベント ログ タブが表示されます。

パイプライン データフロー グラフを表示する

パイプラインのデータフロー グラフを表示するには、ノートブックの下部にある Delta Live Tables グラフ タブを使用します。 グラフ内のノードを選択すると、右側のパネルにそのスキーマが表示されます。

ノートブックから Delta Live Tables UI にアクセスする方法

Delta Live Tables UI に簡単に移動するには、ノートブックの右上隅にあるメニューを使用します。

ノートブックからドライバー ログと Spark UI にアクセスする

開発中のパイプラインに関連付けられているドライバー ログと Spark UI には、ノートブックの [表示] メニューから簡単にアクセスできます。