Lakeflowパイプラインは、Azure Databricks上のApache Spark™ Declarative Pipelinesでマテリアル化されたビューやストリーミングテーブルを構築する最も一般的な方法です。 また、単純なクエリ構文を使用して、Lakeflow パイプラインの外部でもスタンドアロンのマテリアライズド ビューやストリーミング テーブルを定義でき、基盤となるパイプラインは Azure Databricks によって管理されます。 スタンドアロン テーブルは、Databricks SQL ウェアハウスまたはサーバーレス汎用コンピューティングで実行されているノートブックから作成および更新できます。
スタンドアロン テーブルと Lakeflow パイプラインのどちらを決定するかについては、「 スタンドアロン パイプラインと Lakeflow パイプライン」を参照してください。 管理パイプラインの一部としてマテリアル化されたビューやストリーミングテーブルを構築するには、 LakeflowのSpark Declarative Pipelinesを参照してください。
Note
このセクションは以前「Databricks SQLのためのパイプライン」と呼ばれていました。Databricks SQLウェアハウスに加えて、サーバーレス汎用コンピュートで実行されているノートブックからスタンドアロンのマテリアライズドビューやストリーミングテーブルを作成できるようになったことを反映して、「スタンドアロンのマテリアライズドビューとストリーミングテーブル」に改名されました。
以下のトピックは、単独のマテリアル化されたビューとストリーミングテーブルを扱います。
| トピック | Description |
|---|---|
| スタンドアロン パイプラインの要件 | 機能のサポートやリージョンの可用性など、スタンドアロンの具体化されたビューとストリーミング テーブルのコンピューティング オプションについて説明します。 |
| スタンドアロン ストリーミング テーブルを使用する | ストリーミング テーブルを作成、更新、構成、監視します。 |
| スタンドアロンの具体化されたビューを使用する | 具体化されたビューを作成、更新、クエリします。 |
| REPLACE WHERE と Materialized View のどちらを使うべきか | バッチ抽出、変換、ロード(ETL)ワークロードに対して、REPLACE WHERE フローとマテリアル化されたビューのどちらかを選択できます。 |
ノートブックからPythonを使用してスタンドアロンの具体化されたビューとストリーミング テーブルを作成および更新するには、「スタンドアロン パイプラインでPythonを使用する」を参照してください。