Lakeflow 宣言型パイプラインは、SQL と Python でバッチおよびストリーミング データ パイプラインを作成するためのフレームワークです。 Lakeflow 宣言パイプラインの一般的なユース ケースには、クラウド ストレージ (Amazon S3、Azure ADLS Gen2、Google Cloud Storage など) やメッセージ バス (Apache Kafka、Amazon Kinesis、Google Pub/Sub、Azure EventHub、Apache Pulsar など) などのソースからのデータ インジェスト、増分バッチ変換とストリーミング変換が含まれます。
注
Lakeflow 宣言型パイプラインには、 Premium プランが必要です。 詳細については、Databricks アカウント チームにお問い合わせください。
このセクションでは、Lakeflow 宣言パイプラインの使用について詳しく説明します。 次のトピックは、作業の開始に役立ちます。
| トピック | 説明 |
|---|---|
| Lakeflow 宣言型パイプラインの概念 | パイプライン、フロー、ストリーミング テーブル、具体化されたビューなど、Lakeflow 宣言型パイプラインの概要概念について説明します。 |
| チュートリアル | Lakeflow 宣言型パイプラインの使用を実践するために、チュートリアルを活用しましょう。 |
| パイプラインの開発 | データを取り込んで変換するためのフローを作成するパイプラインを開発およびテストする方法について説明します。 |
| パイプラインを構成する | パイプラインをスケジュールして構成する方法について説明します。 |
| パイプラインを監視する | パイプラインを監視し、パイプライン クエリのトラブルシューティングを行う方法について説明します。 |
| 開発者 | Lakeflow 宣言型パイプラインを開発するときに Python と SQL を使用する方法について説明します。 |
| Databricks SQL の Lakeflow 宣言型パイプライン | Databricks SQL での Lakeflow 宣言型パイプライン ストリーミング テーブルと具体化されたビューの使用について説明します。 |