共用方式為


Lakeflow 宣言式管線

Lakeflow 宣告式管線是在 SQL 和 Python 中建立批次和串流數據管線的架構。 Lakeflow 宣告式管線的常見使用案例包括從雲端記憶體(例如 Amazon S3、Azure ADLS Gen2 和 Google Cloud Storage)等來源擷取數據,以及訊息總線(例如 Apache Kafka、Amazon Kinesis、Google Pub/Sub、Azure EventHub 和 Apache Pulsar),以及增量批次和串流轉換。

注意

Lakeflow 宣告式管線需要 進階方案。 如需詳細資訊,請連絡 Databricks 帳戶小組。

本節提供使用 Lakeflow 宣告式管線的詳細資訊。 下列主題將協助您開始。

主題 說明
Lakeflow 宣言式管線概念 瞭解 Lakeflow 宣告式管線的高階概念,包括管線、流程、串流數據表和具體化檢視。
教學課程 請遵循教學,以便為您提供使用 Lakeflow 宣告式管線的親身體驗。
開發管線 學習如何開發和測試管線,以建立用於匯入和轉換資料的流程。
設定管線 瞭解如何排程和設定管線。
監視管線 瞭解如何監視管線,並針對管線查詢進行疑難解答。
開發人員 瞭解如何在開發 Lakeflow 宣告式管線時使用 Python 和 SQL。
Databricks SQL 中的 Lakeflow 宣告式管線 瞭解如何在 Databricks SQL 中使用 Lakeflow 宣告式管線串流數據表和具體化檢視。

詳細資訊