Lakeflow 宣告式管線是在 SQL 和 Python 中建立批次和串流數據管線的架構。 Lakeflow 宣告式管線的常見使用案例包括從雲端記憶體(例如 Amazon S3、Azure ADLS Gen2 和 Google Cloud Storage)等來源擷取數據,以及訊息總線(例如 Apache Kafka、Amazon Kinesis、Google Pub/Sub、Azure EventHub 和 Apache Pulsar),以及增量批次和串流轉換。
注意
Lakeflow 宣告式管線需要 進階方案。 如需詳細資訊,請連絡 Databricks 帳戶小組。
本節提供使用 Lakeflow 宣告式管線的詳細資訊。 下列主題將協助您開始。
主題 | 說明 |
---|---|
Lakeflow 宣言式管線概念 | 瞭解 Lakeflow 宣告式管線的高階概念,包括管線、流程、串流數據表和具體化檢視。 |
教學課程 | 請遵循教學,以便為您提供使用 Lakeflow 宣告式管線的親身體驗。 |
開發管線 | 學習如何開發和測試管線,以建立用於匯入和轉換資料的流程。 |
設定管線 | 瞭解如何排程和設定管線。 |
監視管線 | 瞭解如何監視管線,並針對管線查詢進行疑難解答。 |
開發人員 | 瞭解如何在開發 Lakeflow 宣告式管線時使用 Python 和 SQL。 |
Databricks SQL 中的 Lakeflow 宣告式管線 | 瞭解如何在 Databricks SQL 中使用 Lakeflow 宣告式管線串流數據表和具體化檢視。 |