使用 Azure Databricks 的資料工程

中級
資料工程師
Databricks

了解如何利用 Apache Spark 的優勢以及 Azure Databricks 平台上執行的強大叢集功能,在雲端中執行大型資料工程工作負載。

必要條件

此學習路徑中的課程模組

Azure Databricks 是一項雲端服務,能提供可調整的平台來使用 Apache Spark 進行資料分析。

Azure Databricks 是以 Apache Spark 為基礎所建置,可讓資料工程師和分析師執行 Spark 作業,以大規模轉換、分析和視覺化資料。

Delta Lake 是 Spark 開放原始碼關聯式儲存區域,可用於在 Azure Databricks 中實作資料湖存放庫架構。

Azure Databricks 提供 SQL 倉儲,可讓資料分析師使用熟悉的關聯式 SQL 查詢來處理資料。

使用 Azure Data Factory 中的管道在 Azure Databricks 中執行筆記本,可讓您以雲端規模將資料工程程序自動化。