使用 Azure Databricks 的資料工程
了解如何利用在 Azure Databricks 平台上執行的 Apache Spark 與強大的叢集功能,在雲端執行大型資料工程工作負載。
必要條件
無
此學習路徑中的課程模組
Azure Databricks 是一項雲端服務,能提供可調整的平台來使用 Apache Spark 進行資料分析。
Azure Databricks 是以 Apache Spark 為基礎所建置,可讓資料工程師和分析師執行 Spark 作業,以大規模轉換、分析和視覺化資料。
Delta Lake 是 Spark 開放原始碼關聯式儲存區域,可用於在 Azure Databricks 中實作資料湖存放庫架構。
Azure Databricks 提供 SQL 倉儲,可讓資料分析師使用熟悉的關聯式 SQL 查詢來處理資料。
使用 Azure Data Factory 中的管道在 Azure Databricks 中執行筆記本,可讓您以雲端規模將資料工程程序自動化。