使用 Azure Databricks 實作資料湖存放庫分析解決方案

中級
資料工程師
Azure Databricks

了解如何利用在 Azure Databricks 平台上執行的 Apache Spark 與強大的叢集功能,在雲端執行大型資料工程工作負載。

必要條件

此學習路徑中的課程模組

Azure Databricks 是一項雲端服務,能提供可調整的平台來使用 Apache Spark 進行資料分析。

了解如何使用 Azure Databricks 執行資料分析。 探索各種資料擷取方法,以及如何整合來自 Azure Data Lake 和 Azure SQL Database 等來源的資料。 本課程模組會引導您使用共同作業筆記本來執行探勘資料分析 (EDA),讓您可以可視化、操作和檢查資料,以找出模式、異常和相互關聯。

Azure Databricks 是以 Apache Spark 為基礎所建置,可讓資料工程師和分析師執行 Spark 作業,以大規模轉換、分析和視覺化資料。

Delta Lake 是 Azure Databricks 中的數據管理解決方案,其功能包括 ACID 交易、架構強制執行,以及確保數據一致性、完整性和版本控制功能的時間移動。

使用 Delta Live Tables 建置資料管線,可使用 Delta Lake 的 Azure Databricks 進階功能,即時、可調整且可靠的資料處理

使用 Azure Databricks 工作流程部署工作負載牽涉到協調及自動化複雜的資料處理管線、機器學習工作流程和分析工作。 在本課程模組中,您將了解如何使用 Databricks 工作流程部署工作負載。