Microsoft Fabric 中的 資料工程師 檔

Microsoft Fabric 中的資料工程可讓使用者設計、建置和維護基礎結構與系統，讓組織能夠收集、儲存、處理和分析大量資料。

關於資料工程

概觀

• 什麼是資料工程？
• 什麼是 Lakehouse？

概念

• Lakehouse 和 Delta 資料表
• 工作區角色和許可權
• 選擇資料儲存體

操作指南

• 差異最佳化和 V 順序
• 載入至資料表

開始使用 Lakehouses

開始使用

• 建立 Lakehouse
• 流覽 Lakehouse 總管

操作指南

• 使用筆記本將資料放入 Lakehouse

教學課程

• 步驟 1 - 建立工作區
• 步驟 2 - 建立 Lakehouse
• 步驟 3 - 將資料內嵌至 lakehouse
• 步驟 4 - 將資料轉換成差異資料表
• 步驟 5 - 建置報表
• 步驟 6 - 清理資源

開始使用筆記本

開始使用

• 建立和使用筆記本

操作指南

• 開發和執行筆記本
• 使用筆記本探索 Lakehouse 資料
• 將筆記本可視化
• 筆記本原始檔控制和部署
• 撰寫並執行 T-SQL Notebooks

使用適用於 GraphQL 的 API 進行查詢

概觀

• 什麼是 GraphQL 的網狀架構 API？

開始使用

• 建立 GraphQL 的 API 並新增資料

操作指南

• 管理 關聯性
• 線上到應用程式
• 查詢多重資料來源
• GraphQL 原始檔控制和部署管線
• 監視儀表板和記錄 （預覽）

VS Code 整合

概念

• 什麼是數據工程 VS Code 延伸模組？

操作指南

• 從 VS Code 使用筆記本
• 使用 VS Code 的容器映像
• 從 VS Code 使用 Spark 作業定義
• 探索 VS Code 的 Lakehouse
• 從 VS Code Web 體驗開發筆記本

適用於數據工程的 Apache Spark

概念

• Apache Spark 工作定義
• 什麼是 Apache Spark 建議程式？

開始使用

• 建立 Spark 工作定義
• 使用網狀架構 API 建立 Spark 作業定義
• Spark 作業定義 Git 整合

操作指南

• 排程並執行Spark作業定義
• 管理 Apache Spark 連結庫
• 如何使用 Fabric MSSparkUtils

開始使用環境

開始使用

• Microsoft Fabric 的環境

操作指南

• 管理環境中的Spark計算
• 管理環境中的程式庫
• 環境 Git 整合和部署管線
• 透過公用 API 管理環境
• 在受出埠存取保護保護的環境中管理檔案庫

網狀架構 Livy API

概觀

• 什麼是 Livy API？

開始使用

• 使用 Livy API 建立和執行 Spark 作業
• 提交 Livy API 會話作業
• 提交 Livy API 批次作業

使用具體化湖檢視進行優化

概觀

• 什麼是具體化湖檢視？

開始使用

• 開始使用具體化湖檢視
• 使用具體化湖檢視實作 Medallion 架構
• 管理具體化湖檢視