Fabric 資料工程文件

Fabric Data Engineering 讓使用者能夠設計、建置及維護基礎設施與系統，使其組織能夠收集、儲存、處理及分析大量資料。

關於資料工程

概觀

• 什麼是資料工程？
• 什麼是 Lakehouse？

概念

• Lakehouse 和 Delta 資料表
• 工作區角色和許可權
• 選擇資料儲存體

操作指南

• 差異最佳化和 V 順序
• 載入至資料表

開始使用 Lakehouse

開始使用

• 建立「Lakehouse」
• 瀏覽湖屋瀏覽器

操作指南

• 使用 notebook 將資料放入 Lakehouse

教學課程

• 步驟 1 - 建立工作區
• 步驟 2 - 建立 Lakehouse
• 步驟 3 - 將資料導入至 lakehouse
• 步驟 4 - 將資料轉換成 Delta 資料表
• 步驟 5 - 建立語意模型並建立報告
• 步驟 6 - 清理資源

開始使用筆記本

開始使用

• 建立和使用筆記本

操作指南

• 開發、編輯和執行筆記本
• 使用筆記本探索 Lakehouse 資料
• 將筆記本可視化
• 筆記型電腦原始碼控制和部署
• 撰寫並執行 T-SQL Notebooks

使用適用於 GraphQL 的 API 進行查詢

概觀

• 什麼是 GraphQL 的網狀架構 API？

開始使用

• 建立 GraphQL 的 API 並新增資料

操作指南

• 管理關係
• 連接到應用程式
• 查詢多重資料來源
• GraphQL 版本控制和部署管線
• 監視儀表板和記錄 （預覽）

VS Code 整合

概念

• 什麼是數據工程 VS Code 延伸模組？

操作指南

• 在 VS Code 中使用工作簿
• 在 VS Code 中使用容器映像
• 從 VS Code 使用 Spark 作業定義
• 探索 VS Code 的 Lakehouse
• 從 VS Code Web 體驗開發筆記本

適用於數據工程的 Apache Spark

概念

• Apache Spark 工作定義
• 什麼是 Apache Spark 顧問？

開始使用

• 建立 Spark 工作定義
• 使用網狀架構 API 建立 Spark 作業定義
• Spark 作業定義 Git 整合

操作指南

• 排程並執行Spark作業定義
• 管理 Apache Spark 程式庫
• 如何使用 Fabric MSSparkUtils

如何開始使用開發環境

開始使用

• 布料環境

操作指南

• 管理環境中的Spark計算
• 管理環境中的程式庫
• 環境 Git 整合和部署管線
• 透過公用 API 管理環境
• 在受出埠存取保護保護的環境中管理檔案庫

Fabric Livy API

概觀

• 什麼是 Livy API？

開始使用

• 使用 Livy API 建立和執行 Spark 作業
• 提交 Livy API 會話作業
• 提交 Livy API 批次作業

以實體化湖景進行優化

概觀

• 什麼是具體化湖檢視？

開始使用

• 開始使用具體化湖檢視
• 實施帶有實體化湖檢視的獎章式架構
• 管理實體化資料湖檢視