Microsoft Fabric 資料工程讓使用者能設計、建置及維護基礎設施與系統,使組織能夠收集、儲存、處理及分析大量資料。
Fabric 提供多種資料工程功能,確保您的資料易於存取、組織良好且高品質。 若要存取數據工程首頁,請從瀏覽窗格中選取 [工作負載],然後選取 [數據工程 ] 圖格。 從資料工程的首頁上,您可以:
使用 Lakehouse 建立和管理資料
設計管道,將資料複製到 Lakehouse 中
使用 Spark 工作定義將批次/串流工作提交至 Spark 叢集
使用筆記本寫入程式碼,以擷取、準備和轉換資料
Lakehouse
Lakehouses 是可讓組織使用各種工具和架構,在單一位置儲存和管理結構化和非結構化資料,以處理和分析該資料的資料架構。 這些工具和架構可以包含 SQL 型查詢和分析,以及機器學習和其他進階分析技術。
Apache Spark 工作定義
Spark 作業定義是一組指示,可定義如何在 Spark 叢集上執行作業。 其中包含輸入和輸出資料來源、轉換和 Spark 應用程式的組態設定等資訊。 Spark 工作定義可讓您將批次/串流工作提交至 Spark 叢集、將不同的轉換邏輯套用至 Lakehouse 上裝載的資料,以及其他許多項目。
Notebook
筆記本是互動式計算環境,可讓使用者建立及共用包含即時程式碼、方程式、視覺效果和敘事文字的文件。 該平台允許使用者以各種程式設計語言(包括 Python、R 和 Scala)寫入和執行程式碼。 您可以將筆記本用於資料擷取、準備、分析和其他資料相關工作。
管線
管線是一系列步驟,可收集、處理資料,並將其從原始形式轉換成可用於分析和決策的格式。 它們是資料工程的重要元件,因為它們提供一種以可靠、可調整且有效率的方式將資料從來源移至目的地的方式。
註冊 Fabric 試用版時,你可以免費使用 Data Engineering。 你也可以購買 Fabric 容量或 Fabric 保留容量
相關內容
開始使用資料工程:
- 想了解更多關於湖邊別墅的資訊,請參考 Fabric 中的湖邊別墅是什麼?
- 想開始打造湖邊別墅,請參考「在 Fabric 中建立湖畔別墅」。
- 若要深入了解 Apache Spark 工作定義,請參閱<什麼是 Apache Spark 工作定義?>
- 若要開始使用 Apache Spark 工作定義,請參閱<如何在 Fabric 中建立 Apache Spark 工作定義>。
- 若要進一步了解筆記本,請參閱<創建和執行筆記本>。
- 若要開始使用管線複製活動,請參閱<如何使用複製活動複製資料>。