什麼是 Microsoft Fabric 中的資料工程？

Microsoft Fabric 中的資料工程可讓使用者設計、建置和維護基礎結構與系統，讓組織能夠收集、儲存、處理和分析大量資料。

Microsoft Fabric 提供各種資料工程功能，以確保資料易於存取、組織良好而且具有高品質。 從資料工程首頁中，您可以：

• 使用 Lakehouse 建立和管理資料

• 設計管線以將資料複製到 Lakehouse

• 使用 Spark 工作定義將批次/串流工作提交至 Spark 叢集

• 使用筆記本寫入程式碼，以擷取、準備和轉換資料

  

Lakehouse

Lakehouses 是可讓組織使用各種工具和架構，在單一位置儲存和管理結構化和非結構化資料，以處理和分析該資料的資料架構。 這些工具和架構可以包含 SQL 型查詢和分析，以及機器學習和其他進階分析技術。

Apache Spark 工作定義

Spark 工作定義是一組指令，可定義如何在 Spark 叢集上執行工作。 其中包含輸入和輸出資料來源、轉換和 Spark 應用程式的組態設定等資訊。 Spark 工作定義可讓您將批次/串流工作提交至 Spark 叢集、將不同的轉換邏輯套用至 Lakehouse 上裝載的資料，以及其他許多項目。

Notebook

筆記本是互動式計算環境，可讓使用者建立及共用包含即時程式碼、方程式、視覺效果和敘事文字的文件。 筆記本允許使用者以包括 Python、R 和 Scala 在內的各種程式設計語言寫入和執行程式碼。 您可以將筆記本用於資料擷取、準備、分析和其他資料相關工作。

資料管線

資料管線是可收集、處理資料，並從資料的原始形式轉換到可用於分析和制定決策之格式的一系列步驟。 它們是資料工程的重要元件，因為它們提供一種以可靠、可調整且有效率的方式將資料從來源移至目的地的方式。

當您註冊 Fabric 試用版時，可以在 Microsoft Fabric 免費使用資料工程。 您也可以購買 Microsoft Fabric 容量 或 Fabric 保留容量

相關內容

開始使用資料工程：

• 若要深入了解 Lakehouse，請參閱＜什麼是 Microsoft Fabric Lakehouse？＞
• 若要開始使用 lakehouses，請參閱＜在 Microsoft Fabric 中建立 Lakehouse＞。
• 若要深入了解 Apache Spark 工作定義，請參閱＜什麼是 Apache Spark 工作定義？＞
• 若要開始使用 Apache Spark 工作定義，請參閱＜如何在 Fabric 中建立 Apache Spark 工作定義＞。
• 若要深入了解筆記本，請參閱＜作者和執行筆記本＞。
• 若要開始使用管線複製活動，請參閱＜如何使用複製活動複製資料＞。