Fabric 數據工程的原生執行引擎

原生執行引擎是 Microsoft Fabric 中 Apache Spark 工作執行的開創性加強程式。此向量化引擎會直接在 Lakehouse 基礎結構上執行 Spark 查詢，以最佳化 Spark 查詢的效能和效率。引擎的無縫整合表示不需要修改程式碼，並避免廠商鎖定。它支援 Apache Spark API，且與 運行時間 1.3 （Apache Spark 3.5） 相容，而且可搭配 Parquet 和 Delta 格式使用。無論您的資料在 OneLake 內的位置為何，或如果您透過捷徑存取資料，原生執行引擎都會將效率和效能最大化。

原生執行引擎可大幅提升查詢效能，同時將營運成本降至最低。它提供了顯著的速度增強，與傳統 OSS（開源軟件）Spark 相比，性能提高了四倍，並得到了 TPC-DS 1 TB 基準測試的驗證。引擎擅長管理各種資料處理案例，範圍從例行資料擷取、批次作業和 ETL (擷取、轉換、載入) 工作到複雜的資料科學分析和回應式互動查詢。使用者可受益於加速處理時間、提高輸送量，以及最佳化資源使用率。

原生執行引擎以兩個關鍵的 OSS 元件為基礎：Velox 是由 Meta 推出的 C++ 資料庫加速程式庫，而 Apache Gluten (孵化中) 則是由 Intel 推出的中間層，負責將 JVM 型 SQL 引擎的執行卸載至原生引擎。

使用原生執行引擎的時機

原生執行引擎提供在大型資料集上執行查詢的解決方案;它會使用基礎資料來源的原生功能來最佳化效能，並將通常與傳統Spark環境中的資料移動和串行化相關聯的額外負荷降到最低。引擎支援各種運算子和資料類型，包括 Rollup 雜湊彙總、廣播巢狀迴圈連接 (BNLJ)，以及精確的時間戳記格式。不過，若要完全受益於此引擎的功能，您應該考慮其最佳使用案例：

在處理 Parquet 和 Delta 格式的資料時，此引擎很有效，能夠以原生且有效率的方式處理。
涉及複雜轉換和彙總的查詢可大幅受益於引擎的分欄處理和向量化功能。
效能提升最顯著的情況是，查詢不會因避免不支援的功能或運算式而觸發後援機制。
此引擎非常適合對運算要求較高的查詢，而非簡單或受到輸入/輸出限制的查詢。

如需原生執行引擎所支援的運算子和函式資訊，請參閱 Apache Gluten 文件。

啟用原生執行引擎

若要在預覽階段使用原生執行引擎的完整功能，則需要特定的設定。下列程式示範如何針對筆記本、Spark 工作定義和整個環境啟用此功能。

重要

原生執行引擎支援最新的 GA 運行時間版本，也就是 Runtime 1.3（Apache Spark 3.5、Delta Lake 3.2）。隨著執行階段 1.3 中原生執行引擎的發行，已停止支援舊版（執行階段 1.2 （Apache Spark 3.4、Delta Lake 2.4）。我們鼓勵所有客戶升級至最新的 Runtime 1.3。如果您在執行階段 1.2 上使用原生執行引擎，則會停用原生加速。

在環境層級啟用

若要確保統一的效能增強，請在與環境相關聯的所有工作和筆記本上啟用原生執行引擎：

導覽至包含您環境的工作區，然後選取環境。如果您尚未建立環境，請參閱在 Fabric 中建立、設定及使用環境。
在 Spark 計算 下，選取 [加速]。
核取標示為 [啟用原生執行引擎] 的方塊。
儲存併發佈 變更。

在環境層級啟用時，所有後續工作和筆記本都會繼承設定。此繼承可確保環境中建立的任何新工作階段或資源都會自動受益於增強的執行功能。

重要

先前，原生執行引擎是透過環境組態內的Spark設定來啟用。現在可以使用環境設定的 [ 加速 ] 索引標籤中的切換，更輕鬆地啟用原生執行引擎。若要繼續使用，請移至 [ 加速 ] 索引標籤，然後開啟切換開關。如有偏好，您也可以透過Spark屬性加以啟用。

針對筆記本或 Spark 工作定義啟用

您也可以為單一筆記本或 Spark 作業定義啟用原生執行引擎，您必須在執行腳本開頭納入必要的設定：

%%configure 
{ 
   "conf": {
       "spark.native.enabled": "true", 
   } 
}

針對筆記本，請在第一個儲存格中插入必要的組態命令。針對 Spark 任務定義，請在 Spark 任務定義的開頭包含組態。原生執行引擎會與即時集區整合，因此一旦啟用此功能，它就會立即生效，而不需要您起始新的會話。

查詢層級上的控制

在租用戶、工作區和環境層級啟用原生執行引擎，並與 UI 無縫整合的機制正在積極開發中。同時，您可以停用特定查詢的原生執行引擎，尤其是當查詢涉及目前不支援的運算子時 (請參閱限制)。若要停用，請針對包含查詢的特定儲存格，將 Spark 組態 spark.native.enabled 設定為 false。

%%sql 
SET spark.native.enabled=FALSE;

%%pyspark
spark.conf.set('spark.native.enabled', 'false')

%%spark  
spark.conf.set("spark.native.enabled", "false")

%%sparkr
library(SparkR)
sparkR.conf("spark.native.enabled", "false")

執行停用原生執行引擎的查詢之後，您必須將spark.native.enabled 設定為 true，為後續儲存格重新啟用它。此步驟是必要的，因為 Spark 會循序執行程式碼儲存格。

%%sql 
SET spark.native.enabled=TRUE;

%%pyspark
spark.conf.set('spark.native.enabled', 'true')

%%spark  
spark.conf.set("spark.native.enabled", "true")

%%sparkr
library(SparkR)
sparkR.conf("spark.native.enabled", "true")

識別引擎執行的作業

有數種方法可用來判斷 Apache Spark 工作中的運算子是否使用原生執行引擎來處理。

Spark UI 和 Spark 歷程記錄伺服器

存取 Spark UI 或 Spark 歷程記錄伺服器，以找出您需要檢查的查詢。若要存取 Spark Web UI，請流覽至 Spark 作業定義並加以執行。從 [執行] 索引標籤中，選取 [應用程式名稱 旁邊的 ...]，然後選取 [開啟 Spark Web UI]。您也可以從工作區中的 [監視器] 索引標籤進入 Spark UI。從 [監視] 頁面中，選取筆記本或管線，即可直接存取作用中作業的 Spark UI。

在 Spark UI 介面中顯示的查詢計劃中，尋找任何以 Transformer、*NativeFileScan 或 VeloxColumnarToRowExec作為後綴結尾的節點名稱。後置詞表示原生執行引擎已執行作業。例如，節點可能會標示為 RollUpHashAggregateTransformer、ProjectExecTransformer、BroadcastHashJoinExecTransformer、ShuffledHashJoinExecTransformer 或 BroadcastNestedLoopJoinExecTransformer。

DataFrame 說明

或者，您可以在筆記本中執行 df.explain() 命令，以檢視執行計劃。在輸出中，尋找相同的 Transformer、*NativeFileScan 或 VeloxColumnarToRowExec 後綴。此方法提供快速的方式，以確認原生執行引擎是否正在處理特定作業。

後援機制

在某些情況下，原生執行引擎可能會因為不支援的功能等原因而無法執行查詢。在這些情況下，此作業會退回到傳統的 Spark 引擎。此自動後援機制可確保工作流程不會中斷。

監視引擎執行的查詢和數據框架

若要進一步瞭解原生執行引擎如何套用至 SQL 查詢和數據框架作業，以及向下切入至階段和運算符層級，您可以參考 Spark UI 和 Spark 歷程記錄伺服器，以取得原生引擎執行的詳細資訊。

原生執行引擎索引標籤

您可以流覽至新的 [麩質 SQL / 數據框架] 索引標籤，以檢視麩質組建資訊和查詢執行詳細數據。查詢表提供了在原生引擎上執行的節點數目，以及針對每個查詢回退到 JVM 的節點數目的深入解析。

查詢執行圖形

您也可以在 Apache Spark 查詢執行計劃的視覺化中選取查詢描述。執行圖表提供跨階段及其個別作業的原生執行細節。背景色彩區分執行引擎：綠色代表原生執行引擎，而淺藍色表示作業是在預設 JVM 引擎上執行。

限制

雖然 Microsoft Fabric 中的原生執行引擎（NEE）大幅提升 Apache Spark 作業的效能，但它目前有下列限制：

現有的限制

不相容的 Spark 功能：原生執行引擎目前不支援使用者定義函式（UDF）、 array_contains 函式或結構化串流。如果直接或透過匯入的連結庫使用這些函式或不支援的功能，Spark 會還原為其默認引擎。
不支援的檔案格式：針對JSON、XML和CSV格式的查詢不會由原生執行引擎加速。這些默認會回到常規的 Spark JVM 引擎來執行。
不支援 ANSI 模式：原生執行引擎不支援 ANSI SQL 模式。如果啟用，執行會回復至原版 Spark 引擎。
日期篩選類型不符：若要受益於原生執行引擎的加速，請確定數據類型中日期比較的兩端相符。例如，不要將 DATETIME 欄位與字串常值進行比較，而是將它明確地轉型，如下所示：
```
CAST(order_date AS DATE) = '2024-05-20'
```

其他考量與限制

十進制到浮點數轉換不匹配：從 DECIMAL 轉換成 FLOAT 時，Spark 會藉由轉換成字串並剖析來保留精確度。 NEE （透過 Velox）會從內部 int128_t 表示法執行直接轉換，這可能會導致四捨五入差異。
時區設定錯誤 ：在Spark中設定無法辨識的時區會導致工作在NEE下失敗，而Spark JVM則會正常處理。例如：
```
"spark.sql.session.timeZone": "-08:00"  // May cause failure under NEE
```
不一致的舍入行為：由於round()依賴 std::round，函數在 NEE 中的行為不同，這不會複製 Spark 的舍入邏輯。這可能會導致四捨五入結果中的數值不一致。
函式中map()遺漏重複索引鍵檢查：當spark.sql.mapKeyDedupPolicy設為EXCEPTION時，Spark 會擲回重複索引鍵的錯誤。 NEE 目前會略過這項檢查，並允許查詢不正確地成功。
範例：
```
SELECT map(1, 'a', 1, 'b'); -- Should fail, but returns {1: 'b'}
```
中 collect_list() 排序的順序差異：使用 DISTRIBUTE BY 和 SORT BY時，Spark 會保留中的 collect_list()項目順序。 NEE 可能會因為洗牌差異而以不同的順序傳回值，這可能會導致順序敏感邏輯的期望不一致。
collect_list() 這種不相符可能會導致查詢規劃或執行期間發生相容性問題。

在原生執行引擎上觀看此 Fabric 濃縮咖啡影片

意見反應

此頁面對您有幫助嗎？

Last updated on 2025-10-03