SparkSessionExtensions 類別

定義

public static class SparkSessionExtensions
type SparkSessionExtensions = class
Public Module SparkSessionExtensions
繼承
SparkSessionExtensions

方法

GetAssemblyInfo(SparkSession, Int32)

Microsoft.Spark.Utils.AssemblyInfoProvider.AssemblyInfo取得 Spark 驅動程式上執行的 「Microsoft.Spark」 元件的 ,並嘗試 Microsoft.Spark.Utils.AssemblyInfoProvider.AssemblyInfo 判斷 Spark 執行程式上的 「Microsoft.Spark.Worker」 元件。

不保證 Spark 執行程式將在叢集中的所有節點上執行。 為了增加可能的情況,spark conf spark.executor.instancesnumPartitions 設定應該調整為相對於 Spark 叢集中節點數目的合理數目。

適用於