SparkSessionExtensions.GetAssemblyInfo(SparkSession, Int32) 方法

定义

命名空间:

Microsoft.Spark.Experimental.Sql

程序集:

Microsoft.Spark.dll

包:

Microsoft.Spark v1.0.0

Microsoft.Spark.Utils.AssemblyInfoProvider.AssemblyInfo获取 Spark 驱动程序上运行的“Microsoft.Spark”程序集的 ，并“尽最大努力”尝试确定 Microsoft.Spark.Utils.AssemblyInfoProvider.AssemblyInfo Spark 执行程序上的“Microsoft.Spark.Worker”程序集。

无法保证 Spark 执行程序将在群集中的所有节点上运行。 若要增加可能，应将 spark conf spark.executor.instances 和 numPartitions 设置调整为相对于 Spark 群集中的节点数的合理数字。

public static Microsoft.Spark.Sql.DataFrame GetAssemblyInfo (this Microsoft.Spark.Sql.SparkSession session, int numPartitions = 10);

static member GetAssemblyInfo : Microsoft.Spark.Sql.SparkSession * int -> Microsoft.Spark.Sql.DataFrame

<Extension()>
Public Function GetAssemblyInfo (session As SparkSession, Optional numPartitions As Integer = 10) As DataFrame

参数

session

SparkSession

SparkSession

numPartitions

Int32

分区数

返回

DataFrame

包含 DataFrame 的 Microsoft.Spark.Utils.AssemblyInfoProvider.AssemblyInfo