SparkContext 類別

定義

命名空間:

Microsoft.Spark

組件:

Microsoft.Spark.dll

套件:

Microsoft.Spark v1.0.0

Spark 功能的主要進入點。 SparkCoNtext 代表 Spark 叢集的連線，可用來在該叢集上建立 RDD、累積器和廣播變數。

每個 JVM 只能有一個 SparkContext 作用中。 stop()在建立新的之前，您必須使用 SparkContext 中。

public sealed class SparkContext

type SparkContext = class

Public NotInheritable Class SparkContext

繼承

Object

SparkContext

建構函式

SparkContext()	建立 SparkCoNtext，以在啟動 spark-submit) 時，從系統屬性 (載入設定。
SparkContext(SparkConf)	使用指定的組態建立 SparkCoNtext 物件。
SparkContext(String, String)	使用特定的主要和應用程式名稱，初始化 SparkCoNtext 實例。
SparkContext(String, String, SparkConf)	允許直接設定通用 Spark 屬性的替代建構函式。
SparkContext(String, String, String)	允許直接設定通用 Spark 屬性的替代建構函式。

屬性

DefaultParallelism

使用者 (例如 Parallelize () ) 時，要使用的平行處理原則預設層級。

方法

AddFile(String, Boolean)	在每個節點上新增要使用此 Spark 作業下載的檔案。
Broadcast<T>(T)	將唯讀變數廣播至叢集，傳回 Microsoft.Spark.Broadcast 物件，以在分散式函式中讀取它。 變數只會傳送給每個執行程式一次。
ClearJobGroup()	清除目前線程的作業群組識別碼及其描述。
GetConf()	會傳回與此 SparkCoNtext 物件相關聯的 SparkConf 物件。 請注意，修改 SparkConf 物件不會有任何影響。
GetOrCreate(SparkConf)	此函式可用來取得或具現化 SparkCoNtext，並將其註冊為單一物件。 因為每個 JVM 只能有一個作用中的 SparkCoNtext，所以當應用程式可能想要共用 SparkCoNtext 時，這會很有用。
SetCheckpointDir(String)	設定 RDD 即將經過檢查點的目錄。
SetJobDescription(String)	設定目前作業的人類可讀描述。
SetJobGroup(String, String, Boolean)	將群組識別碼指派給此執行緒啟動的所有作業，直到群組識別碼設定為不同的值或清除為止。
SetLogLevel(String)	控制我們的 logLevel。 這會覆寫任何使用者定義的記錄檔設定。
Stop()	關閉 SparkCoNtext。