vysvětlit

Vytiskne plány (logické a fyzické) do konzoly pro účely ladění.

Syntaxe

explain(extended: Optional[Union[bool, str]] = None, mode: Optional[str] = None)

Parametry

Parameter	Typ	Description
extended	bool, volitelné	výchozí hodnota False. Pokud False, vytiskne pouze fyzický plán. Pokud se jedná o řetězec bez zadání mode, funguje jako režim je zadán.
mode	str, volitelné	určuje očekávaný výstupní formát plánů. simple: Tiskne pouze fyzický plán. extended: Vytiskněte logické i fyzické plány. codegen: Vytiskněte fyzický plán a vygenerované kódy, pokud jsou k dispozici. cost: Pokud jsou k dispozici, vytiskněte logický plán a statistiky. formatted: Rozdělte výstup do dvou částí: osnova fyzického plánu a podrobnosti o uzlu.

Příklady

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.explain()
# == Physical Plan ==
# *(1) Scan ExistingRDD[age...,name...]

df.explain(extended=True)
# == Parsed Logical Plan ==
# ...
# == Analyzed Logical Plan ==
# ...
# == Optimized Logical Plan ==
# ...
# == Physical Plan ==
# ...

df.explain(mode="formatted")
# == Physical Plan ==
# * Scan ExistingRDD (...)
# (1) Scan ExistingRDD [codegen id : ...]
# Output [2]: [age..., name...]
# ...