объяснять

Выводит планы (логические и физические) в консоль для отладки.

Синтаксис

explain(extended: Optional[Union[bool, str]] = None, mode: Optional[str] = None)

Параметры

Параметр	Тип	Описание
extended	bool, необязательный	по умолчанию False. Если False, выводит только физический план. Если это строка без указания modeзначения, она работает в качестве режима.
mode	str, необязательный	указывает ожидаемый формат выходных данных планов. simple: печать только физического плана. extended: печать логических и физических планов. codegen: распечатайте физический план и созданные коды, если они доступны. cost: распечатайте логический план и статистику, если они доступны. formatted: разделение выходных данных на два раздела: структура физического плана и сведения о узле.

Примеры

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.explain()
# == Physical Plan ==
# *(1) Scan ExistingRDD[age...,name...]

df.explain(extended=True)
# == Parsed Logical Plan ==
# ...
# == Analyzed Logical Plan ==
# ...
# == Optimized Logical Plan ==
# ...
# == Physical Plan ==
# ...

df.explain(mode="formatted")
# == Physical Plan ==
# * Scan ExistingRDD (...)
# (1) Scan ExistingRDD [codegen id : ...]
# Output [2]: [age..., name...]
# ...