параметры (DataFrameReader)

Добавляет параметры ввода для базового источника данных.

Синтаксис

options(**options)

Параметры

Параметр	Тип	Описание
**options	Дикт	Строковые ключи, сопоставленные со значениями примитивных типов. Доступные параметры см. в разделе "Параметры DataFrameReader".

Возвраты

DataFrameReader

Примеры

Чтение CSV-файла с nullValue набором параметров.header

import tempfile
with tempfile.TemporaryDirectory(prefix="options") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.option("header", True).mode("overwrite").format("csv").save(d)

    spark.read.options(
        nullValue="Alice",
        header=True
    ).format('csv').load(d).show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+