сохранить

Сохраняет содержимое DataFrame источника данных. Источник данных задается format и набором options. Если format это не указано spark.sql.sources.default , используется источник данных по умолчанию.

Синтаксис

save(path=None, format=None, mode=None, partitionBy=None, **options)

Параметры

Параметр	Тип	Описание
path	str, необязательный	Путь в файловой системе, поддерживаемой Hadoop.
format	str, необязательный	Формат, используемый для сохранения.
mode	str, необязательный	Поведение, когда данные уже существуют. Допустимые значения: 'append', 'overwrite', 'ignore'и 'error' (по 'errorifexists' умолчанию).
partitionBy	list, необязательный	Имена столбцов секционирования.
**options	Дикт	Дополнительные параметры строки.

Возвраты

Нет

Примеры

Напишите кадр данных в JSON-файл и считывает его обратно.

import tempfile
with tempfile.TemporaryDirectory(prefix="save") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.mode("overwrite").format("json").save(d)

    spark.read.format('json').load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+