text (DataFrameReader)

Загружает текстовые файлы и возвращает схему DataFrame , схему которой начинается со строкового столбца с именем value, за которым следует секционированные столбцы, если они присутствуют. Текстовые файлы должны быть закодированы как UTF-8. По умолчанию каждая строка в текстовом файле представляет собой новую строку в результирующем кадре данных.

Синтаксис

text(paths, wholetext=False, lineSep=None, **options)

Параметры

Параметр	Тип	Описание
paths	str или list	Один или несколько входных путей.
wholetext	bool, необязательный	Если True, считывает каждый файл как одну строку. По умолчанию — False.
lineSep	str, необязательный	Используемый разделитель строк. Значение по умолчанию — '\n', '\r'или '\r\n'.

Возвраты

DataFrame

Примеры

Напишите кадр данных в текстовый файл и считывает его обратно.

import tempfile
with tempfile.TemporaryDirectory(prefix="text") as d:
    df = spark.createDataFrame([("a",), ("b",), ("c",)], schema=["alphabets"])
    df.write.mode("overwrite").format("text").save(d)

    spark.read.schema(df.schema).text(d).sort("alphabets").show()
    # +---------+
    # |alphabets|
    # +---------+
    # |        a|
    # |        b|
    # |        c|
    # +---------+