csv (DataFrameReader)

Загружает CSV-файл и возвращает результат в виде DataFrame. Если inferSchema этот параметр включен, эта функция считывает входные данные один раз, чтобы определить схему. Чтобы избежать этого, отключите inferSchema или укажите схему явным образом.schema

Синтаксис

csv(path, schema=None, **options)

Параметры

Параметр	Тип	Описание
path	str или list	Один или несколько входных путей или RDD строк, хранящие строки CSV.
schema	StructType или str, необязательный	Необязательная входная схема в виде StructType объекта или отформатированного DDL-строки (например, 'col0 INT, col1 DOUBLE').

Возвраты

DataFrame

Примеры

Напишите кадр данных в CSV-файл и считывайте его обратно.

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+