csv (DataStreamReader)

Загружает поток CSV-файла и возвращает результат в виде кадра данных. Если inferSchema эта функция включена, функция проходит входные данные один раз, чтобы определить схему. Чтобы избежать этого прохождения, отключите inferSchema или укажите схему явным образом.schema

Синтаксис

csv(path, schema=None, **options)

Параметры

Параметр	Тип	Описание
path	str	Путь к входным данным CSV.
schema	StructType или str, необязательный	Схема в виде строки в формате StructType или DDL (например, col0 INT, col1 DOUBLE).

Возвраты

DataFrame

Примеры

Загрузите поток из временного CSV-файла:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()