формат (DataStreamWriter)

Указывает базовый источник выходных данных.

Синтаксис

format(source)

Параметры

Параметр	Тип	Описание
source	str	Имя источника данных, например 'parquet' или 'console'.

Возвраты

DataStreamWriter

Примеры

df = spark.readStream.format("rate").load()
df.writeStream.format("text")
# <...streaming.readwriter.DataStreamWriter object ...>

Запись исходного потока скорости в CSV:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="format1") as d:
    with tempfile.TemporaryDirectory(prefix="format2") as cp:
        df = spark.readStream.format("rate").load()
        q = df.writeStream.format("csv").option("checkpointLocation", cp).start(d)
        time.sleep(5)
        q.stop()
        spark.read.schema("timestamp TIMESTAMP, value STRING").csv(d).show()