writeStream

Интерфейс для сохранения содержимого потоковой передачи DataFrame во внешнее хранилище.

Возвраты

DataStreamWriter

Примеры

import time
import tempfile
df = spark.readStream.format("rate").load()
type(df.writeStream)
# <class '...streaming.readwriter.DataStreamWriter'>

with tempfile.TemporaryDirectory(prefix="writeStream") as d:
    query = df.writeStream.toTable("my_table", checkpointLocation=d)
    time.sleep(3)
    query.stop()