DataStreamWriter

Antarmuka yang digunakan untuk menulis DataFrame streaming ke sistem penyimpanan eksternal (misalnya, sistem file dan penyimpanan nilai kunci). Gunakan df.writeStream untuk mengakses ini.

Sintaksis

# Access through DataFrame
df.writeStream

Metode

Metode	Deskripsi
outputMode(outputMode)	Menentukan bagaimana data DataFrame streaming ditulis ke sink. Opsinya adalah append, complete, dan update.
format(source)	Menentukan format sumber data output.
option(key, value)	Menambahkan opsi output untuk sumber data yang mendasar.
options(**options)	Menambahkan beberapa opsi output untuk sumber data yang mendasar.
partitionBy(*cols)	Mempartisi output oleh kolom yang diberikan pada sistem file.
clusterBy(*cols)	Kluster output oleh kolom yang diberikan.
queryName(queryName)	Menentukan nama kueri streaming.
trigger(**kwargs)	Mengatur pemicu untuk eksekusi kueri streaming.
foreach(f)	Mengatur output kueri streaming yang akan diproses oleh fungsi atau objek yang diberikan.
foreachBatch(func)	Mengatur output dari setiap mikrobatch yang akan diproses oleh fungsi yang diberikan.
start(path)	Memulai eksekusi kueri streaming dan mengembalikan StreamingQuery objek.
table(tableName)	Alias untuk toTable(). Menulis data ke tabel yang ditentukan dan mengembalikan StreamingQuery objek.
toTable(tableName)	Memulai eksekusi kueri streaming, terus menghasilkan hasil ke tabel yang diberikan.

Examples

Muat aliran laju, terapkan transformasi, tulis ke konsol, dan berhenti setelah 3 detik.

import time
df = spark.readStream.format("rate").load()
df = df.selectExpr("value % 3 as v")
q = df.writeStream.format("console").start()
time.sleep(3)
q.stop()