StreamingQueryManager

Mengelola semua instans aktif StreamingQuery yang terkait dengan SparkSession. Gunakan spark.streams untuk mengakses ini.

Sintaksis

# Access through SparkSession
spark.streams

Karakteristik

Harta benda	Deskripsi
active	Mengembalikan daftar semua kueri streaming aktif yang terkait dengan ini SparkSession.

Metode

Metode	Deskripsi
get(id)	Mengembalikan kueri aktif dengan ID uniknya.
awaitAnyTermination(timeout)	Menunggu hingga kueri aktif berakhir, atau hingga batas waktu habis berakhir.
resetTerminated()	Lupakan kueri yang dihentikan sebelumnya sehingga awaitAnyTermination() dapat digunakan lagi untuk menunggu penghentian baru.
addListener(listener)	StreamingQueryListener Mendaftarkan untuk menerima panggilan balik peristiwa siklus hidup.
removeListener(listener)	Membatalkan pendaftaran StreamingQueryListener.

Examples

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()