StreamingQueryManager

Spravuje všechny aktivní StreamingQuery instance přidružené k .SparkSession Používá spark.streams se pro přístup k tomuto.

Syntaxe

# Access through SparkSession
spark.streams

Vlastnosti

Vlastnictví	Description
active	Vrátí seznam všech aktivních dotazů streamování přidružených k tomuto SparkSession.

Methods

Metoda	Description
get(id)	Vrátí aktivní dotaz podle jeho jedinečného ID.
awaitAnyTermination(timeout)	Čeká na ukončení aktivního dotazu nebo do vypršení časového limitu.
resetTerminated()	Zapomene dříve ukončené dotazy, awaitAnyTermination() aby bylo možné je znovu použít k čekání na nové ukončení.
addListener(listener)	Zaregistruje StreamingQueryListener zpětné volání událostí životního cyklu.
removeListener(listener)	Deregisters a StreamingQueryListener.

Příklady

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()