StreamingQueryManager

Zarządza wszystkimi aktywnymi StreamingQuery wystąpieniami skojarzonymi z elementem SparkSession. Użyj spark.streams polecenia , aby uzyskać dostęp do tego.

Składnia

# Access through SparkSession
spark.streams

Właściwości

Majątek	Opis
active	Zwraca listę wszystkich aktywnych zapytań przesyłania strumieniowego skojarzonych z tym SparkSessionelementem .

Methods

Metoda	Opis
get(id)	Zwraca aktywne zapytanie według jego unikatowego identyfikatora.
awaitAnyTermination(timeout)	Czeka na zakończenie jakichkolwiek aktywnych zapytań lub do momentu wygaśnięcia limitu czasu.
resetTerminated()	Zapomina o poprzednich zakończonych zapytaniach, aby awaitAnyTermination() można było ponownie użyć do oczekiwania na nowe zakończenia.
addListener(listener)	Rejestruje obiekt w StreamingQueryListener celu odbierania wywołań zwrotnych zdarzeń cyklu życia.
removeListener(listener)	Deregisters a StreamingQueryListener.

Examples

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()