Zapytanie przesyłania strumieniowego

Dojście do zapytania, które jest wykonywane stale w tle w miarę nadejścia nowych danych. Wszystkie metody są bezpieczne wątkowo.

Składnia

# Returned by DataStreamWriter.start() or DataStreamWriter.toTable()
q = df.writeStream.format("console").start()

Właściwości

Majątek	Opis
id	Zwraca unikatowy identyfikator tego zapytania, który utrzymuje się po ponownym uruchomieniu z danych punktu kontrolnego.
runId	Zwraca unikatowy identyfikator tego zapytania, który nie jest utrwalany podczas ponownych uruchomień.
name	Zwraca określoną przez użytkownika nazwę zapytania lub None jeśli nie zostanie określona.
isActive	Zwraca, czy to zapytanie przesyłane strumieniowo jest obecnie aktywne.
status	Zwraca bieżący stan zapytania jako dykt.
recentProgress	Zwraca tablicę najnowszych StreamingQueryProgress aktualizacji dla tego zapytania.
lastProgress	Zwraca najnowszą StreamingQueryProgress aktualizację lub None jeśli nie było żadnych aktualizacji.

Methods

Metoda	Opis
awaitTermination(timeout)	Czeka na zakończenie tego zapytania przez stop() wyjątek lub przez wyjątek.
processAllAvailable()	Blokuje, dopóki wszystkie dostępne dane w źródle nie zostały przetworzone i zatwierdzone do ujścia. Przeznaczony do testowania.
stop()	Zatrzymuje to zapytanie przesyłane strumieniowo.
explain(extended)	Drukuje plany (logiczne i fizyczne) w konsoli na potrzeby debugowania.
exception()	StreamingQueryException Zwraca wartość , jeśli zapytanie zostało zakończone z wyjątkiem lub None.

Examples

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sq.isActive
# True
sq.name
# 'this_query'
sq.awaitTermination(5)
# False
sq.stop()
sq.isActive
# False