StreamingQuery

Identificador de una consulta que se ejecuta continuamente en segundo plano a medida que llegan nuevos datos. Todos los métodos son seguros para subprocesos.

Sintaxis

# Returned by DataStreamWriter.start() or DataStreamWriter.toTable()
q = df.writeStream.format("console").start()

Propiedades

Propiedad	Descripción
id	Devuelve el identificador único de esta consulta que persiste en los reinicios de los datos de punto de control.
runId	Devuelve el identificador único de esta consulta que no persiste en los reinicios.
name	Devuelve el nombre especificado por el usuario de la consulta, o None si no se especifica.
isActive	Devuelve si esta consulta de streaming está activa actualmente.
status	Devuelve el estado actual de la consulta como un dict.
recentProgress	Devuelve una matriz de las actualizaciones más recientes StreamingQueryProgress de esta consulta.
lastProgress	Devuelve la actualización más reciente StreamingQueryProgress o None si no se han producido actualizaciones.

Methods

Método	Descripción
awaitTermination(timeout)	Espera la finalización de esta consulta, ya sea por stop() o por una excepción.
processAllAvailable()	Bloquea hasta que todos los datos disponibles del origen se hayan procesado y confirmado en el receptor. Está destinado para las pruebas.
stop()	Detiene esta consulta de streaming.
explain(extended)	Imprime los planes (lógicos y físicos) en la consola para la depuración.
exception()	StreamingQueryException Devuelve si la consulta finalizó con una excepción o None.

Ejemplos

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sq.isActive
# True
sq.name
# 'this_query'
sq.awaitTermination(5)
# False
sq.stop()
sq.isActive
# False