recentProgress (StreamingQuery)

Возвращает массив последних StreamingQueryProgress обновлений для этого запроса. Количество сохраненных обновлений хода выполнения настраивается.spark.sql.streaming.numRecentProgressUpdates

Возвраты

list of StreamingQueryProgress

Примеры

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sq.recentProgress
# [...]
sq.stop()