параметры (DataStreamReader)

Добавляет несколько вариантов ввода для базового источника данных.

Доступные параметры см. в разделе "Параметры DataStreamReader".

Синтаксис

options(**options)

Параметры

Параметр	Тип	Описание
**options	Дикт	Пары "ключ-значение" параметров.

Возвраты

DataStreamReader

Примеры

spark.readStream.options(x="1", y=2)
# <...streaming.readwriter.DataStreamReader object ...>

Укажите параметры в виде словаря:

spark.readStream.options(**{"k1": "v1", "k2": "v2"})
# <...streaming.readwriter.DataStreamReader object ...>

Создайте 10 строк в секунду с 10 секциями с помощью источника частоты:

import time
q = spark.readStream.format("rate").options(
    rowsPerSecond=10, numPartitions=10
).load().writeStream.format("console").start()
time.sleep(3)
q.stop()