initialOffset (SimpleDataSourceStreamReader)

Возвращает начальное смещение источника данных потоковой передачи.

Новый запрос потоковой передачи начинает считывать данные из начального смещения. Если Spark перезапускает существующий запрос, он перезапустится из смещения контрольных точек, а не из исходного.

Добавлено в Databricks Runtime 15.3

Синтаксис

initialOffset()

Возвраты

dict

Дикт или рекурсивный дикт, ключ и значение которого являются примитивными типами, которые включают целочисленное, строковое и логическое значение.

Примеры

def initialOffset(self):
    return {"partition-1": {"index": 3, "closed": True}, "partition-2": {"index": 5}}