секции (DataSourceStreamReader)

Возвращает список объектов, заданных InputPartition смещениями начала и окончания.

Каждый InputPartition представляет разделение данных, которое может обрабатываться одной задачей Spark. При вызове с пустым диапазоном смещения, где start == endэтот метод должен возвращать пустую последовательность.

Добавлено в Databricks Runtime 15.2

Синтаксис

partitions(start: dict, end: dict)

Параметры

Параметр	Тип	Описание
start	Дикт	Начальная смещение микробатча для планирования секционирования.
end	Дикт	Конечное смещение микробатча для планирования секционирования.

Возвраты

Sequence[InputPartition]

Последовательность секций для этого источника данных. Каждое значение секции должно быть экземпляром InputPartition или подклассом.