секции (DataSourceReader)

Возвращает последовательность секций для этого источника данных.

Секции используются для разделения операций чтения данных на параллельные задачи. Если этот метод возвращает N секций, планировщик запросов создаст задачи N. Каждая задача будет выполняться read() параллельно, используя соответствующее значение секции для чтения данных.

Этот метод вызывается один раз во время планирования запросов. По умолчанию возвращается одна секция со значением None. Подклассы могут переопределить этот метод для возврата нескольких секций.

Рекомендуется переопределить этот метод для повышения производительности при чтении больших наборов данных.

Синтаксис

partitions()

Возвраты

Sequence[InputPartition]

Последовательность секций для этого источника данных. Каждое значение секции должно быть экземпляром InputPartition или подклассом.

Примечания

Все значения секций должны быть выбранными объектами.

Примеры

Возвращает список целых чисел:

def partitions(self):
    return [InputPartition(1), InputPartition(2), InputPartition(3)]

Возвращает список строк:

def partitions(self):
    return [InputPartition("a"), InputPartition("b"), InputPartition("c")]

Возвращает список диапазонов:

class RangeInputPartition(InputPartition):
    def __init__(self, start, end):
        self.start = start
        self.end = end

def partitions(self):
    return [RangeInputPartition(1, 3), RangeInputPartition(5, 10)]