oddíly (DataSourceReader)

Vrátí posloupnost oddílů pro tento zdroj dat.

Oddíly slouží k rozdělení operací čtení dat do paralelních úloh. Pokud tato metoda vrátí N oddíly, plánovač dotazů vytvoří N úkoly. Každý úkol se provede read() paralelně s použitím příslušné hodnoty oddílu ke čtení dat.

Tato metoda se volá jednou během přípravy dotazu. Ve výchozím nastavení vrátí jeden oddíl s hodnotou None. Podtřídy mohou tuto metodu přepsat tak, aby vracely více oddílů.

Při čtení velkých datových sad se doporučuje tuto metodu přepsat, aby se zlepšil výkon.

Syntaxe

partitions()

Návraty

Sequence[InputPartition]

Posloupnost oddílů pro tento zdroj dat. Každá hodnota oddílu musí být instancí InputPartition nebo podtřídou oddílu.

Poznámky

Všechny hodnoty oddílů musí být vybratelné objekty.

Příklady

Vrátí seznam celých čísel:

def partitions(self):
    return [InputPartition(1), InputPartition(2), InputPartition(3)]

Vrátí seznam řetězců:

def partitions(self):
    return [InputPartition("a"), InputPartition("b"), InputPartition("c")]

Vrátí seznam oblastí:

class RangeInputPartition(InputPartition):
    def __init__(self, start, end):
        self.start = start
        self.end = end

def partitions(self):
    return [RangeInputPartition(1, 3), RangeInputPartition(5, 10)]