partisi (DataSourceReader)

Mengembalikan urutan partisi untuk sumber data ini.

Partisi digunakan untuk membagi operasi pembacaan data menjadi tugas paralel. Jika metode ini mengembalikan partisi N, perencana kueri akan membuat tugas N. Setiap tugas akan dijalankan read() secara paralel, menggunakan nilai partisi masing-masing untuk membaca data.

Metode ini dipanggil sekali selama perencanaan kueri. Secara default, ini mengembalikan satu partisi dengan nilai None. Subkelas dapat mengambil alih metode ini untuk mengembalikan beberapa partisi.

Disarankan untuk mengambil alih metode ini untuk performa yang lebih baik saat membaca himpunan data besar.

Sintaksis

partitions()

Pengembalian Barang

Sequence[InputPartition]

Urutan partisi untuk sumber data ini. Setiap nilai partisi harus berupa instans InputPartition atau subkelasnya.

Catatan

Semua nilai partisi harus berupa objek yang dapat dipilih.

Examples

Mengembalikan daftar bilangan bulat:

def partitions(self):
    return [InputPartition(1), InputPartition(2), InputPartition(3)]

Mengembalikan daftar string:

def partitions(self):
    return [InputPartition("a"), InputPartition("b"), InputPartition("c")]

Mengembalikan daftar rentang:

class RangeInputPartition(InputPartition):
    def __init__(self, start, end):
        self.start = start
        self.end = end

def partitions(self):
    return [RangeInputPartition(1, 3), RangeInputPartition(5, 10)]