輸入分割

一個基底類別,代表輸入分割,透過 partitions() 的方法 DataSourceReader回傳。

新增於 Databricks Runtime 14.3 LTS

語法

InputPartition(value)

參數

參數 類型 說明
value any 該值識別此分割區。

Notes

這門課必須是可挑剔的。

Examples

使用預設的輸入分割實作:

def partitions(self):
    return [InputPartition(1)]

輸入分割類別的子類:

from dataclasses import dataclass

@dataclass
class RangeInputPartition(InputPartition):
    start: int
    end: int

def partitions(self):
    return [RangeInputPartition(1, 3), RangeInputPartition(4, 6)]