InputPartition

一个基类,表示由 partitions() 方法返回的 DataSourceReader输入分区。

在 Databricks Runtime 14.3 LTS 中添加

Syntax

InputPartition(value)

参数

参数 类型 说明
value 任意 标识此分区的值。

备注

此类必须是可选取的。

示例

使用默认输入分区实现:

def partitions(self):
    return [InputPartition(1)]

输入分区类的子类:

from dataclasses import dataclass

@dataclass
class RangeInputPartition(InputPartition):
    start: int
    end: int

def partitions(self):
    return [RangeInputPartition(1, 3), RangeInputPartition(4, 6)]