jdbc (DataFrameReader)

构造一个 DataFrame 表示可通过 JDBC URL url访问的数据库表。 如果已指定或column指定,predicates则并行检索表的分区。 如果同时 column 指定并 predicates 已指定, column 则优先。

Syntax

jdbc(url, table, column=None, lowerBound=None, upperBound=None,
     numPartitions=None, predicates=None, properties=None)

参数

参数 类型 说明
url str 窗体 jdbc:subprotocol:subname的 JDBC URL。
table str 外部数据库中表的名称。
column str,可选 要用于分区的列(选项的 partitionColumn 别名)。 需要 lowerBoundupperBoundnumPartitions
lowerBound int 或 str,可选 分区的 column 最小值。 指定时 column 是必需的。
upperBound int 或 str,可选 分区的最大值 column 。 指定时 column 是必需的。
numPartitions int,可选 分区数。 指定时 column 是必需的。
predicates 列表,可选 子句表达式的列表 WHERE ,每个表达式定义一 DataFrame个分区。 如果 column 指定,则忽略。
properties dict,可选 JDBC 连接参数,通常包括 'user''password'。 例如,{'user': 'SYSTEM', 'password': 'mypassword'}

退货

DataFrame

备注

避免在大型群集上并行创建过多分区,因为这样可能会使外部数据库系统崩溃。