架构

指定输入架构。 某些数据源(如 JSON)可以从数据中自动推断输入架构。 通过在此处指定架构,基础数据源可以跳过架构推理步骤,从而加快数据加载速度。

Syntax

schema(schema)

参数

参数 类型 说明
schema StructType 或 str 对象 StructType 或 DDL 格式的字符串(例如 'col0 INT, col1 DOUBLE')。

退货

DataFrameReader

示例

读取 CSV 文件时指定架构。

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: double (nullable = true)