schema (DataStreamReader)

Указывает входную схему. Некоторые источники данных (например, JSON) могут автоматически выводить входную схему из данных. Указание схемы здесь позволяет источнику данных пропускать вывод схемы и ускорить загрузку данных.

Синтаксис

schema(schema)

Параметры

Параметр	Тип	Описание
schema	StructType или str	Объект StructType или строка в формате DDL (например, col0 INT, col1 DOUBLE).

Возвраты

DataStreamReader

Примеры

from pyspark.sql.types import StructField, StructType, StringType
spark.readStream.schema(StructType([StructField("data", StringType(), True)]))
# <...streaming.readwriter.DataStreamReader object ...>
spark.readStream.schema("col0 INT, col1 DOUBLE")
# <...streaming.readwriter.DataStreamReader object ...>

Укажите другую схему ДЛЯ CSV-файла:

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.readStream.schema("col0 INT, col1 STRING").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: string (nullable = true)