schema_of_json

Анализирует строку JSON и выводит ее схему в формате DDL.

Синтаксис

from pyspark.sql import functions as sf

sf.schema_of_json(json, options=None)

Параметры

Параметр	Тип	Description
json	pyspark.sql.Column или str	Строка JSON или свертываемый строковый столбец, содержащий строку JSON.
options	дикт, необязательный	Параметры для управления синтаксический анализ. Принимает те же параметры, что и источник данных JSON.

Возвраты

pyspark.sql.Column: строковое представление синтаксического анализа из заданного StructType JSON.

Примеры

import pyspark.sql.functions as sf
parsed1 = sf.schema_of_json(sf.lit('{"a": 0}'))
parsed2 = sf.schema_of_json('{a: 1}', {'allowUnquotedFieldNames':'true'})
spark.range(1).select(parsed1, parsed2).show()

+------------------------+----------------------+
|schema_of_json({"a": 0})|schema_of_json({a: 1})|
+------------------------+----------------------+
|       STRUCT<a: BIGINT>|     STRUCT<a: BIGINT>|
+------------------------+----------------------+