schema_of_json

Parsuje ciąg JSON i określa jego schemat w formacie DDL.

Składnia

from pyspark.sql import functions as sf

sf.schema_of_json(json, options=None)

Parametry

Parameter	Typ	Description
json	pyspark.sql.Column lub str	Ciąg JSON lub składana kolumna ciągu zawierająca ciąg JSON.
options	dict, opcjonalnie	Opcje kontrolowania analizowania. Akceptuje te same opcje co źródło danych JSON.

Zwraca

pyspark.sql.Column: reprezentacja ciągu przeanalizowanego StructType z danego kodu JSON.

Przykłady

import pyspark.sql.functions as sf
parsed1 = sf.schema_of_json(sf.lit('{"a": 0}'))
parsed2 = sf.schema_of_json('{a: 1}', {'allowUnquotedFieldNames':'true'})
spark.range(1).select(parsed1, parsed2).show()

+------------------------+----------------------+
|schema_of_json({"a": 0})|schema_of_json({a: 1})|
+------------------------+----------------------+
|       STRUCT<a: BIGINT>|     STRUCT<a: BIGINT>|
+------------------------+----------------------+