to_json

Konwertuje kolumnę zawierającą StructTypeciąg w formacie , ArrayTypeMapType lub na VariantType ciąg JSON. Zgłasza wyjątek w przypadku nieobsługiwanego typu.

Składnia

from pyspark.sql import functions as sf

sf.to_json(col, options=None)

Parametry

Parameter	Typ	Description
col	pyspark.sql.Column lub str	Nazwa kolumny zawierającej strukturę, tablicę, mapę lub obiekt wariantu.
options	dict, opcjonalnie	Opcje do kontrolowania konwersji. Akceptuje te same opcje co źródło danych JSON. Ponadto funkcja obsługuje pretty opcję, która umożliwia generowanie dość JSON.

Zwraca

pyspark.sql.Column: obiekt JSON jako kolumna ciągu.

Przykłady

Przykład 1. Konwertowanie kolumny StructType na format JSON

import pyspark.sql.functions as sf
from pyspark.sql import Row
data = [(1, Row(age=2, name='Alice'))]
df = spark.createDataFrame(data, ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+------------------------+
|json                    |
+------------------------+
|{"age":2,"name":"Alice"}|
+------------------------+

Przykład 2. Konwertowanie kolumny ArrayType na format JSON

import pyspark.sql.functions as sf
from pyspark.sql import Row
data = [(1, [Row(age=2, name='Alice'), Row(age=3, name='Bob')])]
df = spark.createDataFrame(data, ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+-------------------------------------------------+
|json                                             |
+-------------------------------------------------+
|[{"age":2,"name":"Alice"},{"age":3,"name":"Bob"}]|
+-------------------------------------------------+

Przykład 3. Konwertowanie kolumny MapType na dane JSON

import pyspark.sql.functions as sf
df = spark.createDataFrame([(1, {"name": "Alice"})], ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+----------------+
|json            |
+----------------+
|{"name":"Alice"}|
+----------------+

Przykład 4. Konwertowanie kolumny VariantType na format JSON

import pyspark.sql.functions as sf
df = spark.createDataFrame([(1, '{"name": "Alice"}')], ("key", "value"))
df.select(sf.to_json(sf.parse_json(df.value)).alias("json")).show(truncate=False)

+----------------+
|json            |
+----------------+
|{"name":"Alice"}|
+----------------+

Przykład 5. Konwertowanie zagnieżdżonej kolumny MapType na format JSON

import pyspark.sql.functions as sf
df = spark.createDataFrame([(1, [{"name": "Alice"}, {"name": "Bob"}])], ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+---------------------------------+
|json                             |
+---------------------------------+
|[{"name":"Alice"},{"name":"Bob"}]|
+---------------------------------+

Przykład 6. Konwertowanie prostej kolumny ArrayType na format JSON

import pyspark.sql.functions as sf
df = spark.createDataFrame([(1, ["Alice", "Bob"])], ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+---------------+
|json           |
+---------------+
|["Alice","Bob"]|
+---------------+

Przykład 7. Konwertowanie na kod JSON z określonymi opcjami

import pyspark.sql.functions as sf
df = spark.sql("SELECT (DATE('2022-02-22'), 1) AS date")
json1 = sf.to_json(df.date)
json2 = sf.to_json(df.date, {"dateFormat": "yyyy/MM/dd"})
df.select("date", json1, json2).show(truncate=False)

+---------------+------------------------------+------------------------------+
|date           |to_json(date)                 |to_json(date)                 |
+---------------+------------------------------+------------------------------+
|{2022-02-22, 1}|{"col1":"2022-02-22","col2":1}|{"col1":"2022/02/22","col2":1}|
+---------------+------------------------------+------------------------------+