schema_of_csv

Mengurai string CSV dan menyimpulkan skemanya dalam format DDL.

Syntax

from pyspark.sql import functions as sf

sf.schema_of_csv(csv, options=None)

Parameter-parameternya

Pengaturan	Tipe	Description
csv	pyspark.sql.Column atau str	String CSV atau kolom string yang dapat dilipat yang berisi string CSV.
options	dict, opsional	Opsi untuk mengontrol penguraian. Menerima opsi yang sama dengan sumber data CSV.

Pengembalian Barang

pyspark.sql.Column: Representasi string dari yang StructType diurai dari CSV yang diberikan.

Examples

Contoh 1: Menyimpulkan skema string CSV dengan jenis data yang berbeda

from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('1|a|true'), {'sep':'|'})).show(truncate=False)

+-------------------------------------------+
|schema_of_csv(1|a|true)                    |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+

Contoh 2: Menyimpulkan skema string CSV dengan nilai yang hilang

from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('1||true'), {'sep':'|'})).show(truncate=False)

+-------------------------------------------+
|schema_of_csv(1||true)                     |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+

Contoh 3: Menyimpulkan skema string CSV dengan pemisah yang berbeda

from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('1;a;true'), {'sep':';'})).show(truncate=False)

+-------------------------------------------+
|schema_of_csv(1;a;true)                    |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+

Contoh 4: Menyimpulkan skema string CSV dengan bidang yang dikutip

from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('"1","a","true"'), {'sep':','})).show(truncate=False)

+-------------------------------------------+
|schema_of_csv("1","a","true")              |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+