Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Analyzuje řetězec CSV a odvodí jeho schéma ve formátu DDL.
Syntaxe
from pyspark.sql import functions as sf
sf.schema_of_csv(csv, options=None)
Parametry
| Parameter | Typ | Description |
|---|---|---|
csv |
pyspark.sql.Column nebo str |
Řetězec CSV nebo skládací řetězec obsahující řetězec CSV. |
options |
diktování, volitelné | Možnosti pro kontrolu analýzy Přijímá stejné možnosti jako zdroj dat CSV. |
Návraty
pyspark.sql.Column: Řetězcové znázornění StructType parsovaného z daného sdíleného svazku clusteru.
Examples
Příklad 1: Odvození schématu řetězce CSV s různými datovými typy
from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('1|a|true'), {'sep':'|'})).show(truncate=False)
+-------------------------------------------+
|schema_of_csv(1|a|true) |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+
Příklad 2: Odvození schématu řetězce CSV s chybějícími hodnotami
from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('1||true'), {'sep':'|'})).show(truncate=False)
+-------------------------------------------+
|schema_of_csv(1||true) |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+
Příklad 3: Odvození schématu řetězce CSV s jiným oddělovačem
from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('1;a;true'), {'sep':';'})).show(truncate=False)
+-------------------------------------------+
|schema_of_csv(1;a;true) |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+
Příklad 4: Odvození schématu řetězce CSV s uvozovými poli
from pyspark.sql import functions as sf
df = spark.range(1)
df.select(sf.schema_of_csv(sf.lit('"1","a","true"'), {'sep':','})).show(truncate=False)
+-------------------------------------------+
|schema_of_csv("1","a","true") |
+-------------------------------------------+
|STRUCT<_c0: INT, _c1: STRING, _c2: BOOLEAN>|
+-------------------------------------------+