zstd_compress

Vrátí komprimovanou hodnotu výrazu pomocí Zstandard se zadanou úrovní komprese. Výchozí úroveň je 3. Ve výchozím nastavení používá režim s jedním průchodem.

Syntaxe

from pyspark.sql import functions as dbf

dbf.zstd_compress(input=<input>, level=<level>, streaming_mode=<streaming_mode>)

Parametry

Parameter	Typ	Description
input	pyspark.sql.Column nebo str	Binární hodnota, kterou chcete komprimovat.
level	pyspark.sql.Column nebo int, volitelné	Volitelný celočíselná hodnota, která představuje úroveň komprese. Úroveň komprese řídí kompromis mezi rychlostí komprese a poměrem komprese. Platné hodnoty: mezi 1 a 22 včetně, kde 1 znamená nejrychlejší, ale nejnižší poměr komprese, a 22 znamená nejpomalejší, ale nejvyšší poměr komprese. Výchozí úroveň je 3, pokud není zadána.
streaming_mode	pyspark.sql.Column nebo bool, volitelné	Volitelný logický argument, který představuje, jestli se má použít režim streamování. Pokud je pravda, funkce se zkomprimuje v režimu streamování. Výchozí hodnota je false.

Návraty

pyspark.sql.Column: Nový sloupec, který obsahuje komprimovanou hodnotu.

Examples

Příklad 1: Komprese dat pomocí Zstandard

from pyspark.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input)).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Příklad 2: Komprese dat pomocí Zstandard s danou úrovní komprese

from pyspark.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(5))).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Příklad 3: Komprese dat pomocí Zstandard v režimu streamování

from pyspark.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(3), dbf.lit(True))).alias("result")).show(truncate=False)

+--------------------------------------------+
|result                                      |
+--------------------------------------------+
|KLUv/QBYpAAAaEFwYWNoZSBTcGFyayABABLS+QUBAAA=|
+--------------------------------------------+