zstd_compress

Mengembalikan nilai expr terkompresi menggunakan Zstandard dengan tingkat kompresi yang ditentukan. Tingkat defaultnya adalah 3. Menggunakan mode akses menyeluruh secara default.

Syntax

from pyspark.sql import functions as dbf

dbf.zstd_compress(input=<input>, level=<level>, streaming_mode=<streaming_mode>)

Parameter-parameternya

Pengaturan	Tipe	Description
input	pyspark.sql.Column atau str	Nilai biner untuk dikompresi.
level	pyspark.sql.Column atau int, opsional	Argumen bilangan bulat opsional yang mewakili tingkat pemadatan. Tingkat kompresi mengontrol trade-off antara kecepatan kompresi dan rasio kompresi. Nilai yang valid: antara 1 dan 22 inklusif, di mana 1 berarti rasio kompresi tercepat tetapi terendah, dan 22 berarti rasio kompresi terlambat tetapi tertinggi. Tingkat default adalah 3 jika tidak ditentukan.
streaming_mode	pyspark.sql.Column atau bool, opsional	Argumen boolean opsional yang mewakili apakah akan menggunakan mode streaming. Jika true, fungsi akan memadatkan dalam mode streaming. Nilai defaultnya adalah false.

Pengembalian Barang

pyspark.sql.Column: Kolom baru yang berisi nilai terkompresi.

Examples

Contoh 1: Memadatkan data menggunakan Zstandard

from pyspark.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input)).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Contoh 2: Memadatkan data menggunakan Zstandard dengan tingkat kompresi yang diberikan

from pyspark.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(5))).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Contoh 3: Memadatkan data menggunakan Zstandard dalam mode streaming

from pyspark.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(3), dbf.lit(True))).alias("result")).show(truncate=False)

+--------------------------------------------+
|result                                      |
+--------------------------------------------+
|KLUv/QBYpAAAaEFwYWNoZSBTcGFyayABABLS+QUBAAA=|
+--------------------------------------------+