zstd_compress

Retourneert een gecomprimeerde waarde van expr met behulp van Zstandard met het opgegeven compressieniveau. Het standaardniveau is 3. Maakt standaard gebruik van de modus voor één wachtwoord.

Syntaxis

from pyspark.databricks.sql import functions as dbf

dbf.zstd_compress(input=<input>, level=<level>, streaming_mode=<streaming_mode>)

Parameterwaarden

Kenmerk	Typologie	Description
input	pyspark.sql.Column of str	De binaire waarde die moet worden gecomprimeerd.
level	pyspark.sql.Column of int, optioneel	Optioneel argument voor gehele getallen dat het compressieniveau vertegenwoordigt. Het compressieniveau bepaalt de compressiesnelheid en de compressieverhouding. Geldige waarden: tussen 1 en 22 inclusief, waarbij 1 de snelste maar laagste compressieverhouding betekent, en 22 betekent het langzaamste maar hoogste compressieverhouding. Het standaardniveau is 3 als dit niet is opgegeven.
streaming_mode	pyspark.sql.Column of bool, optioneel	Optioneel booleaanse argument dat aangeeft of de streamingmodus moet worden gebruikt. Indien waar, wordt de functie gecomprimeerd in de streamingmodus. De standaardwaarde is onwaar.

Retouren

pyspark.sql.Column: Een nieuwe kolom die een gecomprimeerde waarde bevat.

Voorbeelden

Voorbeeld 1: Gegevens comprimeren met Zstandard

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input)).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Voorbeeld 2: Gegevens comprimeren met Zstandard met een bepaald compressieniveau

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(5))).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Voorbeeld 3: Gegevens comprimeren met Zstandard in de streamingmodus

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(3), dbf.lit(True))).alias("result")).show(truncate=False)

+--------------------------------------------+
|result                                      |
+--------------------------------------------+
|KLUv/QBYpAAAaEFwYWNoZSBTcGFyayABABLS+QUBAAA=|
+--------------------------------------------+