make_valid_utf8

Возвращает новую строку, в которой все недопустимые последовательности байтов UTF-8, если таковые имеются, заменяются символом замены Юникода (U+FFFD).

Для соответствующей функции Databricks SQL смотрите функцию make_valid_utf8.

Синтаксис

from pyspark.databricks.sql import functions as dbf

dbf.make_valid_utf8(str=<str>)

Параметры

Параметр	Тип	Description
str	pyspark.sql.Column или str	Столбец строк, каждый из которых представляет последовательность байтов UTF-8.

Возвраты

pyspark.sql.Column: допустимая версия UTF-8 заданной входной строки.

Примеры

from pyspark.databricks.sql import functions as dbf
spark.range(1).select(dbf.make_valid_utf8(dbf.lit("SparkSQL"))).show()