input_file_block_start

Возвращает начальное смещение считываемого блока или -1, если смещение недоступно.

Синтаксис

from pyspark.sql import functions as sf

sf.input_file_block_start()

Примеры

Пример 1. Получение смещения запуска блока входных файлов

from pyspark.sql import functions as sf
df = spark.read.text("python/test_support/sql/ages_newlines.csv", lineSep=",")
df.select(sf.input_file_block_start()).show()

+------------------------+
|input_file_block_start()|
+------------------------+
|                       0|
|                       0|
|                       0|
|                       0|
|                       0|
|                       0|
|                       0|
|                       0|
+------------------------+