inputFiles

Devuelve una instantánea de mejor esfuerzo de los archivos que componen este DataFrame. Este método simplemente solicita a cada BaseRelation constituyente sus respectivos archivos y toma la unión de todos los resultados. Dependiendo de las relaciones de origen, es posible que esto no encuentre todos los archivos de entrada. Se quitan los duplicados.

Sintaxis

inputFiles()

Devoluciones

list: lista de rutas de acceso de archivo.

Ejemplos

import os
import tempfile
with tempfile.TemporaryDirectory(prefix="inputFiles") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).repartition(1).write.json(d, mode="overwrite")

    df = spark.read.format("json").load(d)

    if os.environ.get('PYTEST_DBCONNECT_MODE') is None:
        len(df.inputFiles())
    else:
        1  # dbconnect doesn't support inputFiles.
# 1