inputFiles

A DataFrame-et alkotó fájlok részletes pillanatképét adja vissza. Ez a módszer egyszerűen megkérdezi az egyes összetevők BaseRelation a megfelelő fájlokat, és veszi az összes eredmény egyesítését. A forráskapcsolatoktól függően előfordulhat, hogy ez nem minden bemeneti fájlt tartalmaz. A rendszer eltávolítja az ismétlődéseket.

Szemantika

inputFiles()

Visszatérítések

lista: A fájlelérési utak listája.

Examples

import os
import tempfile
with tempfile.TemporaryDirectory(prefix="inputFiles") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).repartition(1).write.json(d, mode="overwrite")

    df = spark.read.format("json").load(d)

    if os.environ.get('PYTEST_DBCONNECT_MODE') is None:
        len(df.inputFiles())
    else:
        1  # dbconnect doesn't support inputFiles.
# 1