csv (DataStreamReader)

Memuat aliran file CSV dan mengembalikan hasilnya sebagai DataFrame. Jika inferSchema diaktifkan, fungsi melewati input sekali untuk menentukan skema. Untuk menghindari pass ini, nonaktifkan inferSchema atau tentukan skema secara eksplisit menggunakan schema.

Sintaksis

csv(path, schema=None, **options)

Parameter-parameternya

Parameter	Tipe	Deskripsi
path	str	Jalur untuk input CSV.
schema	StructType atau str, opsional	Skema sebagai string berformat StructType atau DDL (misalnya, col0 INT, col1 DOUBLE).

Pengembalian Barang

DataFrame

Examples

Muat aliran dari file CSV sementara:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()