text (DataFrameReader)

Carga archivos de texto y devuelve un DataFrame cuyo esquema comienza con una columna de cadena denominada value, seguida de columnas con particiones si hay alguna presente. Los archivos de texto se deben codificar como UTF-8. De forma predeterminada, cada línea del archivo de texto es una nueva fila en el dataframe resultante.

Sintaxis

text(paths, wholetext=False, lineSep=None, **options)

Parámetros

Parámetro	Tipo	Descripción
paths	str o list	Una o varias rutas de acceso de entrada.
wholetext	bool, opcional	Si Truees , lea cada archivo como una sola fila. El valor predeterminado es False.
lineSep	str, opcional	Separador de línea que se va a usar. El valor predeterminado es '\n', '\r'o '\r\n'.

Devoluciones

DataFrame

Ejemplos

Escriba un DataFrame en un archivo de texto y vuelva a leerlo.

import tempfile
with tempfile.TemporaryDirectory(prefix="text") as d:
    df = spark.createDataFrame([("a",), ("b",), ("c",)], schema=["alphabets"])
    df.write.mode("overwrite").format("text").save(d)

    spark.read.schema(df.schema).text(d).sort("alphabets").show()
    # +---------+
    # |alphabets|
    # +---------+
    # |        a|
    # |        b|
    # |        c|
    # +---------+