toPandas

Devuelve el contenido de este DataFrame como Pandas pandas.DataFrame.

Sintaxis

toPandas()

Devoluciones

pandas.DataFrame

Notas

Este método solo se debe usar si se espera que los Pandas resultantes sean pequeños pandas.DataFrame , ya que todos los datos se cargan en la memoria del controlador.

El uso con spark.sql.execution.arrow.pyspark.enabled=True es experimental.

Esto solo está disponible si Pandas está instalado y disponible.

Ejemplos

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.toPandas()
#    age   name
# 0    2  Alice
# 1    5    Bob