toArrow

Devuelve el contenido de este DataFrame como PyArrow pyarrow.Table.

Agregado en Databricks Runtime 15.3

Sintaxis

toArrow()

Devoluciones

pyarrow.Table

Notas

Este método solo se debe usar si se espera que pyArrow pyarrow.Table resultante sea pequeño, ya que todos los datos se cargan en la memoria del controlador.

Esto solo está disponible si PyArrow está instalado y disponible.

Esta API es una API para desarrolladores.

Ejemplos

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]