toArrow

Возвращает содержимое этого кадра данных в виде PyArrow pyarrow.Table.

Добавлено в Databricks Runtime 15.3

Синтаксис

toArrow()

Возвраты

pyarrow.Table

Примечания

Этот метод следует использовать только в том случае, если результирующий PyArrow pyarrow.Table должен быть небольшим, так как все данные загружаются в память драйвера.

Это доступно только в том случае, если pyArrow установлен и доступен.

Этот API является API разработчика.

Примеры

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]