toArrow

Bu DataFrame'in içeriğini PyArrow pyarrow.Tableolarak döndürür.

Databricks Runtime 15.3'e eklendi

Sözdizimi

toArrow()

İadeler

pyarrow.Table

Notlar

Bu yöntem yalnızca tüm veriler sürücünün belleğine yüklendiğinden, sonuçta elde edilen PyArrow'un pyarrow.Table küçük olması bekleniyorsa kullanılmalıdır.

Bu yalnızca PyArrow yüklü ve kullanılabilir olduğunda kullanılabilir.

Bu API bir geliştirici API'dir.

Örnekler

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]