DataFrame을 브로드캐스트 조인에 사용할 수 있을 만큼 작게 표시합니다. Spark Connect를 지원합니다.
문법
from pyspark.databricks.sql import functions as dbf
dbf.broadcast(df=<df>)
매개 변수
| 매개 변수 | 유형 | Description |
|---|---|---|
df |
pyspark.sql.DataFrame |
브로드캐스트 조인 준비가 된 것으로 표시할 데이터 프레임입니다. |
Returns
pyspark.sql.DataFrame: 브로드캐스트 조인 준비가 된 것으로 표시된 데이터 프레임입니다.
예시
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([1, 2, 3, 3, 4], "int")
df_small = spark.range(3)
df_b = dbf.broadcast(df_small)
df.join(df_b, df.value == df_small.id).show()
+-----+---+
|value| id|
+-----+---+
| 1| 1|
| 2| 2|
+-----+---+