若要使用 Python 在管線中定義檢視,請套用 @temporary_view 裝飾器,然後在其他查詢中依名稱參考檢視,包括具體化檢視和串流資料表。 查詢時會計算檢視結果。
備註
較舊的dlt模組使用@view裝飾器來定義臨時視圖。 Databricks 建議使用 pyspark.pipelines 模組 (匯入為 dp) 和 @temporary_view 裝飾器來定義暫存檢視。
語法
from pyspark import pipelines as dp
@dp.temporary_view(
name="<name>",
comment="<comment>")
@dp.expect(...)
def <function-name>():
return (<query>)
參數
| 參數 | 類型 | Description |
|---|---|---|
| 函數 | function |
必須的。 從使用者定義的查詢傳回 Apache Spark DataFrame 或串流 DataFrame 的函式。 |
name |
str |
檢視名稱。 如果未提供,則預設為函式名稱。 名稱在管道所針對的目錄和結構描述中必須是唯一的。 |
comment |
str |
數據表的描述。 |