temporäre Ansicht

Um eine Ansicht in einer Pipeline mit Python zu definieren, wenden Sie den @temporary_view Dekorateur an, und verweisen Sie dann in anderen Abfragen auf Ansichten nach Namen, einschließlich materialisierter Ansichten und Streamingtabellen. Die Ergebnisse der Ansicht werden beim Abfragen berechnet.

Hinweis

Das ältere dlt Modul verwendete den @view Dekorateur, um eine temporäre Ansicht zu definieren. Databricks empfiehlt die Verwendung des pyspark.pipelines Moduls (importiert als dp) und des @temporary_view Dekorators zum Definieren temporärer Ansichten.

Syntax

from pyspark import pipelines as dp

@dp.temporary_view(
  name="<name>",
  comment="<comment>")
@dp.expect(...)
def <function-name>():
    return (<query>)

Die Parameter

Parameter	Typ	Description
Funktion	function	Erforderlich. Eine Funktion, die einen Apache Spark DataFrame zurückgibt oder DataFrame aus einer benutzerdefinierten Abfrage streamt.
name	str	Der Name der Ansicht. Wenn nicht angegeben, wird standardmäßig der Funktionsname verwendet. Der Name muss innerhalb des Katalogs und schemas eindeutig sein, das von der Pipeline bestimmt ist.
comment	str	Eine Beschreibung für die Tabelle.