vista temporanea

Per definire una vista in una pipeline con Python, applicare l'elemento @temporary_view decorator, quindi fare riferimento alle viste per nome in altre query, incluse le viste materializzate e le tabelle di streaming. I risultati della vista vengono calcolati quando viene eseguita una query.

Annotazioni

Il modulo precedente dlt usava il decoratore @view per definire una visualizzazione temporanea. Databricks consiglia di usare il pyspark.pipelines modulo (importato come dp) e l'elemento @temporary_view Decorator per definire le visualizzazioni temporanee.

Sintassi

from pyspark import pipelines as dp

@dp.temporary_view(
  name="<name>",
  comment="<comment>")
@dp.expect(...)
def <function-name>():
    return (<query>)

Parametri

Parametro	TIPO	Description
funzione	function	Obbligatorio. Funzione che restituisce un dataframe Apache Spark o un dataframe di streaming da una query definita dall'utente.
name	str	Nome della visualizzazione. Se non specificato, per impostazione predefinita viene impostato il nome della funzione. Il nome deve essere univoco all'interno del catalogo e dello schema di destinazione della pipeline.
comment	str	Descrizione della tabella.