vista temporária

Para definir uma vista em um pipeline com Python, aplique o decorador @temporary_view e, em seguida, faça referência às vistas por nome em outras consultas, incluindo vistas materializadas e tabelas de streaming. Os resultados da visualização são calculados quando consultados.

Observação

O módulo mais antigo dlt usava o @view decorador para definir uma vista temporária. A Databricks recomenda o uso do módulo pyspark.pipelines (importado como dp) e do decorador @temporary_view para definir vistas temporárias.

Sintaxe

from pyspark import pipelines as dp

@dp.temporary_view(
  name="<name>",
  comment="<comment>")
@dp.expect(...)
def <function-name>():
    return (<query>)

Parâmetros

Parâmetro	Tipo	Description
função	function	Required. Uma função que retorna um DataFrame de Apache Spark ou um DataFrame em streaming a partir de uma consulta de utilizador definida.
name	str	O nome do modo de exibição. Se não for fornecido, o padrão será o nome da função. O nome deve ser exclusivo dentro do catálogo e do esquema alvo do pipeline.
comment	str	Uma descrição para a tabela.