temporary_view

Чтобы определить представление в конвейере с помощью Python, примените декоратор @temporary_view, а затем ссылаться на представления по имени в других запросах, включая материализованные представления и потоковые таблицы. Результаты представления вычисляются при запросе.

Замечание

Старый модуль dlt использовал декоратор @view для определения временного представления. Databricks рекомендует использовать pyspark.pipelines модуль (импортированный как dp) и @temporary_view декоратор для определения временных представлений.

Синтаксис

from pyspark import pipelines as dp

@dp.temporary_view(
  name="<name>",
  comment="<comment>")
@dp.expect(...)
def <function-name>():
    return (<query>)

Параметры

Параметр	Тип	Description
функция	function	Обязательное. Функция, которая возвращает кадр данных Apache Spark или потоковый кадр данных из определяемого пользователем запроса.
name	str	Имя представления. Если этот параметр не указан, по умолчанию используется имя функции. Имя должно быть уникальным в каталоге и схеме, предназначенных для конвейера.
comment	str	Описание таблицы.