Публикация данных из разностных динамических таблиц в хранилище метаданных Hive
Вы можете сделать выходные данные конвейера обнаруживаемыми и доступными для запроса, публикуя наборы данных в хранилище метаданных Hive. Чтобы опубликовать наборы данных в хранилище метаданных, введите имя схемы в поле Target при создании конвейера. Вы также можете добавить целевую базу данных в существующий конвейер.
По умолчанию все таблицы и представления, созданные в разностных динамических таблицах, являются локальными для конвейера. Необходимо опубликовать таблицы в целевой схеме для запроса или использования наборов данных Delta Live Tables за пределами конвейера, в котором они объявлены.
Сведения о публикации таблиц из конвейеров в каталоге Unity см. в статье Использование Unity Catalog с конвейерами Delta Live Tables.
Публикация наборов данных Delta Live Tables в схеме
Вы можете объявить целевую схему для всех таблиц в конвейере Delta Live Tables с помощью поля целевой схемы в параметрах конвейера и создании пользовательских интерфейсов конвейера.
Можно также указать схему в конфигурации JSON, задав target
значение.
Для публикации результатов в целевой схеме необходимо выполнить обновление конвейера.
Эту функцию можно использовать с несколькими конфигурациями среды для публикации в разных схемах в зависимости от среды. Например, можно опубликовать схему для разработки dev
и prod
схемы для рабочих данных.
Как запрашивать наборы данных в разностных динамических таблицах
После завершения обновления можно просмотреть схему и таблицы, запросить данные или использовать их в подчиненных приложениях.
После публикации таблицы Delta Live Tables можно запрашивать из любой среды с доступом к целевой схеме. Сюда входят конвейеры Databricks SQL, записных книжек и других конвейеров Разностных динамических таблиц.
Внимание
При создании конфигурации target
публикуются только таблицы и связанные метаданные. Представления в хранилище метаданных не публикуются.
Исключение таблиц из целевой схемы
Если необходимо вычислить промежуточные таблицы, которые не предназначены для внешнего потребления, их можно предотвратить публикацию в схеме с помощью TEMPORARY
ключевое слово. Временные таблицы по-прежнему хранят и обрабатывают данные в соответствии с семантикой разностных динамических таблиц, но не должны быть доступны за пределами текущего конвейера. Временная таблица сохраняется в течение всего времени существования конвейера, создающего его. Используйте следующий синтаксис для объявления временных таблиц:
SQL
CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;
Python
@dlt.table(
temporary=True)
def temp_table():
return ("...")
Обратная связь
https://aka.ms/ContentUserFeedback.
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделеОтправить и просмотреть отзыв по