Учебные материалы по конвейерам Lakeflow

Эти руководства помогут вам получить практический опыт создания конвейеров Lakeflow — от создания первого конвейера до ETL с использованием CDC, геопространственной загрузки данных и пакетов с контролем версий.

Начало работы с конвейерами Lakeflow

Тема	Description
Руководство. Создание конвейера ETL с помощью конвейеров Lakeflow	В этом руководстве показано, как создать и развернуть простой конвейер ETL (извлечение, преобразование и загрузка) для оркестрации данных и автозагрузчика.

Tutorials

Тема	Description
Руководство. Создание первого конвейера с помощью редактора Конвейеров Lakeflow	В этом руководстве описывается создание первого конвейера путем расширения примера кода, созданного с помощью нового конвейера.
Руководство. Создание конвейера ETL с помощью отслеживания измененных данных	В этом руководстве описаны действия по созданию и развертыванию конвейера ETL с записью изменений (CDC) с помощью конвейеров Lakeflow для оркестрации данных и автозагрузчика.
ETL в Databricks SQL	В этом руководстве описывается создание добавочного конвейера ETL в Databricks SQL с помощью потоковых таблиц AUTO CDCи материализованных представлений.
Руководство. Создание геопространственного конвейера с использованием собственных пространственных типов	В этом руководстве описывается создание геопространственного конвейера, который выполняет прием данных GPS, преобразует координаты в собственные пространственные типы и присоединяется к геозонам хранилища с помощью конвейеров Lakeflow и автозагрузчика.
Создание конвейера, управляемого источником	В этом руководстве показано, как создать управляемый источником конвейер с помощью декларативных пакетов автоматизации и папок Git.
Преобразование конвейера в проект пакета	В этом руководстве показано, как преобразовать существующий конвейер в проект декларативных пакетов автоматизации, чтобы упростить обслуживание и автоматическое развертывание в целевых средах.