Руководства по декларативным конвейерам Lakeflow Spark

Руководства, приведенные в этом разделе, помогут вам узнать о SDP. Доступны следующие руководства:

Начало работы с декларативными конвейерами Spark Lakeflow

Тема	Description
Руководство. Создание конвейера ETL с помощью декларативных конвейеров Lakeflow Spark	В этом руководстве показано, как создать и развернуть простой конвейер ETL (извлечение, преобразование и загрузка) для автозагрузчика оркестрации данных.

Tutorials

Тема	Description
Руководство. Создание первого конвейера с помощью редактора Конвейеров Lakeflow	В этом руководстве описывается создание первого конвейера путем расширения примера кода, созданного с помощью нового конвейера.
Руководство. Создание конвейера ETL с помощью отслеживания измененных данных	В этом руководстве описаны шаги по созданию и развертыванию конвейера ETL с фиксацией измененных данных (CDC) с помощью SDP для оркестрации данных и Auto Loader.
Руководство. Создание геопространственного конвейера с использованием собственных пространственных типов	В этом руководстве описывается создание геопространственного конвейера, который использует данные GPS, преобразует координаты в собственные пространственные типы и присоединяется к геозонам хранилища с помощью SDP и автозагрузчика.
Создание конвейера, управляемого источником	В этом руководстве показано, как создать управляемый источником конвейер с помощью декларативных пакетов автоматизации и папок Git.
Преобразование конвейера в проект пакета	В этом руководстве показано, как преобразовать существующий конвейер в проект декларативных пакетов автоматизации, чтобы упростить обслуживание и автоматическое развертывание в целевых средах.