Учебные материалы по конвейерам Lakeflow

Эти обучающие материалы дают практический опыт работы с пайплайнами Lakeflow — от первого пайплайна до ETL с CDC, геопространственной загрузки данных и пакетов под управлением системы контроля версий.

Начало работы с конвейерами Lakeflow

Тема	Description
Руководство. Создание конвейера ETL с помощью конвейеров Lakeflow	В этом руководстве показано, как создать и развернуть простой конвейер ETL (извлечение, преобразование и загрузка) для оркестрации данных и автозагрузчика.

Tutorials

Тема	Description
Руководство. Создание первого конвейера с помощью редактора Конвейеров Lakeflow	В этом руководстве описывается создание первого конвейера путем расширения примера кода, созданного с помощью нового конвейера.
Руководство. Создание конвейера ETL с помощью отслеживания измененных данных	В этом руководстве описаны шаги по созданию и развертыванию ETL-конвейера с использованием захвата измененных данных (CDC) и Auto Loader.
ETL в Databricks SQL	В этом руководстве описывается создание добавочного конвейера ETL в Databricks SQL с помощью потоковых таблиц AUTO CDCи материализованных представлений.
Руководство. Создание геопространственного конвейера с использованием собственных пространственных типов	В этом руководстве описывается создание геопространственного конвейера, который выполняет прием данных GPS, преобразует координаты в собственные пространственные типы и присоединяется к геозонам хранилища с помощью конвейеров Lakeflow и автозагрузчика.
Учебник: Постройте конвейер обработки файлов с типом FILE	В этом руководстве показано, как создать конвейер, который загружает неструктурированные файлы как ссылки FILE и разбирает содержимое документов с помощью функций ИИ, используя конвейеры Lakeflow и Auto Loader.
Создание конвейера, управляемого источником	В этом руководстве показано, как создать управляемый источником конвейер с помощью декларативных пакетов автоматизации и папок Git.
Преобразование конвейера в проект пакета	В этом руководстве показано, как преобразовать существующий конвейер в проект декларативных пакетов автоматизации, чтобы упростить обслуживание и автоматическое развертывание в целевых средах.