Справочник разработчика конвейера

Реализуйте загрузку и преобразования данных в конвейерах Lakeflow с запросами, определяющими потоковые таблицы и материализованные представления. Конвейеры Lakeflow поддерживают интерфейсы SQL и Python. Так как они предоставляют эквивалентную функциональность для большинства вариантов использования данных, вы можете выбрать любой интерфейс, с которым вы наиболее комфортно. Дополнительные сведения см. в разделе "Выбор между SQL и Python".

разработка Python

Создание конвейеров с помощью кода Python.

Тема	Description
Разработайте код пайплайна с использованием Python.	Обзор разработки конвейеров в Python.
Справочник по языку Python для конвейеров Lakeflow	Справочная документация Python по модулю pipelines.
Управление зависимостями Python для пайплайнов	Инструкции по управлению библиотеками Python в конвейерах.
Импортируйте модули Python из папок Git или файлов рабочей области	Инструкции по использованию модулей Python, хранящихся в Azure Databricks.

Разработка SQL

Создание конвейеров с помощью кода SQL.

Тема	Description
Разработка кода конвейеров Lakeflow с помощью SQL	Обзор разработки конвейеров в SQL.
Справочник по языку конвейера SQL	Справочная документация по синтаксису SQL для конвейеров Lakeflow.
Автономные конвейеры	Используйте Databricks SQL для работы с конвейерами.

Другие темы разработки

В следующих разделах описаны другие способы разработки конвейеров.

Тема	Description
Преобразование конвейера в проект пакета	Преобразуйте существующий конвейер в пакет, который позволяет управлять конфигурацией обработки данных в управляемом источником YAML-файле для упрощения обслуживания и автоматического развертывания в целевых средах.
Метапрограммирование с помощью конвейеров Lakeflow	Создание конвейеров с помощью dlt-meta. Используйте библиотеку открытый код dlt-meta для автоматизации создания конвейеров с помощью платформы, управляемой метаданными. Руководство. Создание нескольких потоков с разными параметрами. Создайте несколько потоков в цикле в Python.
Разработка кода конвейера в локальной среде разработки	Общие сведения о вариантах разработки конвейеров локально.