Справочник разработчика конвейера

В этом разделе содержатся справочные материалы и инструкции для разработчиков конвейеров.

Загрузка и преобразование данных реализуются в конвейерах с помощью запросов, определяющих потоковые таблицы и материализованные представления. Для реализации этих запросов декларативные конвейеры Lakeflow Spark поддерживают интерфейсы SQL и Python. Так как эти интерфейсы обеспечивают эквивалентную функциональность для большинства вариантов использования данных, разработчики конвейеров могут выбрать интерфейс, с которым они наиболее удобны.

разработка Python

Создание конвейеров с помощью кода Python.

Тема	Description
Разработайте код пайплайна с использованием Python.	Обзор разработки конвейеров в Python.
Lakeflow Spark Декларативные конвейеры на языке Python	Справочная документация Python по модулю pipelines.
Управление зависимостями Python для пайплайнов	Инструкции по управлению библиотеками Python в конвейерах.
Импортируйте модули Python из папок Git или файлов рабочей области	Инструкции по использованию модулей Python, хранящихся в Azure Databricks.

Разработка SQL

Создание конвейеров с помощью кода SQL.

Тема	Description
Разработка кода декларативного конвейера Spark Lakeflow с помощью SQL	Обзор разработки конвейеров в SQL.
Справочник по языку конвейера SQL	Справочная документация по синтаксису SQL для декларативных конвейеров Spark Lakeflow.
Использование конвейеров в Databricks SQL	Используйте Databricks SQL для работы с конвейерами.

Другие темы разработки

В следующих темах описаны другие способы разработки конвейеров.

Тема	Description
Преобразование конвейера в проект пакета	Преобразуйте существующий конвейер в пакет, который позволяет управлять конфигурацией обработки данных в управляемом источником YAML-файле для упрощения обслуживания и автоматического развертывания в целевых средах.
Метапрограммирование с помощью декларативных конвейеров Lakeflow Spark	Создание конвейеров с помощью dlt-meta. Используйте библиотеку open source dlt-meta для автоматизации создания конвейеров с помощью платформы, управляемой метаданными. Руководство. Создание нескольких потоков с разными параметрами. Создайте несколько потоков в цикле в Python.
Разработка кода конвейера в локальной среде разработки	Общие сведения о вариантах разработки конвейеров локально.