Справочник разработчика конвейера

В этом разделе содержатся справочные материалы и инструкции для разработчиков конвейеров.

Загрузка и преобразование данных реализуются в конвейерах с помощью запросов, определяющих потоковые таблицы и материализованные представления. Для реализации этих запросов Декларативные конвейеры Lakeflow Spark поддерживают интерфейсы SQL и Python. Так как эти интерфейсы обеспечивают эквивалентную функциональность для большинства вариантов использования данных, разработчики конвейеров могут выбрать интерфейс, с которым они наиболее удобны.

Разработка на Python

Создание конвейеров с помощью кода Python.

Тема	Description
Разработка кода конвейера с помощью Python	Обзор разработки конвейеров в Python.
Справочник по языку Python для декларативного конвейера Spark Lakeflow	Справочная документация по Python для pipelines модуля.
Управление зависимостями Python для конвейеров	Инструкции по управлению библиотеками Python в конвейерах.
Импорт модулей Python из папок Git или файлов рабочей области	Инструкции по использованию модулей Python, хранящихся в Azure Databricks.

Разработка SQL

Создание конвейеров с помощью кода SQL.

Тема	Description
Разработка кода декларативного конвейера Spark Lakeflow с помощью SQL	Обзор разработки конвейеров в SQL.
Справочник по языку конвейера SQL	Справочная документация по синтаксису SQL для декларативных конвейеров Spark Lakeflow.
Использование конвейеров в Databricks SQL	Используйте Databricks SQL для работы с конвейерами.

Другие темы разработки

В следующих темах описаны другие способы разработки конвейеров.

Тема	Description
Преобразование конвейера в проект пакета активов Databricks	Преобразуйте существующий конвейер в пакет, который позволяет управлять конфигурацией обработки данных в управляемом источником YAML-файле для упрощения обслуживания и автоматического развертывания в целевых средах.
Создание конвейеров с помощью dlt-meta	Используйте библиотеку с открытым исходным кодом dlt-meta для автоматизации создания конвейеров с помощью платформы, управляемой метаданными.
Разработка кода конвейера в локальной среде разработки	Общие сведения о вариантах разработки конвейеров локально.