Управление конфигурацией конвейеров Delta Live Tables

Так как Delta Live Tables автоматизирует операционные сложности, такие как управление инфраструктурой, оркестрация задач, восстановление ошибок и оптимизация производительности, многие конвейеры могут выполняться с минимальной конфигурацией вручную. Однако разностные динамические таблицы также позволяют управлять конфигурацией для конвейеров, требующих конфигураций, отличных от по умолчанию, или оптимизировать производительность и использование ресурсов. В этих статьях содержатся сведения об управлении конфигурациями для конвейеров Delta Live Tables, включая параметры, определяющие выполнение конвейеров, параметры вычислений, запускающих конвейер, и управление внешними зависимостями, такими как библиотеки Python.

Использование бессерверных вычислений для запуска полностью управляемых конвейеров

Используйте бессерверные конвейеры DLT для запуска конвейеров с надежными и полностью управляемыми вычислительными ресурсами. При использовании бессерверных вычислений вычислительные ресурсы, запускающие конвейер, автоматически оптимизируются и масштабируются на основе ресурсов, необходимых для запуска конвейера. Бессерверные конвейеры DLT поддерживают дополнительные функции для повышения производительности, таких как добавочное обновление для материализованных представлений, быстрое время запуска вычислительных ресурсов и улучшенная обработка потоковых рабочих нагрузок. См. статью "Создание полностью управляемых конвейеров с помощью разностных динамических таблиц с бессерверными вычислениями".

Управление параметрами конвейера

Конфигурация конвейера Delta Live Tables включает параметры, определяющие исходный код, реализующий конвейер. Он также включает параметры, управляющие инфраструктурой конвейера, управлением зависимостями, обработкой обновлений и сохранением таблиц в рабочей области. Большинство конфигураций являются необязательными, но некоторые требуют внимательного внимания.

Дополнительные сведения о параметрах конфигурации для конвейеров и их использовании см. в разделе "Настройка параметров конвейера для разностных динамических таблиц".

Подробные спецификации параметров разностных динамических таблиц, свойства, которые управляются таблицами и не настраиваемыми параметрами вычислений, см. в справочнике по свойствам Delta Live Tables.

Управление внешними зависимостями для конвейеров, использующих Python

Delta Live Tables поддерживает использование внешних зависимостей в конвейерах, таких как пакеты и библиотеки Python. Дополнительные сведения о параметрах и рекомендациях по использованию зависимостей см. в разделе "Управление зависимостями Python" для конвейеров Delta Live Tables.

Использование модулей Python, хранящихся в рабочей области Azure Databricks

Помимо реализации кода Python в записных книжках Databricks, вы можете использовать папки Databricks Git или файлы рабочей области для хранения кода в виде модулей Python. Хранение кода в виде модулей Python особенно полезно, если у вас есть общие функциональные возможности, которые вы хотите использовать в нескольких конвейерах или записных книжках в одном конвейере. Сведения об использовании модулей Python с конвейерами см. в статье "Импорт модулей Python" из папок Git или файлов рабочей области.

Оптимизация использования вычислительных ресурсов конвейера

Используйте расширенный автомасштабирование для оптимизации использования кластеров конвейеров. Расширенная автомасштабирование добавляет ресурсы только в том случае, если система определяет, что эти ресурсы увеличивают скорость обработки конвейера. Ресурсы освобождаются, если они больше не нужны, и кластеры завершаются сразу после завершения всех обновлений конвейера.

Дополнительные сведения о расширенном автомасштабировании, включая сведения о конфигурации, см. в статье "Оптимизация использования кластеров конвейеров Delta Live Tables с расширенным автомасштабированием".