Настройка бессерверного конвейера

В этой статье описываются конфигурации бессерверных конвейеров.

Databricks рекомендует разрабатывать новые конвейеры с использованием бессерверной инфраструктуры. Для некоторых рабочих нагрузок может потребоваться настройка классических вычислений или работа с устаревшим хранилищем метаданных Hive. См. статью "Настройка классических вычислений для конвейеров" и "Использование декларативных конвейеров Lakeflow Spark с устаревшим хранилищем метаданных Hive".

Замечание

• Бессерверные конвейеры всегда используют каталог Unity. См. раздел "Использование каталога Unity с конвейерами".
• Ограничения бессерверных вычислений см. в Ограничения бессерверных вычислений.
• Невозможно вручную добавить параметры вычислений clusters в объект в конфигурацию JSON для бессерверного конвейера. Попытка сделать это приведет к ошибке.

• Если вам необходимо использовать подключение Azure Private Link с бессерверными декларативными конвейерами Lakeflow Spark, обратитесь к вашему представителю Databricks.

Требования

• В рабочей области должен быть включен каталог Unity для использования бессерверных конвейеров.

• Рабочая область должна находиться в бессерверном регионе.

Рекомендуемая конфигурация бессерверных конвейеров

Это важно

Разрешение на создание кластера не требуется для настройки бессерверных конвейеров. По умолчанию все пользователи рабочей области могут использовать бессерверные конвейеры.

Бессерверные конвейеры удаляют большинство параметров конфигурации, так как Azure Databricks управляет всей инфраструктурой. При создании нового конвейера по умолчанию используется бессерверный. Сведения о настройке бессерверного конвейера см. в разделе "Настройка конвейеров".

Вы также можете преобразовать существующие конвейеры, настроенные в каталоге Unity, в бессерверные. См. раздел "Преобразование существующего конвейера в бессерверный".

Другие рекомендации по настройке

Следующие параметры конфигурации также доступны для бессерверных конвейеров:

• При запуске конвейеров в продакшене можно выбрать непрерывный режим конвейера. См. раздел "Триггерный и непрерывный режимы конвейера".
• Добавьте уведомления для электронных писем на основе условий успешного выполнения или сбоя. См. добавьте уведомления по электронной почте для событий конвейера.
• Используйте поле конфигурации, чтобы задать пары "ключ-значение" для конвейера. Эти конфигурации служат двумя целями:
  • Задайте произвольные параметры, на которые можно ссылаться в исходном коде. См. раздел "Использование параметров с конвейерами".
  • Настройте параметры конвейера и конфигурации Spark. См. справочник по свойствам конвейера.
• Используйте канал Предварительная версия для тестирования вашего конвейера на предмет ожидающих изменений в среде выполнения Декларативных конвейеров Lakeflow Spark и для испытаний новых функций.

Бессерверная политика бюджета

Это важно

Эта функция доступна в общедоступной предварительной версии.

Бессерверные бюджетные политики позволяют организации применять пользовательские теги к бессерверному использованию для более детализированного выставления счетов. После выбора флажка Бессерверный появится параметр политики бюджета, где можно выбрать политику, которую вы хотите применить к пайплайну. Теги наследуются от бессерверной политики бюджета и могут изменяться только администраторами рабочей области.

Замечание

После того как вам назначат политику бюджета для безсерверных решений, ваши существующие конвейеры не будут автоматически отмечены этой политикой. Чтобы привязать политику к существующим конвейерам, вы должны обновить их вручную.

Дополнительные сведения о бессерверных политиках бюджета см. в разделе "Использование атрибутов" с бессерверными политиками бюджета.

Выбор режима производительности

Для триггерных конвейеров можно выбрать бессерверный режим производительности вычислений с помощью оптимизированного для производительности параметра в планировщике конвейера. Если этот параметр отключен, конвейер использует стандартный режим производительности. Стандартный режим производительности предназначен для снижения затрат на рабочие нагрузки, в которых допустима небольшая задержка запуска. Бессерверные рабочие нагрузки, использующие стандартный режим производительности, обычно начинаются в течение четырех–шести минут после активации в зависимости от доступности вычислений и оптимизированного планирования.

При включении оптимизации производительности конвейер оптимизирован для производительности, что приводит к более быстрому запуску и выполнению рабочих нагрузок с учетом времени.

Оба режима используют один и тот же SKU, но стандартный режим производительности потребляет меньше DBU, что отражает более низкое использование вычислительных мощностей.

Замечание

Чтобы использовать стандартный режим производительности в непрерывных конвейерах, обратитесь к группе учетных записей Databricks.

Функции бессерверного конвейера

Помимо упрощения конфигурации бессерверные конвейеры имеют следующие функции:

• добавочное обновление для материализованных представлений: обновления для материализованных представлений обновляются постепенно, когда это возможно. Инкрементное обновление имеет те же результаты, что и полный пересчёт. Обновление использует полную перезагрузку, если невозможно поэтапное вычисление результатов. См. инкрементальное обновление материализованных представлений.

• Конвейерная обработка потоков: для улучшения использования, пропускной способности и снижения задержки при обработке нагрузок потоковой передачи данных, таких как прием данных, микропакеты конвейеризуются. Другими словами, вместо последовательного запуска микробаток, таких как стандартная структурированная потоковая передача Spark, бессерверные конвейеры Lakeflow Spark декларативно выполняют микробаты одновременно, повышая использование вычислительных ресурсов. Обработка потоков включена по умолчанию в бессерверных конвейерах.
• Вертикальное автомасштабирование: бессерверные декларативные конвейеры Spark Lakeflow дополняют горизонтальное автомасштабирование, предоставляемое Databricks, автоматически выделяя наиболее экономичные типы экземпляров, которые могут запускать ваш конвейер без ошибок, вызванных недостатком памяти. См. раздел "Что такое автомасштабирование по вертикали"?

Преобразование существующего конвейера в бессерверный

Существующие конвейеры, настроенные с помощью каталога Unity, можно преобразовать в бессерверные конвейеры. Выполните следующие действия.

1. На боковой панели рабочей области Azure Databricks щелкните "Задания и конвейеры".
2. Щелкните имя конвейера.
3. Нажмите кнопку "Параметры".
4. В правой боковой панели в разделе "Вычисления" щелкните
5. Установите флажок рядом с бессерверным.
6. Нажмите кнопку Сохранить.

Это важно

При включении режима без сервера все настройки вычислений, которые были сконфигурированы для конвейера, удаляются. При переключении конвейера обратно на несерверные обновления необходимо перенастроить требуемые параметры вычислений в конфигурацию конвейера.

Как узнать использование DBU в бессерверном конвейере?

Вы можете найти использование DBU бессерверных конвейеров Lakeflow Spark Декларативными конвейерами, запрашивая таблицу использования, доступную для выставления счетов, часть системных таблиц Azure Databricks. См. раздел "Что такое потребление DBU бессерверного конвейера?".