Управление зависимостями Python для конвейеров

Конвейеры Lakeflow поддерживают внешние зависимости в конвейерах. Databricks рекомендует использовать один из двух шаблонов для установки пакетов Python:

1. Используйте параметры среды для добавления пакетов в среду конвейера для всех исходных файлов в конвейере.
2. Импорт модулей или библиотек из исходного кода, хранящегося в файлах рабочей области. См. импорт модулей Python из папок Git или файлов рабочей области.

Конвейеры, использующие классические вычислительные ресурсы, также поддерживают скрипты инициализации на уровне кластера. Бессерверные конвейеры Lakeflow не поддерживают скрипты инициализации. Во всех случаях Databricks рекомендует использовать параметры среды , а не скрипты инициализации, так как внешние зависимости, особенно скрипты инициализации, повышают риск проблем с обновлениями среды выполнения. Если для обработки требуются скрипты инициализации, автоматизируйте тестирование конвейера для обнаружения проблем рано, а Databricks рекомендует увеличить частоту тестирования.

Это важно

Так как библиотеки JVM не поддерживаются в конвейерах, не используйте скрипт init для установки библиотек JVM. Однако можно установить другие типы библиотек, такие как Python библиотеки, с помощью скрипта инициализации.

библиотеки Python

Чтобы указать внешние библиотеки Python, измените среду для конвейера.

1. В редакторе конвейера нажмите кнопку "Параметры".
2. В разделе "Среда конвейера" выберите Изменить среду.
3. Щелкните Добавьте зависимость.
4. Введите имя зависимости. Databricks рекомендует зафиксировать (закрепить) версию библиотеки. Например, чтобы добавить зависимость от simplejson версии 3.19, введите simplejson==3.19.*.

Вы также можете установить пакет колеса Python из тома каталога Unity, указав его путь, например /Volumes/my_catalog/my_schema/my_ldp_volume/ldpfns-1.0-py3-none-any.whl.

Note

Конвейеры не поддерживают ручной перезапуск процесса Python с помощью dbutils.library.restartPython(). Объявите все зависимости Python в настройках Environment вместо того, чтобы устанавливать или повторно загружать их во время выполнения. Использование параметров среды также позволяет конвейерам повторно использовать кэшированные библиотеки во время выполнения, а не переустановить их во всех запусках.

Версия среды

По умолчанию версия Python языка и предустановленная библиотека, доступная для конвейера, поступают из текущей версии канала Databricks Runtime. См. примечания к выпуску конвейеров Lakeflow и процесс обновления до новой версии для получения сведений о текущих версиях и списках пакетов для каждой среды выполнения.

Это важно

Эта функция доступна в бета-версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. статью "Управление предварительными версиями Azure Databricks".

Чтобы закрепить версию языка Python и предварительно установленную библиотеку независимо от обновлений среды выполнения Databricks, настройте версию среды в конвейере. Если задана версия среды, обновления Databricks Runtime не изменяют версию Python или версии предустановленных библиотек, а все внешние зависимости, которые вы добавляете через настройки Environment, устанавливаются поверх этой базовой среды. См. Настройка версий среды для конвейеров.

Поддержка библиотеки Scala и Java

Нет, конвейеры поддерживают только SQL и Python. В конвейере нельзя использовать библиотеки JVM. Установка библиотек JVM приводит к непредсказуемому поведению и может прерывать выпуски будущих конвейеров Lakeflow. Если конвейер использует скрипт инициализации, необходимо также убедиться, что библиотеки JVM не установлены скриптом.