Поделиться через

Перезапуск процесса Python в Azure Databricks

  • Статья

Вы можете программно перезапустить процесс Python в Azure Databricks, чтобы обеспечить правильную работу локально установленных или обновленных библиотек в ядре Python для текущего SparkSession.

При перезапуске процесса Python сведения о состоянии Python теряются. Databricks рекомендует установить все библиотеки с областью сеанса в начале записной книжки и выполнить dbutils.library.restartPython() очистку процесса Python перед продолжением.

Этот процесс можно использовать в интерактивных записных книжках или для задач Python, запланированных с заданиями.

Что такое dbutils.library.restartPython?

Вспомогательной функцией dbutils.library.restartPython() является рекомендуемый способ перезапуска процесса Python в записной книжке Databricks.

Примечание.

Большинство функций в dbutils.library подмодуле устарели. Databricks настоятельно рекомендует использовать для %pip управления всеми установками библиотеки с областью действия записной книжки. См. статью Библиотеки Python с областью действия записной книжки.

Когда следует перезапустить процесс Python?

Рекомендуется перезапустить процесс Python в любой момент, когда вы выполняете локальную установку, содержащую любой из следующих элементов:

  • Указание версии пакета, включенного в Databricks Runtime.
  • Установка пользовательской версии пакета, включенного в Databricks Runtime.
  • Явное обновление библиотеки до последней версии с помощью %pip install <library-name> --upgrade.
  • Настройка пользовательской среды из локального requirements.txt файла.
  • Установка библиотеки, требующей изменения версий зависимых библиотек, включенных в Databricks Runtime.