Установка зависимостей записной книжки

Зависимости Python можно установить для бессерверных записных книжек с помощью боковой панели среды . Эта панель предоставляет одно место для редактирования, просмотра и экспорта требований к библиотеке записной книжки. Эти зависимости можно добавить с помощью базовой среды или отдельно.

Сведения о задачах, отличных от записных книжек, см. в разделе "Настройка сред и зависимостей" для задач, отличных от записных книжек.

Внимание

Не устанавливайте PySpark или любую библиотеку, которая устанавливает PySpark в качестве зависимости от бессерверных записных книжек. Это приведет к остановке сеанса и приведет к ошибке. Если это происходит, сбросьте среду.

Настройка базовой среды

Базовая среда — это файл YAML, хранящийся в виде файла рабочей области или том каталога Unity, который указывает дополнительные зависимости среды. Базовые среды можно совместно использовать между записными книжками. Чтобы настроить базовую среду, выполните приведенные действия.

1. Создайте YAML-файл, определяющий параметры виртуальной среды Python. Следующий пример YAML, основанный на спецификации среды проектов MLflow, определяет базовую среду с несколькими зависимостями библиотеки:

   client: "1"
   dependencies:
     - --index-url https://pypi.org/simple
     - -r "/Workspace/Shared/requirements.txt"
     - cowsay==6.1
   

2. Отправьте YAML-файл в виде файла рабочей области или в том каталога Unity. См. раздел импорта файла или отправки файлов в том каталога Unity.

3. Справа от записной книжки нажмите кнопку, чтобы развернуть панель "Среда ". Эта кнопка отображается только при подключении записной книжки к бессерверным вычислениям.

4. В поле "Базовая среда" введите путь отправленного ФАЙЛА YAML или перейдите к нему и выберите его.

5. Щелкните Применить. При этом устанавливаются зависимости в виртуальной среде записной книжки и перезапускается процесс Python.

Пользователи могут переопределить зависимости, указанные в базовой среде, путем установки зависимостей по отдельности.

Добавление зависимостей по отдельности

Кроме того, можно установить зависимости в записной книжке, подключенной к бессерверным вычислениям, с помощью вкладки "Зависимости" на панели "Среда".

1. Справа от записной книжки нажмите кнопку, чтобы развернуть панель "Среда ". Эта кнопка отображается только при подключении записной книжки к бессерверным вычислениям.
2. В разделе "Зависимости" нажмите кнопку "Добавить зависимость" и введите путь к зависимости библиотеки в поле. Можно указать зависимость в любом формате, допустимом в файле requirements.txt .
3. Щелкните Применить. При этом устанавливаются зависимости в виртуальной среде записной книжки и перезапускается процесс Python.

Примечание.

Задание с использованием бессерверных вычислений установит спецификацию среды записной книжки перед выполнением кода записной книжки. Это означает, что при планировании записных книжек в качестве заданий не требуется добавлять зависимости. См. статью "Настройка сред и зависимостей".

Просмотр установленных зависимостей и журналов pip

Чтобы просмотреть установленные зависимости, нажмите кнопку "Установить" на боковой панели "Среды " для записной книжки. Журналы установки pip для среды записной книжки также доступны, щелкнув журналы Pip в нижней части панели.

Сброс среды

Если записная книжка подключена к бессерверным вычислениям, Databricks автоматически кэширует содержимое виртуальной среды записной книжки. Это означает, что при открытии существующей записной книжки обычно не требуется переустановить зависимости Python, указанные на панели среды , даже если она была отключена из-за неактивности.

Кэширование виртуальной среды Python также применяется к заданиям. Это означает, что последующие запуски заданий быстрее, так как необходимые зависимости уже доступны.

Примечание.

Если изменить реализацию пользовательского пакета Python, используемого в задании без сервера, необходимо также обновить номер версии для заданий, чтобы получить последнюю реализацию.

Чтобы очистить кэш среды и выполнить новую установку зависимостей, указанных на панели "Среда " записной книжки, подключенной к бессерверным вычислениям, щелкните стрелку рядом с "Применить " и нажмите кнопку "Сброс среды".

Примечание.

Сбросьте виртуальную среду при установке пакетов, которые прерывают или изменяют базовую записную книжку или среду Apache Spark. Отключение записной книжки от бессерверных вычислений и повторное кэширование не обязательно очищает весь кэш среды.

Настройка сред и зависимостей для задач, не относящихся к записной книжке

Для других поддерживаемых типов задач, таких как скрипт Python, колесо Python или задачи dbt, среда по умолчанию включает установленные библиотеки Python. Чтобы просмотреть список установленных библиотек, ознакомьтесь с разделом "Установленные библиотеки Python" в заметках о выпуске версии Databricks Runtime, на которой основаны бессерверные вычисления для развертывания рабочих процессов. Сведения о текущей версии среды выполнения Databricks, используемой бессерверными вычислениями для рабочих процессов, см. в заметках о выпуске бессерверных вычислений. Если для задачи требуется не установленная библиотека Python, можно установить библиотеку из файлов рабочей области, томов каталога Unity или репозиториев общедоступных пакетов. Чтобы добавить библиотеку при создании или изменении задачи, выполните следующие действия.

1. В раскрывающемся меню "Среда и библиотеки" щелкните рядом с средой по умолчанию или нажмите кнопку "Добавить новую среду".

   

2. В диалоговом окне "Настройка среды" нажмите кнопку +Добавить библиотеку.

3. Выберите тип зависимости в раскрывающемся меню в разделе "Библиотеки".

4. В текстовом поле "Путь к файлу" введите путь к библиотеке.

• Для колеса Python в файле рабочей области путь должен быть абсолютным и начинаться с /Workspace/.

• Для колеса Python в томе каталога Unity путь должен быть /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• requirements.txt Для файла выберите PyPi и введите-r /path/to/requirements.txt.

  

1. Нажмите кнопку "Подтвердить" или "Добавить библиотеку", чтобы добавить другую библиотеку.
2. Если вы добавляете задачу, нажмите кнопку "Создать задачу". Если вы редактировать задачу, нажмите кнопку "Сохранить".