Настройка бессерверной среды

В этой статье объясняется, как использовать боковую панель среды бессерверной записной книжки для настройки зависимостей, бюджетных политик бессерверной системы, памяти и версии среды. Эта панель предоставляет одно место для управления бессерверными параметрами записной книжки. Параметры, настроенные на этой панели, применяются только при подключении записной книжки к бессерверным вычислениям.

Чтобы развернуть боковую панель среды нажмите кнопку справа от записной книжки.

Использование бессерверных вычислений GPU

Important

Бессерверные вычисления GPU в бета-версии.

Выполните следующие действия, чтобы использовать бессерверные вычисления GPU в записной книжке Databricks:

1. В записной книжке вверху страницы щелкните раскрывающееся меню Подключиться и выберите Serverless GPU.
2. Щелкните чтобы открыть боковую панель среды .
3. Выберите A10 из поля Ускоритель.
4. Выберите "Нет " для среды по умолчанию или ИИ версии 4 для среды ИИ в поле "Базовая среда ".
5. Если вы выбрали "Нет" в поле "Базовая среда ", выберите версию среды.
6. Нажмите кнопку "Применить ", а затем подтвердите , что вы хотите применить бессерверные вычисления GPU к вашей среде записной книжки.

Дополнительные сведения см. в разделе "Бессерверные вычисления GPU".

Использование бессерверных вычислений с высокой памятью

Important

Эта функция доступна в общедоступной предварительной версии.

Если в записной книжке возникают ошибки недостатка памяти, можно настроить записную книжку для использования большего объема памяти. Этот параметр увеличивает размер памяти REPL, используемой при выполнении кода в записной книжке. Это не влияет на размер памяти сеанса Spark. Бессерверное использование с высокой памятью имеет более высокую скорость выбросов DBU, чем стандартная память.

1. В пользовательском интерфейсе записной книжки щелкните боковую панель среды под названием «Environment».
2. В разделе Памятьвыберите высокую память.
3. Щелкните Применить.

Этот параметр также применяется к задачам записной книжки, которые выполняются с учетом настроек памяти записной книжки. Обновление предпочтения памяти в записной книжке оказывает влияние на следующее выполнение задания.

Выбор бессерверной политики бюджета

Important

Эта функция доступна в общедоступной предварительной версии.

Бессерверные бюджетные политики позволяют организации применять пользовательские теги к бессерверному использованию для более детализированного выставления счетов.

Если в рабочей области используются бессерверные политики бюджета для атрибута бессерверного использования, можно выбрать бессерверную политику бюджета, которую вы хотите применить к записной книжке. Если пользователю назначена только одна бессерверная бюджетная политика, эта политика выбирается по умолчанию.

После подключения записной книжки к бессерверным вычислительным ресурсам можно выбрать политику бессерверного бюджета с помощью боковой панели среды :

1. В пользовательском интерфейсе записной книжки щелкните боковую панель среды под названием «Environment».
2. В разделе "Бюджетная политика " выберите бессерверную политику бюджета, которую вы хотите применить к записной книжке.
3. Щелкните Применить.

После завершения настройки все случаи использования блокнотов наследуют пользовательские теги политики бюджета серверлесс.

Note

Если ваша записная книжка исходит из репозитория Git или не имеет назначенной бессерверной бюджетной политики, то при следующем подключении к бессерверным вычислениям по умолчанию используется последняя выбранная вами политика бессерверного бюджета.

Выбор версии среды

Версии среды позволяют бессерверным рабочим нагрузкам получать независимые обновления ядра, не влияя на совместимость приложений. Дополнительные сведения о каждой версии среды см. в разделе "Бессерверные версии среды". Databricks рекомендует выбирать последнюю версию, чтобы получить самые современные функции записной книжки.

Чтобы выбрать версию среды, выполните приведенные действия.

1. В пользовательском интерфейсе записной книжки щелкните боковую панель среды под названием «Environment».
2. В разделе "Версия среды" выберите версию.
3. Щелкните Применить.

Добавление зависимостей в записную книжку

Поскольку бессерверная среда не поддерживает политики вычислений или скрипты инициализации, необходимо добавить пользовательские зависимости с помощью боковой панели Environment. Можно добавить зависимости по отдельности или использовать общую базовую среду для установки нескольких зависимостей.

Чтобы добавить зависимость по отдельности, выполните следующие действия.

1. В пользовательском интерфейсе записной книжки щелкните боковую панель среды под названием «Environment».

2. В разделе "Зависимости" нажмите кнопку "Добавить зависимость " и введите путь к зависимости в поле. Можно указать зависимость в любом формате, допустимом в файле requirements.txt . Файлы wheel-файлы Python или проекты Python (например, каталог, содержащий pyproject.toml или setup.py), могут находиться в файлах рабочей области или томах каталога Unity.

   • Если используется файл рабочей области, путь должен быть абсолютным и начинаться с /Workspace/.
   • При использовании файла в томе каталога Unity путь должен быть в следующем формате: /Volumes/<catalog>/<schema>/<volume>/<path>.whl

3. Щелкните Применить. При этом устанавливаются зависимости в виртуальной среде записной книжки и перезапускается процесс Python.

Important

Не устанавливайте PySpark или любую библиотеку, которая устанавливает PySpark в качестве зависимости для ваших бессерверных записных книжек. Это прекратит сеанс и вызовет ошибку. При этом удалите библиотеку и сбросьте вашусреду.

Чтобы просмотреть установленные зависимости, перейдите на вкладку "Установленные " на боковой панели "Среды ". Журналы установки pip для среды записной книжки также можно просмотреть, нажав на журналы pip в нижней части панели.

Добавление зависимостей в базовую среду

Базовая среда — это файл YAML, хранящийся в виде файла рабочей области или том каталога Unity, который указывает дополнительные зависимости среды. Вы можете выбрать одну из базовых сред рабочей области в раскрывающемся меню "Базовая среда " или выбрать "Настраиваемый" для использования пользовательской спецификации среды.

Дополнительные зависимости можно установить отдельно поверх базовой среды. Отдельные установленные зависимости переопределяют или расширяют базовую среду для этой записной книжки.

Инструкции администратора рабочей области см. в разделе "Управление бессерверными базовыми средами".

Создание спецификации настраиваемой среды

Вы можете создавать и повторно использовать пользовательские спецификации среды.

1. В бессерверной записной книжке выберите версию среды и добавьте все зависимости, которые требуется установить.
2. Щелкните В нижней части панели среды щелкните "Экспорт среды".
3. Сохраните спецификацию в виде файла рабочей области или тома каталога Unity.

Чтобы использовать спецификацию пользовательской среды в записной книжке, выберите "Пользователь " в раскрывающемся меню "Базовая среда ", а затем используйте значок папки повторно:[Значок папки], чтобы выбрать файл YAML.

Создание общих служебных программ для совместного использования в рабочей области

В следующем примере показано, как сохранить общую программу в файле рабочей области и добавить ее в качестве зависимости в бессерверной записной книжке:

1. Создайте папку со следующей структурой. Убедитесь, что потребители проекта имеют соответствующий доступ к пути к файлу:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Заполните pyproject.toml следующим образом:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Добавьте функцию в init.py файл. Рассмотрим пример.

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. В пользовательском интерфейсе записной книжки щелкните значок "Среда" на боковой панели "Environment".

5. В разделе "Зависимости" нажмите кнопку "Добавить зависимость ", а затем введите путь к файлу util. Например: /Workspace/helper_utils.

6. Щелкните Применить.

Теперь вы можете использовать функцию в записной книжке:

from helpers import greet
print(greet('world'))

Это выводится как:

Hello, world!

Сброс зависимостей среды

Если записная книжка подключена к бессерверным вычислениям, Databricks автоматически кэширует содержимое виртуальной среды записной книжки. Это означает, что при открытии существующей записной книжки обычно не требуется переустановить зависимости Python, указанные на боковой панели среды , даже если она была отключена из-за неактивности.

Кэширование виртуальной среды Python также применяется к заданиям. Когда задание выполняется, любая задача в задании, которая использует тот же набор зависимостей, что и завершенная задача в этом запуске, становится быстрее, так как необходимые зависимости уже доступны.

Note

Если изменить реализацию пользовательского пакета Python, используемого в задании без сервера, необходимо также обновить номер версии, чтобы задания могли получить последнюю реализацию.

Чтобы очистить кэш среды и выполнить новую установку зависимостей, указанных на боковой панели среды записной книжки, подключенной к бессерверным вычислениям, щелкните стрелку рядом с "Применить ", а затем нажмите кнопку "Сброс до значений по умолчанию".

Если вы установили пакеты, которые нарушают или изменяют основную среду записной книжки или Apache Spark, удалите проблемные пакеты, а затем сбросьте среду. Запуск нового сеанса не очищает весь кэш среды.

Настройка репозиториев пакетов Python по умолчанию

Администраторы рабочей области могут настраивать частные или аутентифицированные репозитории пакетов внутри рабочих областей в качестве конфигурации pip по умолчанию как для бессерверных записных книжек, так и для бессерверных заданий. Это позволяет пользователям устанавливать пакеты из внутренних репозиториев Python без явного определения index-url или extra-index-url.

Администраторы рабочих областей могут обратиться к инструкции Настройка репозиториев пакетов Python по умолчанию.

Настройка среды для задач задания

Для таких типов задач, как записная книжка, Python-скрипт, Python-колесо, JAR-файл или dbt-задачи, зависимости библиотеки наследуются от версии бессерверной среды. Чтобы просмотреть список установленных библиотек, см. раздел "Установленные библиотеки Python " или "Установленные библиотеки Java и Scala " в используемой версии среды . Если для задачи требуется не установленная библиотека, можно установить библиотеку из файлов рабочей области, томов каталога Unity или репозиториев общедоступного пакета.

Для записных книжек с существующей средой записной книжки можно запустить задачу с помощью среды записной книжки или переопределить ее, выбрав среду уровня задания.

Important

Использование бессерверных вычислений для задач JAR находится в бета-версии.

Чтобы добавить библиотеку при создании или изменении задачи задания:

1. В раскрывающемся меню "Среда и библиотеки" щелкните рядом с средой по умолчанию или нажмите кнопку "Добавить новую среду".

   

2. Выберите версию среды в раскрывающемся списке версия среды. Версии бессерверных сред см. в . Databricks рекомендует выбрать последнюю версию, чтобы получить самые актуальные функции.

3. В диалоговом окне "Настройка среды" нажмите кнопку +Добавить библиотеку.

4. Выберите тип зависимости в раскрывающемся меню в разделе Библиотеки.

5. В текстовом поле "Путь к файлу" введите путь к библиотеке.

• Для колеса Python в файле рабочей области путь должен быть абсолютным и начинаться с /Workspace/.

• Для Python Wheel в томе Unity Catalog путь должен быть /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Для файла requirements.txt выберите PyPi и введите -r /path/to/requirements.txt.

  

1. Нажмите кнопку "Подтвердить" или "Добавить библиотеку", чтобы добавить другую библиотеку.
2. Если вы добавляете задачу, нажмите кнопку "Создать задачу". Если вы редактировать задачу, нажмите кнопку "Сохранить".

Базовые среды для задач задания

Бессерверные задания поддерживают пользовательские базовые среды, определенные с помощью YAML-файлов для задач на Python, Python wheel и ноутбуков. Для задач записной книжки можно выбрать настраиваемую базовую среду в конфигурации среды задания или использовать собственные параметры среды записной книжки, которые поддерживают как среды рабочей области, так и пользовательские базовые среды. Во всех случаях только зависимости, необходимые для задачи, устанавливаются во время выполнения.