Управление зависимостями с помощью сред

Important

Эта функция доступна в бета-версии. Администраторы учетных записей могут управлять доступом к этой функции на странице предпросмотра консоли аккаунта с помощью переключателя Environments for Standard Compute . См. статью "Управление предварительными версиями Azure Databricks".

В классической вычислительной среде режим зависимостей Environments позволяет управлять зависимостями на уровне рабочей нагрузки с помощью базовых сред вместо установки библиотек, привязанных к вычислительному ресурсу. Это та же модель, которая используется в бессерверных вычислениях.

Настройки среды остаются изолированными от изменений на уровне вычислительных ресурсов, поэтому рабочие нагрузки не нарушаются, когда вычислительные ресурсы в их основе изменяются. И поскольку Azure Databricks кэширует базовые среды, зависимости не разрешаются и не устанавливаются при запуске, поэтому вычисления запускаются быстрее и избегают сбоев, связанных с разрешением пакетов, доступностью репозитория или надёжностью сети.

После подключения к вычислительному ресурсу, использующему режим зависимостей Environments, вы можете выбрать базовую среду и добавить зависимости на боковой панели Environment в блокноте. См. раздел «Использовать окружения в блокноте».

Requirements

Настройка режима зависимостей доступна только на вычислениях, соответствующих следующим требованиям:

• Databricks Runtime 19 (бета) и выше
• Стандартный режим доступа
• Универсальные вычисления, выполняемые в интерактивных тетрадях

Для подробностей поддержки см. раздел Ограничения.

Установите режим зависимостей

Чтобы создать вычислительный ресурс, использующий режим зависимостей Environments:

1. В боковой панели рабочего пространства нажмите значок Compute, затем откройте вкладку All-purpose Compute.

2. Нажмите кнопку "Создать вычисления".

3. В разделе «Производительность» выберите 19 Beta или выше в выпадающем меню Databricks Runtime version.

4. Разверните раздел «Дополнительно», затем нажмите «Зависимости».

5. Для режима зависимостей оставьте опцию Auto, чтобы Azure Databricks разрешали этот режим, или выберите Manual и выберите Environments, чтобы настроить его самостоятельно. См. опции режима зависимости.

   

6. Настройте остальную часть вычислительной части, затем нажмите Создать.

После запуска вычислительной работы прикрепите блокнот и настройте её окружение так, как описано в разделе «Использовать среды в блокноте».

Опции режимов зависимостей

Управление режимом зависимостей имеет две настройки, которые определяют, как будет выбран режим:

• Авто: Azure Databricks определяет режим на основе конфигурации вычислительных ресурсов. Значение Auto по умолчанию соответствует Окружениям, если только вычислительный ресурс не указывает переменные среды Docker или Spark либо init-скрипты; в этом случае оно соответствует Библиотекам кластера.
• Вручную: Вы сами выбираете окружения или библиотеки кластеров.

Выбирая Manual, выберите режим, который подходит именно вам:

• Среды: Управление зависимостями на уровне рабочей нагрузки с использованием базовых сред. Библиотеки кластеров, переменные среды Docker, Spark и скрипты init отключены. Используйте этот режим, чтобы обеспечить согласованную и переносимую работу с зависимостями, соответствующую бессерверным вычислениям.
• Кластерные библиотеки: классическое поведение. Устанавливайте зависимости в вычислительной среде с помощью библиотек кластера, скриптов инициализации или Docker. Используйте этот режим, если ваша нагрузка требует одной из этих настроек.

Обновить существующий вычислительный ресурс

Если вы редактируете настройки существующего вычислительного ресурса, переключение в режим Окружения невозможно, если у этого вычислительного ресурса есть несовместимые параметры, такие как скрипты инициализации, библиотеки кластера или Docker. Если сначала удалить несовместимые настройки, можно отредактировать режим зависимостей.

Если переключиться в режим библиотек кластера из режима Окружения , прикреплённые блокноты сохраняют выбор среды, но эти параметры становятся неактивными. Если снова переключить вычислитель в режим Окружения, эти параметры снова станут активными.

Используйте среды в блокноте

Чтобы использовать среды в блокноте, подключите блокнот к классическому вычислительному ресурсу, использующему режим зависимостей Среды . После того как вы подключите ноутбук, вы сможете настроить его зависимости на боковой панели Environment так же, как и при использовании бессерверных вычислений.

Выберите базовую среду

Базовая среда определяет предустановленные библиотеки и версию среды, доступную для вашего ноутбука. Селектор Базовая среда на боковой панели Среда позволяет выбрать среду. Databricks рекомендует использовать последнюю версию, чтобы получить самые актуальные функции записной книжки. Чтобы увидеть подробности о каждой версии среды, смотрите раздел «Версии окружения».

Селектор базовой среды включает следующие параметры:

• Стандартный: базовая среда по умолчанию с библиотеками, предоставляемыми Databricks.
• ML: базовая среда с предустановленными Python и системными пакетами из Databricks Runtime for Машинное обучение.
• Дополнительные сведения: разворачивается, чтобы отобразить дополнительные параметры:
  • Предыдущие версии сред Standard и ML.
  • Custom: укажите настраиваемую среду с помощью YAML-файла.
• Среды рабочего пространства: Перечисляет все совместимые базовые среды, настроенные администраторами вашего рабочего пространства.

Добавление зависимостей в записную книжку

Azure Databricks кэширует виртуальную среду вашего блокнота, поэтому зависимости не переустанавливаются каждый раз, когда вы снова открываете блокнот или возобновляете работу после периода бездействия.

Чтобы установить зависимость по отдельности, выполните следующие действия.

1. В разделе «Зависимости » введите путь зависимости в поле, затем нажмите +Add dependency. Можно указать зависимость в любом формате, допустимом в файле requirements.txt . Файлы wheel для Python или проекты Python (например, каталог, содержащий pyproject.toml или setup.py) могут находиться в файлах рабочей области или томах каталога Unity.

   • Если используется файл рабочей области, путь должен быть абсолютным и начинаться с /Workspace/.
   • При использовании файла в томе каталога Unity путь должен быть в следующем формате: /Volumes/<catalog>/<schema>/<volume>/<path>.whl

2. Щелкните Apply, чтобы установить зависимости и перезапустить процесс Python.

Important

Не устанавливайте PySpark или любую библиотеку, которая устанавливает PySpark как зависимость в ваших ноутбуках. Это прекратит сеанс и вызовет ошибку. Если это произойдёт, удалите библиотеку и сбросьте окружение.

Чтобы просмотреть установленные зависимости, нажмите вкладку «Установленные» на боковой панели «Среда». Откройте журналы установки pip для среды блокнота, нажав журналы pip в нижней части панели.

Limitations

Режим зависимостей Environments поддерживает сценарии Python и зависимости Python в интерактивных блокнотах. Действительны следующие ограничения.

• Классические задания не используют режим зависимостей Environments. Когда задание выполняется на классических универсальных вычислениях, где задаётся режим окружающих , настройка игнорируется, и задание выполняется в режиме библиотек кластеров .
• %scala код не поддерживается и завершится с ошибкой.
• Действуют все стандартные ограничения режима доступа, включая отсутствие поддержки R. См. Стандартные вычислительные требования и ограничения.
• В настоящее время нельзя применять настройки режима зависимостей с помощью вычислительных политик.

Несовместимые настройки

Когда включён режим зависимостей для Environments, отключаются следующие настройки вычислений:

• Docker (Azure Databricks Container Services)
• Переменные искровой среды
• Инициализационные скрипты
• Библиотеки кластера