Библиотеки уровня кластера

Библиотеки кластера можно использовать всеми записными книжками и заданиями, работающими в кластере. В этой статье описано использование пользовательского интерфейса библиотеки установки в рабочей области Azure Databricks.

Примечание.

Если вы создаете вычислительные ресурсы с помощью политики, которая применяет установку библиотек, вы не можете установить или удалить библиотеки на вычислительных ресурсах. Администраторы рабочей области контролируют все управление библиотеками на уровне политики.

Библиотеки можно установить в кластер с помощью следующих подходов:

• Установка библиотеки для использования с определенным кластером.

• Установите библиотеку с помощью REST API. См. API библиотек.

• Установите библиотеку с помощью интерфейса командной строки Databricks. См. сведения о интерфейсе командной строки Databricks?.

• Установите библиотеку с помощью Terraform. См. сведения о поставщике Databricks Terraform и databricks_library.

• Установите библиотеку, создав кластер с политикой, которая определяет установки библиотеки. См. раздел "Добавление библиотек в политику".

• (Не рекомендуется) Установите библиотеку с помощью скрипта инициализации, который выполняется во время создания кластера. См. статью "Установка библиотеки с помощью скрипта инициализации ( устаревшая версия)".

Установка библиотеки в кластере

Установка библиотеки в кластер:

1. На боковой панели щелкните Вычислительная среда.
2. Щелкните имя кластера.
3. Перейдите на вкладку "Библиотеки ".
4. Щелкните Установить новую.
5. Откроется диалоговое окно "Установка библиотеки ".
6. Выберите один из параметров источника библиотеки, выполните отображаемые инструкции и нажмите кнопку "Установить".

Внимание

Библиотеки можно установить из DBFS при использовании Databricks Runtime 14.3 LTS и ниже. Однако любой пользователь рабочей области может изменять файлы библиотеки, хранящиеся в DBFS. Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корне DBFS устарело и отключено по умолчанию в Databricks Runtime 15.0 и выше. См . статью "Хранение библиотек в корневом каталоге DBFS" не рекомендуется и отключается по умолчанию.

Вместо этого Databricks рекомендует отправлять все библиотеки, включая библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области или тома каталога Unity или с помощью репозиториев пакетов библиотеки. Если рабочая нагрузка не поддерживает эти шаблоны, можно также использовать библиотеки, хранящиеся в облачном хранилище объектов.

Не все режимы доступа к кластеру поддерживают все конфигурации библиотеки. См. библиотеки с область кластера.

Источник библиотеки	Instructions
Рабочая область	Выберите файл рабочей области или отправьте Whl, zippped wheelhouse, JAR, ZIP, tar или requirements.txt файл. См. статью "Установка библиотек из файлов рабочей области"
Тома	Выберите Whl, JAR или requirements.txt файл из тома. См. статью "Установка библиотек из тома".
Путь к файлу или ADLS	Выберите тип библиотеки и укажите полный URI для объекта библиотеки (например, /Workspace/path/to/library.whl, /Volumes/path/to/library.whlили abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). См. статью "Установка библиотек из хранилища объектов".
PyPI	Введите имя пакета PyPI. См . пакет PyPI.
Maven	Укажите координату Maven. См . пакет Maven или Spark.
КРАН	Введите имя пакета. См . пакет CRAN.
DBFS (не рекомендуется)	Загрузите JAR-файл или Whl в корневой каталог DBFS. Это не рекомендуется, так как файлы, хранящиеся в DBFS, могут быть изменены любым пользователем рабочей области.

При установке библиотеки в кластере записная книжка, уже подключенная к этому кластеру, не сможет сразу обнаружить новую библиотеку. Сначала необходимо отключить записную книжку, а затем повторно подключить ее к кластеру.

Установка библиотеки с помощью политики

При создании кластера с помощью политики, которая применяет установку библиотек, указанные библиотеки автоматически устанавливаются в кластере. Вы не можете установить дополнительные библиотеки или удалить любые библиотеки.

Администраторы рабочей области могут добавлять библиотеки в политики, позволяя им управлять и применять установку библиотек на всех вычислительных ресурсах, использующих политику. Инструкции администратора см. в разделе "Добавление библиотек в политику".

Удаление библиотеки из кластера

Примечание.

При удалении библиотеки из кластера библиотека удаляется только при перезапуске кластера. До тех пор пока кластер не будет перезапущен, состояние удаленной библиотеки отображается как Удаление; ожидание перезапуска.

Чтобы удалить библиотеку, можно использовать пользовательский интерфейс кластера:

1. На боковой панели щелкните Вычислительная среда.
2. Щелкните имя кластера.
3. Перейдите на вкладку "Библиотеки ".
4. Установите флажок рядом с кластером, из которого нужно удалить библиотеку, нажмите кнопку Удалить, а затем Подтвердить. Состояние изменится на Удаление: ожидание перезапуска.

Нажмите кнопку Перезапустить и Подтвердить, чтобы удалить библиотеку. Библиотека будет удалена со вкладки "Библиотеки кластера".

Просмотр библиотек, установленных в кластер

1. На боковой панели щелкните Вычислительная среда.
2. Щелкните имя кластера.
3. Перейдите на вкладку Библиотеки. Для каждой библиотеки на вкладке отображаются имя и версия, тип, состояние установки и, если отправлено, исходный файл.

Обновление библиотеки, установленной в кластер

Чтобы обновить библиотеку, установленную в кластер, удалите старую версию библиотеки и установите новую.

Примечание.

Requirements.txt файлы не требуют удаления и перезапуска. Если вы изменили содержимое файла requirements.txt, его можно просто переустановить, чтобы обновить содержимое установленного файла.