Поделиться через

Управление библиотеками в Spark

  • Статья

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

Цель управления библиотеками — сделать открытый или пользовательский код доступным для записных книжек и заданий, выполняемых в кластерах. Библиотеки Python можно отправлять из репозиториев PyPI. В этой статье рассматривается управление библиотеками в пользовательском интерфейсе кластера. Azure HDInsight в AKS уже включает множество общих библиотек в кластере. Чтобы узнать, какие библиотеки включены в HDI в кластере AKS, просмотрите страницу управления библиотекой.

Установка библиотек

Библиотеки можно установить в двух режимах:

  • Установлен кластер
  • Записная книжка область

Установлен кластер

Все записные книжки, работающие в кластере, могут использовать библиотеки кластера. Вы можете установить библиотеку кластера непосредственно из общедоступный репозиторий, например PyPi. Отправка из репозиториев Maven, отправка пользовательских библиотек из облачного хранилища приведена в схеме.

Снимок экрана: страница диспетчера установленных библиотек кластера.

Записная книжка область

Библиотеки с область записной книжкой, доступные для Python и Scala, которые позволяют устанавливать библиотеки и создавать среду, область в сеанс записной книжки. Эти библиотеки не влияют на другие записные книжки, работающие в одном кластере. Библиотеки записных книжек область не сохраняются и должны быть переустанованы для каждого сеанса.

Примечание.

Используйте библиотеки с областью действия записной книжки, если вам нужна настраиваемая среда для конкретной записной книжки.

Режимы установки библиотеки

PyPI: получение библиотек из репозитория pyPI открытый код путем упоминание имени библиотеки и версии в пользовательском интерфейсе установки.

Просмотр установленных библиотек

  1. На странице обзора перейдите к диспетчеру библиотек.

    Снимок экрана: страница диспетчера библиотеки.

  2. В Диспетчере кластеров Spark щелкните диспетчер библиотек.

  3. Список установленных библиотек можно просмотреть здесь.

    Снимок экрана: просмотр установленных библиотек.

Добавление мини-приложения библиотеки

PyPI

  1. На вкладке PyPI введите имя пакета и версию пакета.

  2. Щелкните Установить.

    Снимок экрана: установка PyPI.

Удаление библиотек

Если вы решили больше не использовать библиотеки, вы можете легко удалить пакеты библиотек с помощью кнопки удаления на странице управления библиотекой.

  1. Выберите и щелкните имя библиотеки

    Снимок экрана: выбор библиотеки.

  2. Щелкните "Удалить" в мини-приложении

    Снимок экрана: удаление библиотеки.

    Примечание.

    • Пакеты, установленные из записной книжки Jupyter, можно удалить только из Jupyter Notebook.
    • Пакеты, установленные из диспетчера библиотек, можно удалить только из диспетчера библиотек.
    • Чтобы обновить библиотеку или пакет, удалите текущую версию библиотеки и применит необходимую версию библиотеки.
    • Установка библиотек из записной книжки Jupyter связана с сеансом. Он не сохраняется.
    • Установка тяжелых пакетов может занять некоторое время из-за их размера и сложности.