Установка пользовательских приложений Apache Hadoop в Azure HDInsight

  • Статья

Из этой статьи вы узнаете, как установить в Azure HDInsight приложение Apache Hadoop, которое не было опубликовано на портале Azure. В этой статье описана установка приложения Hue.

Пользователи могут устанавливать приложения HDInsight в кластере HDInsight. Разработчиками этих приложений могут быть корпорация Майкрософт, независимые поставщики программного обеспечения или вы сами.

Необходимые компоненты

Если вы хотите установить приложение HDInsight в существующем кластере HDInsight, вы должны создать кластер HDInsight. Инструкции по созданию кластера см. в этом разделе. Вы также можете установить приложения HDInsight во время создания кластера HDInsight.

Установка приложений HDInsight

Приложения HDInsight можно устанавливать во время создания кластера или в уже существующем кластере HDInsight. Инструкции по определению шаблонов Azure Resource Manager см. в статье Install an HDInsight application (Установка приложения HDInsight) на сайте MSDN.

Далее перечислены файлы, необходимые для развертывания этого приложения (Hue).

  • azuredeploy.json — шаблон Resource Manager для установки приложения HDInsight. Инструкции по разработке собственного шаблона Resource Manager см. в статье Install an HDInsight application (Установка приложения HDInsight) на сайте MSDN.
  • hue-install_v0.sh — действие скрипта, вызываемое шаблоном Resource Manager для настройки граничного узла.
  • hue-binaries.tgz — двоичный файл hue, вызываемый из hui-install_v0.sh.
  • hue-binaries-14-04.tgz — двоичный файл hue, вызываемый из hui-install_v0.sh.
  • webwasb-tomcat.tar.gz — пример веб-приложения (Tomcat), вызываемый из hui-install_v0.sh.

Установка приложения Hue в существующем кластере HDInsight

  1. Щелкните следующее изображение, чтобы войти в Azure и открыть шаблон Resource Manager на портале Azure.

    Deploy to Azure button for new cluster

    Шаблон Resource Manager доступен по адресу https://github.com/hdinsight/Iaas-Applications/tree/master/Hue. Дополнительные сведения о создании шаблона Resource Manager см. в статье Install an HDInsight application (Установка приложения HDInsight) на сайте MSDN.

  2. Выберите в раскрывающемся списке существующую Группу ресурсов, содержащую кластер. Необходимо использовать группу ресурсов, в которую входит кластер.

  3. Имя кластера, в котором вы хотите установить приложение. Это должен быть существующий кластер.

  4. Установите флажок Я принимаю указанные выше условия.

  5. Щелкните Приобрести.

Состояние установки можно наблюдать на плитке, закрепленной на панели мониторинга, и в уведомлении портала (щелкните значок колокольчика в верхней части портала). Установка приложения занимает около 10 минут.

Установка приложения Hue во время создания кластера

  1. Щелкните следующее изображение, чтобы войти в Azure и открыть шаблон Resource Manager на портале Azure.

    Deploy to Azure button for new cluster

    Дополнительные сведения о создании шаблона Resource Manager см. в статье Install an HDInsight application (Установка приложения HDInsight) на сайте MSDN.

  2. Выполните инструкции по созданию кластера и установите приложение Hue. Дополнительные сведения о создании кластеров HDInsight см. в статье Создание кластеров Hadoop под управлением Linux в HDInsight.

Другие методы установки

Вызывать шаблоны Resource Manager можно с помощью портала Azure, а также Azure PowerShell и интерфейса командной строки Azure.

Проверка установки

Вы можете просмотреть состояние приложения на портале Azure, чтобы проверить установку приложения. Кроме того, вы можете проверить появление правильных конечных точек HTTP и веб-страницу (если она есть).

Для Hue выполните указанные ниже действия.

Портал Azure

  1. Войдите на портал Azure.
  2. Щелкните кластер, в котором установлено приложение.
  3. В меню Параметры выберите Приложения.
  4. Выберите hue в списке, чтобы просмотреть свойства.
  5. Выберите ссылку на веб-страницу, чтобы проверить сайт.

Azure CLI

Замените CLUSTERNAMEи RESOURCEGROUP наведите соответствующие значения, а затем введите следующие команды:

  • Список всех приложений для кластера HDInsight.

    az hdinsight application list --cluster-name CLUSTERNAME --resource-group RESOURCEGROUP

  • Чтобы получить свойства указанного приложения.

    az hdinsight application show --name hue --cluster-name CLUSTERNAME --resource-group RESOURCEGROUP

Устранение неполадок, связанных с установкой

Состояние установки приложения можно наблюдать в уведомлении портала (щелкните значок колокольчика в верхней части портала).

Если произошел сбой установки приложения, вы можете просмотреть сообщения об ошибках и информацию об отладке в трех местах:

  • Приложения HDInsight: общие сведения об ошибке.

    Откройте кластер на портале и в колонке "Параметры" щелкните пункт "Приложения":

    hdinsight applications application installation error.

  • Действие сценария HDInsight: если сообщение об ошибке приложений HDInsight указывает на сбой действия сценария, дополнительные сведения о сбое сценария отобразятся на панели действий сценария.

    Выберите "Действие скрипта" в параметрах. Журнал действий сценария отображает сообщения об ошибках.

    hdinsight applications script action error.

  • Веб-интерфейс Apache Ambari: если сценарий установки был причиной сбоя, используйте веб-интерфейс Ambari, чтобы просмотреть полные журналы сценариев установки.

    Дополнительные сведения см. в статье Устранение неполадок в действиях скриптов.

Удаление приложений HDInsight

Портал Azure

  1. Войдите на портал Azure.
  2. Щелкните кластер, в котором установлено приложение.
  3. В меню Параметры выберите Приложения.
  4. Щелкните правой кнопкой мыши приложение, которое нужно удалить, и выберите пункт Удалить.
  5. Выберите Да для подтверждения.

Azure CLI

Замените NAME, CLUSTERNAMEа RESOURCEGROUP затем соответствующими значениями и введите следующую команду:

az hdinsight application delete --name NAME --cluster-name CLUSTERNAME --resource-group RESOURCEGROUP

Следующие шаги