Поделиться через

Оптимизация кластеров с помощью Apache Ambari в Azure HDInsight

  • Статья

HDInsight предоставляет кластеры Apache Hadoop для приложений, предназначенных для обработки больших объемов данных. Администрирование, мониторинг и оптимизация этих кластеров со сложной структурой и множеством узлов может оказаться нелегкой задачей. Веб-интерфейс Apache Ambari специально разработан для управления кластерами HDInsight Linux и их мониторинга.

Основные сведения о пользовательском веб-интерфейсе Ambari см. в статье Управление кластерами HDInsight с помощью веб-интерфейса Ambari.

Войдите в Ambari по адресу https://CLUSTERNAME.azurehdidnsight.net с помощью учетных данных кластера. На начальном экране показана панель мониторинга с общими сведениями.

Apache Ambari user dashboard displayed.

С помощью пользовательского веб-интерфейса Ambari можно управлять узлами, службами, оповещениями, конфигурациями и представлениями. Ambari нельзя использовать для создания кластера HDInsight или обновления служб. Также это средство не может управлять стеками, версиями, выводить узлы из эксплуатации и включать их обратно, а также добавлять службы в кластер.

Управление конфигурацией кластера

Параметры конфигурации помогают настроить определенную службу. Чтобы изменить параметры конфигурации службы, выберите нужную службу на боковой панели Services (Службы) слева. Теперь перейдите на вкладку Configs (Конфигурации) на странице сведений о службе.

Apache Ambari Services sidebar.

Изменение размера кучи NameNode Java

Размер кучи Java NameNode зависит от многих разных факторов, в том числе от загрузки кластера. Также учитывается число файлов и блоков. По умолчанию ее размер составляет 1 ГБ, что подходит для большинства кластеров, хотя для некоторых рабочих нагрузок может потребоваться больше или меньше памяти.

Вот как можно изменить размер кучи NameNode Java.

  1. Выберите HDFS на боковой панели "Services" (Службы) и перейдите на вкладку Configs (Конфигурации).

    Apache Ambari HDFS configuration.

  2. Найдите параметр NameNode Java heap size (Размер кучи NameNode Java). Можно также использовать текстовое поле фильтра, чтобы ввести и найти конкретное значение. Щелкните значок пера рядом с именем параметра.

    Apache Ambari NameNode Java heap size.

  3. Введите новое значение в текстовом поле и нажмите клавишу ВВОД, чтобы сохранить изменения.

    Ambari Edit NameNode Java heap size1.

  4. Размер кучи Java NameNode изменяется на 1 ГБ с 2 ГБ.

    Edited NameNode Java heap size2.

  5. Сохраните изменения, нажав зеленую кнопку Save (Сохранить) в верхней части экрана конфигурации.

    `Apache Ambari save configurations`.

Следующие шаги