Создание кластера HDInsight, использующего Зоны доступности

  • Статья

Кластер Azure HDInsight состоит из нескольких узлов: головных узлов, рабочих узлов, узлов шлюзов и узлов Zookeeper. По умолчанию в регионе, который поддерживает Зоны доступности, пользователь не контролирует, в какой зоне доступности подготавливаются те или иные узлы кластера.

Благодаря этой новой функции зоны доступности пользователь может указать, в какой зоне доступности должны размещаться все узлы кластера HDInsight. Узлы кластера физически отделены от другой зоны доступности и изолированы от сбоев в других зонах доступности в том же регионе. Эта модель развертывания также обеспечивает недорогое сетевое подключение с низкой задержкой в кластере.

Репликация этой модели развертывания в нескольких зонах доступности может обеспечить более высокий уровень доступности для защиты от сбоев оборудования.

В этой статье показано, как создать кластер HDInsight в зоне доступности и как использовать эту функцию для достижения более высокого уровня доступности.

Подготовка к работе

Функция зоны доступности поддерживается только для кластеров, созданных после 15 июня. Параметры зон доступности невозможно обновить после создания кластера. Вы также не можете обновить существующий кластер зон, не являющихся зонами доступности, для использования зон доступности.

Предварительные требования и доступность в регионах

Необходимые условия:

  • Кластеры должны быть созданы в пользовательской виртуальной сети.
  • Необходимо предоставить собственную базу данных SQL для базы данных Ambari и внешнее хранилище метаданных (например, хранилище метаданных Hive), чтобы вы могли настроить эти базы данных в одной и той же зоне доступности.

В настоящее время кластеры HDInsight можно создавать с помощью зон доступности в следующих регионах:

  • Восточная Австралия
  • Южная Бразилия
  • Центральная Канада
  • Центральная часть США
  • Восточная часть США
  • Восточная часть США 2
  • Центральная Франция
  • Центрально-Западная Германия
  • Восточная Япония
  • Республика Корея, центральный регион
  • Северная Европа
  • Юго-Восточная Азия
  • Центрально-южная часть США
  • южная часть Соединенного Королевства
  • US Gov (Вирджиния)
  • Западная Европа
  • западная часть США 2

Общие сведения о зонах доступности для кластеров HDInsight

Зоны доступности являются уникальными физическими расположениями внутри региона. Каждая зона состоит из одного или нескольких центров обработки данных, оснащенных независимыми системами электроснабжения, охлаждения и сетевого взаимодействия. В Azure один регион содержит одну или несколько зон доступности. Такое физическое разделение зон доступности в пределах региона защищает приложения и данные от сбоев центров обработки данных. Дополнительные сведения см. в статье Что такое зоны доступности в Azure.

Кластеры Azure HDInsight можно настроить для развертывания в одной зоне доступности. Все узлы в этом кластере HDInsight, включая два головных узла, три узла Zookeeper, два узла шлюза и рабочие узлы, будут помещены в указанную зону доступности. Например, в регионе "Восточная часть США" есть три зоны доступности. Кластер HDInsight в регионе "Восточная часть США" можно создать со всеми узлами в зоне доступности 1.

Использование зон доступности с кластером HDInsight таким образом может обеспечить более высокую производительность и эффективность с точки зрения затрат.

  • Повышенная производительность благодаря сетевому подключению с низкой задержкой.
  • Снижение затрат. За перенос данных в пределах одной зоны доступности плата не взимается. Перенос данных в пределах зоны доступности приведет к дополнительным затратам на сеть.

Если вашему приложению требуется высокий уровень доступности в нескольких зонах доступности, можно создать один основной кластер HDInsight в одной зоне доступности и создать дополнительный кластер HDInsight в другой зоне доступности с минимальным размером, чтобы сэкономить средства. При такой структуре выход из строя одной из зон доступности никак не повлияет на этот кластер HDInsight. Если эта зона доступности выйдет из строя, клиентам потребуется сделать вторичные кластеры в другой зоне доступности первичными, направить рабочую нагрузку в этот новый первичный кластер и быстро увеличить размер кластера для обработки данных.

Создание кластера HDInsight с использованием зоны доступности

Вы можете использовать шаблон Azure Resource Manager (ARM) для запуска кластера HDInsight в указанной зоне доступности.

В разделе resources необходимо добавить раздел zones и указать зону доступности, в которой будет развернут этот кластер.

   "resources": [
        {
            "type": "Microsoft.HDInsight/clusters",
            "apiVersion": "2021-06-01",
            "name": "[parameters('cluster name')]",
            "location": "East US 2",
            "zones": [
                "1"
            ],

Проверка узлов из одной зоны доступности в разных зонах

Когда кластер HDInsight будет готов, можно проверить расположение, чтобы узнать, в какой зоне доступности он развернут.

Screenshot sthat hows availability zone info in cluster overview.

Получение ответа API:

 [
        {
            "location": "East US 2",
            "zones": [
                "1"
            ],

Вертикальное увеличение масштаба кластера

Вы можете вертикально увеличить масштаб кластера HDInsight, добавив рабочие узлы. Новые рабочие узлы будут помещены в одну зону доступности с кластером.

Рекомендации

  • Регулярно создавайте резервные копии конфигураций в базе данных Ambari.
  • Реализуйте логику, чтобы с легкостью маршрутизировать рабочую нагрузку во вторичный кластер.

Что происходит при выходе AZ из строя

  • Вы не можете установить SSH-подключение к этому кластеру.
  • Вы не можете удалить, вертикально увеличить или уменьшить масштаб этого кластера.
  • Вы не можете отправлять задания или просматривать журнал заданий.
  • Вы по-прежнему можете отправить новый запрос на создание кластера в другом регионе.