Архитектура виртуальной сети Azure HDInsight

В этой статье описываются ресурсы, которые присутствуют при развертывании кластера HDInsight в пользовательскую виртуальную сеть Azure. Эти сведения помогают подключать локальные ресурсы к кластеру HDInsight в Azure. Дополнительные сведения о виртуальных сетях Azure см. в статье "Что такое виртуальная сеть Azure"?

Типы ресурсов в кластере Azure HDInsight

Кластеры Azure HDInsight имеют различные типы виртуальных машин или узлов. Каждый тип узла играет определенную роль в работе системы. В следующей таблице перечислены типы узлов и их роли в кластере.

Тип	Описание
Узел ZooKeeper	ZooKeeper координирует задачи между узлами, выполняющими обработку данных. Он также выполняет выбор лидера головного узла и отслеживает, на каком головном узле запущена конкретная главная служба. Число узлов ZooKeeper фиксировано (3 узла).
Рабочий узел	Представляет узлы, поддерживающие функции обработки данных. Рабочие узлы могут быть добавлены в кластер или удалены из него для масштабирования вычислительных возможностей и управления затратами.
Региональный узел	Узел региона (также называемый узлом данных) запускает Региональный сервер для типа кластера HBase. Региональные серверы обслуживают и управляют частью данных, управляемых HBase. Региональные узлы могут быть добавлены в кластер или удалены из него для масштабирования вычислительных возможностей и управления затратами.

Соглашения об именовании ресурсов

При адресации узлов в кластере используйте полные доменные имена. Полные доменные имена для различных типов узлов в кластере можно получить с помощью API Ambari.

Эти полные доменные имена имеют следующую форму: <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.

<node-type-prefix> предназначены hn для головных узлов, wn для рабочих узлов и zn для узлов Zookeeper.

Если требуется только имя узла, используйте только первую часть полного доменного имени: <node-type-prefix><instance-number>-<abbreviated-clustername>

Основные ресурсы виртуальной сети

На следующей схеме показано размещение узлов HDInsight и сетевых ресурсов в Azure.

Ресурсы по умолчанию в виртуальной сети Azure содержат в себе типы узлов кластера, упомянутые в предыдущей таблице, а также сетевые устройства, поддерживающие обмен данными между виртуальной сетью и внешними сетями.

В следующей таблице приведены девять узлов кластера, созданные при развертывании HDInsight в настраиваемой виртуальной сети Azure.

Тип ресурса	Число присутствующих	Сведения
Головной узел	два
Узел ZooKeeper	три
Рабочий узел	два	Количество может варьироваться в зависимости от конфигурации и масштабирования кластера. Для Apache Kafka требуется не менее трех рабочих узлов.
Узел шлюза	два	Узлы шлюза — это виртуальные машины Azure, которые создаются в Azure, но не отображаются в подписке. Если необходимо перезагрузить эти узлы, обратитесь в службу поддержки.

В виртуальной сети, используемой в HDInsight, автоматически создаются следующие сетевые ресурсы.

Сетевые ресурсы	Число присутствующих	Сведения
Подсистема балансировки нагрузки	два	Подсистема балансировки нагрузки предоставляет входящий сетевой доступ для узлов. Для двух подсистем балансировки нагрузки используются два головного узла и два узла шлюза. Подсистемы балансировки нагрузки — это стандартный номер SKU.
Сетевые интерфейсы	девять	Это значение основано на обычном кластере, где каждый узел имеет собственный сетевой интерфейс. Эти девять интерфейсов предназначены для двух узлов управления, трех узлов ZooKeeper, двух рабочих узлов и двух шлюзовых узлов, упомянутых в предыдущей таблице.
Общедоступные IP-адреса	два	Два общедоступных IP-адреса связаны с подсистемами балансировки нагрузки.

Существует несколько методов исходящего подключения, которые можно использовать с пользовательской виртуальной сетью, показанной в переводе сетевых адресов источника (SNAT) для исходящих подключений — Azure Load Balancer.

Примечание.

Самый рекомендуемый способ — связать подсеть с шлюзом NAT. Для этого требуется шлюз NAT и группа безопасности сети, созданная в подсети перед созданием кластера HDInsight. Вы можете привязывать общедоступный IP-адрес или префикс общедоступного IP-адреса с шлюзом NAT. Сведения о создании правил NSG см. в статье "Управление сетевым трафиком в Azure HDInsight"

Конечные точки для подключения к HDInsight

Получить доступ к кластеру HDInsight можно тремя способами:

• Конечная точка HTTPS за пределами виртуальной сети по адресу CLUSTERNAME.azurehdinsight.net.
• Конечная точка SSH для прямого подключения к головному узлу на адресе CLUSTERNAME-ssh.azurehdinsight.net.
• Конечная точка HTTPS внутри виртуальной сети CLUSTERNAME-int.azurehdinsight.net. Обратите внимание на "-int" в этом URL-адресе. Эта конечная точка привязывается к частному IP-адресу в этой виртуальной сети и недоступна из публичного интернета.

Каждой из этих трех конечных точек назначается подсистема балансировки нагрузки.

Общедоступные IP-адреса также предоставляются двум конечным точкам, которые позволяют подключение извне виртуальной сети.

1. Один общедоступный IP-адрес назначается системе балансировки нагрузки для полного доменного имени (FQDN) и используется при подключении к кластеру из Интернета CLUSTERNAME.azurehdinsight.net.
2. Второй общедоступный IP-адрес используется только для доменного имени, предназначенного для протокола SSH CLUSTERNAME-ssh.azurehdinsight.net.

Следующие шаги

• Защита входящего трафика в кластерах HDInsight в виртуальной сети с помощью частной конечной точки