Управление сетевым трафиком в Azure HDInsight

  • Статья

Для управления сетевым трафиком в виртуальных сетях Azure можно использовать следующие методы:

  • Группы безопасности сети (NSG) позволяют фильтровать входящий и исходящий трафик в сети. Дополнительные сведения см. в документе Фильтрация сетевого трафика с помощью групп безопасности сети.

  • Виртуальные сетевые модули можно использовать только с исходящим трафиком. Виртуальные сетевые модули выполняют функции таких устройств, как межсетевые экраны и маршрутизаторы. Дополнительные сведения см. в документе Сетевые устройства.

Поскольку HDInsight является управляемой службой, ей требуется неограниченный доступ к службам работоспособности и управления HDinsight как для входящего, так и исходящего трафика виртуальной сети. При использовании групп безопасности сети необходимо убедиться, что эти службы могут взаимодействовать с кластером HDInsight.

Diagram of HDInsight entities created in Azure custom VNET.

Azure HDInsight с группами безопасности сети

Если для управления сетевым трафиком вы планируете использовать группы безопасности сети, выполните следующие действия перед установкой HDInsight.

  1. Определите регион Azure, который планируется использовать для HDInsight.

  2. Найдите теги службы, необходимые для HDInsight в вашем регионе. Существует несколько способов получить эти теги службы:

    1. Просмотрите список опубликованных тегов службы в разделе Теги службы "Группа безопасности сети" (NSG) для Azure HDInsight.
    2. Если ваш регион отсутствует в списке, используйте API обнаружения тегов службы, чтобы найти тег службы для вашего региона.
    3. Если вы не можете использовать API, скачайте JSON-файл тега службы и найдите нужный регион.

  3. Создайте или измените группы безопасности сети для подсети, в которой планируется установить HDInsight.

    • Группы безопасности сети: разрешите входящий трафик через порт 443 с диапазона IP-адресов. Это позволит гарантировать, что службы управления HDInsight смогут обращаться к кластеру из-за пределов виртуальной сети. Для кластеров Kafka с поддержкой прокси-сервера REST дополнительно разрешите входящий трафик через порт 9400. Это обеспечит доступность прокси-сервера REST для Kafka.

Дополнительные сведения см. в статье Группы безопасности сети.

Управление исходящим трафиком из кластеров HDInsight

Дополнительные сведения об управлении исходящим трафиком из кластеров HDInsight см. в статье Настройка исходящего сетевого трафика для кластеров Azure HDInsight с помощью брандмауэра.

Принудительное туннелирование в локальную сеть

Принудительное туннелирование — это определяемая пользователем конфигурация маршрутизации, в которой весь трафик из подсети принудительно направляется в определенную сеть или расположение, например в локальную сеть или на брандмауэр. Принудительное туннелирование всех передаваемых данных в локальную среду не рекомендуется из-за больших объемов передачи данных и потенциального ухудшения производительности.

Клиентам, которые хотят настроить принудительное туннелирование, следует применить пользовательские хранилища метаданных и настроить подключение к ним из подсети кластера или локальной сети.

Из этой статьи вы узнаете, как настроить ограничения исходящего сетевого трафика для кластеров Azure HDInsight с помощью определяемых пользователем маршрутов в Брандмауэре Azure.

Требуемые порты

Если вы планируете использовать брандмауэр и получить доступ к кластеру за пределами определенных портов, вам следует разрешить трафик на этих портах, необходимых для вашего сценария. По умолчанию специальная фильтрация портов не требуется, если трафик управления Azure, описанный в предыдущем разделе, пропускается на порт 443 кластера.

См. список портов, используемых службами Hadoop в HDInsight.

Дополнительные сведения о правилах межсетевого экрана для виртуальных модулей см. в документе Сценарий использования виртуальных устройств.

Следующие шаги