Визуализация журналов потоков для групп безопасности сети с помощью Power BI

Внимание

30 сентября 2027 г. журналы потоков Network Security Group (NSG) будут выведены из эксплуатации. В рамках этого вывода из эксплуатации вы больше не сможете создавать новые журналы потоков NSG с 30 июня 2025 года. Мы рекомендуем перейти нажурналы потоков виртуальной сети, которые преодолевают ограничения журналов потоков NSG. После окончания срока службы, аналитика трафика, включенная с использованием журналов потоков NSG, больше не будет поддерживаться, а существующие ресурсы журналов потоков NSG в ваших подписках будут удалены. Однако записи журналов потоков NSG не будут удалены и будут продолжать следовать соответствующим политикам хранения. Дополнительные сведения см. в официальном объявлении.

Журналы потоков группы безопасности сети позволяют просматривать сведения о входящем и исходящем IP-трафике на группах безопасности сети. Эти журналы потоков показывают входящие и исходящие потоки по каждому правилу, сетевой интерфейс, к которому относится поток, информацию о 5-элементном кортеже потока (исходный/конечный IP-адрес, исходный/конечный порт, протокол), а также указывают, был ли трафик разрешён или запрещён.

Сложно получить представление о данных журналирования потоков, вручную просматривая файлы журнала. В этой статье описано решение, позволяющее визуализировать свежие записи журналов потоков и выполнять анализ трафика в сети.

Предупреждение

В следующих шагах используются журналы потоков версии 1. Дополнительные сведения см. в статье Общие сведения о ведении журнала потоков для групп безопасности сети. Приведенные ниже инструкции не будут работать с файлами журнала версии 2 без изменений.

Сценарий

В следующем сценарии мы подключим Power BI Desktop к учетной записи хранения, которую мы настроили в качестве получателя для данных журнала потоков NSG. Подключившись к учетной записи хранения, Power BI выполняет загрузку и синтаксический анализ журналов, а затем наглядно отображает весь трафик, зарегистрированный для групп безопасности сети.

Предложенные в шаблоне визуальные элементы позволяют изучить следующие аспекты информации:

• наиболее активные участники обсуждения
• данные временных рядов потоков по направлениям и решениям правил
• Потоки по MAC-адресу сетевых интерфейсов
• потоки по NSG и правилам
• потоки по портам назначения.

Вы можете изменить предложенный шаблон, чтобы добавить в него новые данные и визуальные элементы или изменять запросы в соответствии со своими задачами.

Настройка

Перед началом работы необходимо включить ведение журнала потоков безопасности сети в одной или нескольких группах безопасности сети в вашей учетной записи. Инструкции по включению журналов потоков безопасности сети см. в следующей статье: введение в ведение журнала потоков для групп безопасности сети.

Также вам потребуется компьютер с установленным клиентом Power BI Desktop и достаточным объемом дискового пространства для хранения и загрузки данных журналов, сохраненных в учетной записи хранения.

Шаги

1. Скачайте и откройте следующий шаблон Power BI в приложении Power BI Desktop Наблюдатель за сетями шаблон журналов потоков Power BI

2. Введите обязательные параметры запроса.

   1. StorageAccountName — указывает имя учетной записи хранения, содержащей журналы потоков NSG, которые вы хотите загрузить и визуализировать.
   2. NumberOfLogFiles — указывает количество файлов журнала, которые нужно скачать и визуализировать в Power BI. Например, если указано значение 50, используются 50 последних файлов журнала. Если мы активировали и настроили две группы безопасности сети для отправки журналов потоков в эту учетную запись, то можем просмотреть журналы за последние 25 часов.

3. Введите ключ доступа для учетной записи хранения. Допустимые ключи доступа можно найти, перейдя в учетную запись хранения в портал Azure и выбрав ключи доступа в разделе "Безопасность и сеть". Выберите "Подключиться", а затем примените изменения.

4. Журналы скачиваются и анализируются, и теперь можно использовать предварительно созданные визуальные элементы.

Понимание визуальных элементов

В шаблоне предоставлен набор визуальных элементов, которые помогают понять данные журнала потоков для групп безопасности сети. На следующих изображениях показаны примеры того, как выглядит панель мониторинга, заполненная данными. Ниже мы рассмотрим каждый визуальный элемент более подробно.

Визуальный элемент Top Talkers (Наиболее активные источники трафика) отображает IP-адреса, от которых за исследуемый период исходило больше всего количество подключений. Размер коробок соответствует относительному количеству подключений.

На следующих диаграммах временных рядов отображается число потоков за исследуемый период. Верхний граф сегментируется по направлению потока, а нижний — по принятым решениям в отношении потока (разрешен или запрещен). Этот визуальный элемент позволяет изучить тенденции изменения трафика во времени, выявить необычные всплески активности, а также отклонения или сегментацию трафика.

На следующих диаграммах показано количество потоков по сетевым интерфейсам. Верхняя сегментируется по направлению потока, а нижняя — по принятым решениям. Эта информация позволяет проанализировать, какая из виртуальных машин передает больше трафика по сравнению с другими и разрешен или запрещен трафик на конкретную виртуальную машину.

На следующей кольцевой диаграмме представлено распределение потоков по портам назначения. Эти данные позволяют выяснить наиболее часто используемые порты назначения за исследуемый период.

На следующей столбчатой диаграмме показаны потоки по группам безопасности сети (NSG) и правилам. Эта информация позволяет выяснить, какие группы безопасности сети отвечают за большую часть трафика, а также изучить распределение трафика в группе безопасности сети по отдельным правилам.

На следующих информационных диаграммах отображаются сведения о сетевых группах безопасности (NSG), которые встречаются в журналах, количество потоков, зафиксированных за исследуемый период, а также дата самой ранней записи в журнале. Эта информация дает представление о том, какие группы сетевой безопасности (NSG) регистрируются и какой диапазон потоков охватывается.

Этот шаблон включает следующие срезы, позволяющие просматривать только интересующие вас данные. Вы можете использовать фильтры по группам ресурсов, группам безопасности сети и правилам. Также вы можете фильтровать данные по 5 кортежам, по решениям и времени записи данных в журнал.

Заключение

В этом сценарии мы показали, что с помощью журналов потоков безопасности сети, предоставляемых Network Watcher и Power BI, мы можем визуализировать и понять трафик. На основе предложенного шаблона Power BI скачивает журналы непосредственно из хранилища и обрабатывает их локально. Время, которое потребуется для загрузки шаблона, зависит от числа запрошенных файлов и общего объема скачанных файлов.

Вы можете настроить этот шаблон в соответствии с конкретными потребностями. Существует множество многочисленных способов использования Power BI с журналами потока группы безопасности сети.

Примечания.

• Журналы по умолчанию хранятся в следующем расположении: https://{storageAccountName}.blob.core.windows.net/insights-logs-networksecuritygroupflowevent/

  • Если у вас есть другие данные, которые хранятся в другом каталоге, следует соответствующим образом изменить запросы на получение и обработку данных.

• Указанный шаблон не рекомендуется использовать с более чем 1 ГБ журналов.

• Если у вас очень много журналов для анализа, мы рекомендуем использовать другое хранилище данных, например Data Lake или SQL Server.

Следующие шаги

Узнайте, как визуализировать журналы потоков NSG с помощью Elastic Stack, посетив страницу Визуализация журналов потоков NSG с использованием инструментов с открытым исходным кодом.