Визуализация журналов потоков для групп безопасности сети с помощью Power BI
Внимание
30 сентября 2027 г. журналы потоков безопасности сети (NSG) будут прекращены. В рамках этого выхода на пенсию вы больше не сможете создавать новые журналы потоков NSG с 30 июня 2025 года. Мы рекомендуем перенести журналы потоков виртуальной сети, которые преодолевают ограничения журналов потоков NSG. После выхода на пенсию аналитика трафика, включенная с помощью журналов потоков NSG, больше не будет поддерживаться, а существующие ресурсы журналов потоков NSG в подписках будут удалены. Однако записи журналов потоков NSG не будут удалены и будут продолжать следовать соответствующим политикам хранения. Дополнительные сведения см. в официальном объявлении.
Журналы потоков группы безопасности сети позволяют просматривать сведения о входящего и исходящего IP-трафика в группах безопасности сети. Эти журналы потоков отображают для каждого входящего и исходящего потока применимые правила, сетевой адаптер, к которому относится поток, информацию о 5 кортежах (исходный IP-адрес и порт, конечный IP-адрес и порт, тип протокола), а также информацию о запрете или разрешении трафика.
Ручной поиск по файлам журналов невозможно использовать для анализа информации. В этой статье описано решение, позволяющее визуализировать свежие записи журналов потоков и выполнять анализ трафика в сети.
Предупреждение
В следующих шагах используются журналы потоков версии 1. Дополнительные сведения см. в статье Общие сведения о ведении журнала потоков для групп безопасности сети. Приведенные ниже инструкции не будут работать с файлами журнала версии 2 без изменений.
Сценарий
В следующем сценарии мы подключим Power BI Desktop к учетной записи хранения, которую мы настроили в качестве приемника для данных журнала потоков для групп безопасности сети. Подключившись к учетной записи хранения, Power BI выполняет загрузку и синтаксический анализ журналов, а затем наглядно отображает весь трафик, зарегистрированный для групп безопасности сети.
Предложенные в шаблоне визуальные элементы позволяют изучить следующие аспекты информации:
- наиболее активные источники трафика;
- данные потоков временных рядов по направлениям и типам правил;
- потоки по MAC-адресам сетевых интерфейсов;
- потоки по группам безопасности сети и правилам;
- потоки по конечным портам.
Вы можете изменить предложенный шаблон, чтобы добавить в него новые данные и визуальные элементы или изменять запросы в соответствии со своими задачами.
Настройка
Перед началом работы необходимо включить ведение журнала потоков безопасности сети в одной или нескольких группах безопасности сети в вашей учетной записи. Инструкции по включению журналов потоков безопасности сети см. в следующей статье: введение в ведение журнала потоков для групп безопасности сети.
Также вам потребуется компьютер с установленным клиентом Power BI Desktop и достаточным объемом дискового пространства для хранения и загрузки данных журналов, сохраненных в учетной записи хранения.
Шаги
Скачайте и откройте следующий шаблон Power BI в приложении Power BI Desktop Наблюдатель за сетями шаблон журналов потоков Power BI
Введите обязательные параметры запроса.
StorageAccountName — указывает имя учетной записи хранения, содержащей журналы потоков для групп безопасности сети, которые вы хотите загрузить и визуализировать.
NumberOfLogFiles — указывает количество файлов журнала, которые нужно скачать и визуализировать в Power BI. Например, если указано значение 50, используются 50 последних файлов журнала. Если в этой учетной записи мы настроили отправку журналов потоков от двух групп безопасности сети, то сможем просмотреть журналы за последние 25 часов.
Введите ключ доступа для учетной записи хранения. Допустимые ключи доступа можно найти, перейдя в учетную запись хранения в портал Azure и выбрав ключи доступа в разделе "Безопасность и сеть". Выберите "Подключиться", а затем примените изменения.
Журналы скачиваются и анализируются, и теперь можно использовать предварительно созданные визуальные элементы.
Основные сведения о визуальных элементах
В шаблоне описан набор визуальных элементов, которые помогают анализировать данные журнала потоков для групп безопасности сети. На следующих изображениях показаны примеры того, как выглядит панель мониторинга, заполненная данными. Ниже мы рассмотрим каждый визуальный элемент более подробно.
Визуальный элемент Top Talkers (Наиболее активные источники трафика) отображает IP-адреса, от которых за исследуемый период исходило больше всего количество подключений. Размер прямоугольников соответствует относительному количеству подключений.
На следующих диаграммах временных рядов отображается число потоков за исследуемый период. Верхний граф сегментируется по направлению потока, а нижний — по принятым решениям в отношении потока (разрешен или запрещен). Этот визуальный элемент позволяет изучить тенденции изменения трафика во времени, выявить необычные всплески активности, а также отклонения или сегментацию трафика.
На следующих диаграммах показано количество потоков по сетевым интерфейсам. Верхняя сегментируется по направлению потока, а нижняя — по принятым решениям. Эта информация позволяет проанализировать, какая из виртуальных машин передает больше трафика по сравнению с другими и разрешен или запрещен трафик на конкретную виртуальную машину.
На следующей кольцевой диаграмме представлено распределение потоков по портам назначения. Эти данные позволяют выяснить наиболее часто используемые порты назначения за исследуемый период.
На следующей линейчатой диаграмме потоки представлены по группам безопасности сети и правилам. Эта информация позволяет выяснить, какие группы безопасности сети отвечают за большую часть трафика, а также изучить распределение трафика в группе безопасности сети по отдельным правилам.
На следующих информационных диаграммах отображаются сведения о группах безопасности сети, которые встречаются в журналах, число потоков за исследуемый период, а также дата самой ранней записи в журналах. Эти сведения позволяют понять, какие группы безопасности сети и какие периоды включены в журнал.
Этот шаблон включает следующие срезы, позволяющие просматривать только интересующие вас данные. Вы можете использовать фильтры по группам ресурсов, группам безопасности сети и правилам. Также вы можете фильтровать данные по 5 кортежам, по решениям и времени записи данных в журнал.
Заключение
В этом сценарии мы показали, что с помощью журналов потока безопасности сети, предоставляемых Наблюдатель за сетями и Power BI, мы можем визуализировать и понять трафик. На основе предложенного шаблона Power BI скачивает журналы непосредственно из хранилища и обрабатывает их локально. Время, которое потребуется для загрузки шаблона, зависит от числа запрошенных файлов и общего объема скачанных файлов.
Вы можете настроить этот шаблон в соответствии с конкретными потребностями. Существует множество способов использования Power BI с журналами потока потока безопасности сети.
Примечания.
Журналы по умолчанию хранятся в следующем расположении:
https://{storageAccountName}.blob.core.windows.net/insights-logs-networksecuritygroupflowevent/- Если у вас есть другие данные, которые хранятся в другом каталоге, следует соответствующим образом изменить запросы на получение и обработку данных.
Указанный шаблон не рекомендуется использовать с более чем 1 ГБ журналов.
Если у вас очень много журналов для анализа, мы рекомендуем использовать другое хранилище данных, например Data Lake или SQL Server.
Следующие шаги
Узнайте, как визуализировать журналы потоков для групп безопасности сети с помощью Elastick Stack, прочитав статью Визуализация журнала потоков для групп безопасности сети Наблюдателя за сетями Azure с помощью инструментов с открытым кодом.