Журналы потоков виртуальной сети

Журналы потоков виртуальной сети — это функция Azure Network Watcher. Их можно использовать для регистрации сведений об IP-трафике, проходящем через виртуальную сеть.

Потоковые данные из журналов потоков виртуальной сети отправляются в Azure Storage. Оттуда вы можете получить доступ к данным и экспортировать их в любое средство визуализации, решение для управления сведениями о безопасности и событиями (SIEM) или систему обнаружения вторжений (IDS). Журналы потоков виртуальной сети преодолевают некоторые ограничения журналов потоков группы безопасности сети и являются более экономичными.

Зачем использовать журналы потоков?

Крайне важно отслеживать, управлять и знать свою сеть, чтобы вы могли защитить и оптимизировать ее. Возможно, вам потребуется знать текущее состояние сети, кто подключается и откуда подключаются пользователи. Вам также может потребоваться знать, какие порты открыты для подключения к Интернету, какое поведение сети ожидается, какое поведение сети является нерегулярным и когда происходит внезапное увеличение трафика.

Журналы потоков — это источник достоверных сведений обо всей сетевой активности в вашей облачной среде. Независимо от того, работаете ли вы в стартапе, который стремится оптимизировать ресурсы, или в крупном предприятии, пытающемся обнаружить вторжение, журналы потоков могут помочь. Их можно использовать для оптимизации сетевых потоков, мониторинга пропускной способности, проверки соответствия, обнаружения вторжений и многого другого.

Распространенные варианты использования

Мониторинг сетей

  • Определите неизвестный или нежелательный трафик.
  • Отслеживайте уровни трафика и потребление пропускной способности.
  • Фильтрация журналов потоков по IP-адресу и порту для понимания поведения приложения.
  • Экспорт журналов потоков в средства аналитики и визуализации для настройки панелей мониторинга.

Мониторинг использования и оптимизация

  • Определите основных участников в вашей сети.
  • Объедините данные GeoIP для идентификации трафика между регионами.
  • Анализ роста трафика для прогнозирования потребности в мощностях.
  • Используйте данные для удаления чрезмерно строгих правил трафика.

Compliance

  • Используйте потоковые данные для проверки изоляции сети и соответствия корпоративным правилам доступа.

Аналитика сети и анализ безопасности

  • Анализируйте сетевые потоки от взломанных IP-адресов и сетевых интерфейсов.
  • Экспорт журналов потоков в любую SIEM-систему или систему обнаружения вторжений.

Журналы потоков виртуальной сети в сравнении с журналами потоков группы безопасности сети

Как в журналах потоков виртуальной сети, так и в журналах потоков группы безопасности сети записывается IP-трафик, но они различаются по своему поведению и возможностям.

Журналы потоков виртуальной сети упрощают область мониторинга трафика, так как можно включить ведение журнала в виртуальных сетях. Записывается трафик через все поддерживаемые рабочие нагрузки в виртуальной сети.

Журналы потоков виртуальной сети также позволяют избежать необходимости включения многоуровневого ведения журнала потоков, например в журналах потоков группы безопасности сети. В журналах потоков групп безопасности сети группы безопасности сети настраиваются как в подсети, так и на сетевом интерфейсе (NIC).

Помимо существующей возможности идентификации трафика, который разрешают или запрещают правила группы безопасности сети, журналы потоков виртуальных сетей позволяют идентифицировать трафик, который разрешают или запрещают правила администратора безопасности Azure Virtual Network Manager. Журналы потоков виртуальной сети также поддерживают оценку состояния шифрования сетевого трафика в сценариях, где используется шифрование виртуальной сети.

Important

Мы рекомендуем отключить журналы потоков группы безопасности сети перед включением журналов потоков виртуальной сети на тех же базовых рабочих нагрузках, чтобы избежать дублирования записи трафика и дополнительных затрат.

Если включить журналы потоков группы безопасности сети в группе безопасности сети подсети, а затем включить журналы потоков виртуальной сети в той же подсети или родительской виртуальной сети, вы можете получить повторяющиеся журналы или только журналы потоков виртуальной сети.

Как работает журналирование

Основные свойства журналов потоков виртуальной сети включают в себя:

  • Журналы потоков работают на уровне 4 модели взаимодействия открытых систем (OSI) и записывают все IP-потоки, проходящие через виртуальную сеть.
  • Журналы собираются с интервалом в одну минуту через платформу Azure. Они не влияют на Azure ресурсы или сетевой трафик.
  • Логи записываются в формате JavaScript Object Notation (JSON).
  • Каждая запись журнала содержит сетевой интерфейс, к которому применяется поток, 5-тупловую информацию, направление трафика, состояние потока, состояние шифрования и информацию о пропускной способности.
  • Все потоки трафика в сети оцениваются с помощью применимых правил группы безопасности сети или правила администратора безопасности сетевого менеджера Azure Virtual Network.
  • Журналы потоков виртуальной сети работают на уровне виртуальной сети и поэтому фиксируют по умолчанию трафик для таких ресурсов, как шлюзы. В результате трафик, проходящий через эти шлюзы, заносится в журнал, что может привести к более высокому объему данных.

Формат журнала

Журналы потоков виртуальной сети имеют следующие свойства:

  • time: время в формате UTC при регистрации события.
  • flowLogVersion: Версия лога потока.
  • flowLogGUID: GUID ресурса FlowLog.
  • macAddress: MAC-адрес сетевого интерфейса, на котором было зафиксировано событие.
  • category: категория события. Категория всегда FlowLogFlowEvent.
  • flowLogResourceID: идентификатор FlowLog ресурса.
  • targetResourceID— идентификатор целевого ресурса, связанного с ресурсом FlowLog .
  • operationName: Всегда FlowLogFlowEvent.
  • flowRecords: Сбор записей о потоке.
    • flows: коллекция потоков. Это свойство имеет несколько записей для списков управления доступом (ACL):
      • aclID: идентификатор ресурса, который оценивает трафик, группу безопасности сети или Virtual Network Manager. Для трафика, который запрещен из-за шифрования, это значение равно unspecified.
      • flowGroups: Сбор записей потока на уровне правила:
        • rule: Название правила, которое разрешает или запрещает трафик. Для трафика, который запрещен из-за шифрования, это значение равно unspecified.
        • flowTuples: строка, содержащая несколько свойств кортежа потока в формате, разделенном запятыми:
          • Time Stamp: Временная метка момента возникновения потока в формате эпохи UNIX.
          • Source IP: исходный IP-адрес.
          • Destination IP: конечный IP-адрес.
          • Source port: исходный порт.
          • Destination port: порт назначения.
          • Protocol– протокол потока уровня 4, выраженный в присвоенных IANA значениях.
          • Flow direction: направление потока трафика. Допустимые значения: I для входящих и O для исходящих.
          • Flow state: состояние потока. Возможные состояния:
            • B: начинается, когда поток создается. Статистика не предоставляется.
            • C: продолжение текущего потока. Статистика предоставляется с пятиминутным интервалом.
            • E: Завершение, когда поток прекращается. Статистика предоставляется.
            • D: Отклонить, когда поток запрещен.
          • Flow encryption: Состояние шифрования потока. В таблице после этого списка описаны возможные значения.
          • Packets sent– общее количество пакетов, отправленных от источника к получателю с момента последнего обновления.
          • Bytes sent– общее количество байтов пакета, отправленных от источника к месту назначения с момента последнего обновления. Байты пакетов включают заголовок пакета и полезные данные.
          • Packets received– общее количество пакетов, отправленных от места назначения к источнику с момента последнего обновления.
          • Bytes received– общее количество байтов пакета, отправленных от места назначения к источнику с момента последнего обновления. Байты пакетов включают заголовок пакета и полезные данные.

Flow encryption имеет следующие возможные статусы шифрования:

Состояние шифрования Description
X Соединение шифруется. Шифрование настроено, и платформа зашифровала соединение.
NX Соединение не шифруется. Это событие регистрируется в двух сценариях:
- Если шифрование не настроено.
- Когда зашифрованная виртуальная машина взаимодействует с конечной точкой, в которой отсутствует шифрование (например, конечной точкой в Интернете).
NX_HW_NOT_SUPPORTED Аппаратное обеспечение не поддерживается. Шифрование настроено, но виртуальная машина работает на узле, который не поддерживает шифрование. Эта проблема обычно возникает из-за того, что программируемая вентильная матрица (FPGA) не подключена к узлу или неисправна. Сообщите об этой проблеме в корпорацию Майкрософт для расследования.
NX_SW_NOT_READY Программное обеспечение еще не готово. Шифрование настроено, но программный компонент (GFT) в сетевом стеке узла не готов к обработке зашифрованных подключений. Эта проблема может возникнуть при первом запуске виртуальной машины, перезапуске или повторном развертывании. Это также может произойти при обновлении сетевых компонентов на узле, на котором работает виртуальная машина. Во всех этих сценариях пакет отбрасывается. Проблема должна быть временной. Шифрование должно начать работать после того, как виртуальная машина будет полностью функционировать или обновление программного обеспечения на хосте будет завершено. Если проблема длится дольше, сообщите о ней в корпорацию Майкрософт для расследования.
NX_NOT_ACCEPTED Падение из-за отсутствия шифрования. Шифрование настраивается как на исходной, так и на конечной точках назначения, с отбрасыванием незашифрованных политик. Если шифрование трафика не удается, пакет отбрасывается.
NX_NOT_SUPPORTED Обнаружение не поддерживается. Шифрование настроено, но сеанс шифрования не был установлен, так как сетевой стек узла не поддерживает обнаружение. В этом случае пакет отбрасывается. Если вы столкнулись с этой проблемой, сообщите о ней в корпорацию Майкрософт для расследования.
NX_LOCAL_DST Destination находится на том же хосте. Шифрование настроено, но исходные и конечные виртуальные машины выполняются на том же узле Azure. В этом случае соединение не шифруется по умолчанию.
NX_FALLBACK Откажитесь от шифрования. Шифрование настраивается с помощью политики Разрешить незашифрованное шифрование как для исходной, так и для целевой конечных точек. Система попыталась выполнить шифрование, но столкнулась с проблемой. В этом случае соединение разрешено, но не шифруется. Например, виртуальная машина изначально приземлилась на узел, поддерживающий шифрование, но позже эта поддержка была удалена.

Трафик в виртуальных сетях по умолчанию не шифруется (NX). Сведения о зашифрованном трафике см. в статье Шифрование виртуальной сети.

Пример записи журнала

В следующем примере журналов потоков виртуальной сети несколько записей следуют описанному ранее списку свойств.

{
    "records": [
        {
            "time": "2022-09-14T09:00:52.5625085Z",
            "flowLogVersion": 4,
            "flowLogGUID": "66aa66aa-bb77-cc88-dd99-00ee00ee00ee",
            "macAddress": "112233445566",
            "category": "FlowLogFlowEvent",
            "flowLogResourceID": "/SUBSCRIPTIONS/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/RESOURCEGROUPS/NETWORKWATCHERRG/PROVIDERS/MICROSOFT.NETWORK/NETWORKWATCHERS/NETWORKWATCHER_EASTUS2EUAP/FLOWLOGS/VNETFLOWLOG",
            "targetResourceID": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/myResourceGroup/providers/Microsoft.Network/virtualNetworks/myVNet",
            "operationName": "FlowLogFlowEvent",
            "flowRecords": {
                "flows": [
                    {
                        "aclID": "00aa00aa-bb11-cc22-dd33-44ee44ee44ee",
                        "flowGroups": [
                            {
                                "rule": "DefaultRule_AllowInternetOutBound",
                                "flowTuples": [
                                    "1663146003599,10.0.0.6,192.0.2.180,23956,443,6,O,B,NX,0,0,0,0",
                                    "1663146003606,10.0.0.6,192.0.2.180,23956,443,6,O,E,NX,3,767,2,1580",
                                    "1663146003637,10.0.0.6,203.0.113.17,22730,443,6,O,B,NX,0,0,0,0",
                                    "1663146003640,10.0.0.6,203.0.113.17,22730,443,6,O,E,NX,3,705,4,4569",
                                    "1663146004251,10.0.0.6,203.0.113.17,22732,443,6,O,B,NX,0,0,0,0",
                                    "1663146004251,10.0.0.6,203.0.113.17,22732,443,6,O,E,NX,3,705,4,4569",
                                    "1663146004622,10.0.0.6,203.0.113.17,22734,443,6,O,B,NX,0,0,0,0",
                                    "1663146004622,10.0.0.6,203.0.113.17,22734,443,6,O,E,NX,2,134,1,108",
                                    "1663146017343,10.0.0.6,198.51.100.84,36776,443,6,O,B,NX,0,0,0,0",
                                    "1663146022793,10.0.0.6,198.51.100.84,36776,443,6,O,E,NX,22,2217,33,32466"
                                ]
                            }
                        ]
                    },
                    {
                        "aclID": "00aa00aa-bb11-cc22-dd33-44ee44ee44ee",
                        "flowGroups": [
                            {
                                "rule": "BlockHighRiskTCPPortsFromInternet",
                                "flowTuples": [
                                    "1663145998065,101.33.218.153,10.0.0.6,55188,22,6,I,D,NX,0,0,0,0",
                                    "1663146005503,192.241.200.164,10.0.0.6,35276,119,6,I,D,NX,0,0,0,0"
                                ]
                            },
                            {
                                "rule": "Internet",
                                "flowTuples": [
                                    "1663145989563,192.0.2.10,10.0.0.6,50557,44357,6,I,D,NX,0,0,0,0",
                                    "1663145989679,203.0.113.81,10.0.0.6,62797,35945,6,I,D,NX,0,0,0,0",
                                    "1663145989709,203.0.113.5,10.0.0.6,51961,65515,6,I,D,NX,0,0,0,0",
                                    "1663145990049,198.51.100.51,10.0.0.6,40497,40129,6,I,D,NX,0,0,0,0",
                                    "1663145990145,203.0.113.81,10.0.0.6,62797,30472,6,I,D,NX,0,0,0,0",
                                    "1663145990175,203.0.113.5,10.0.0.6,51961,28184,6,I,D,NX,0,0,0,0",
                                    "1663146015545,192.0.2.10,10.0.0.6,50557,31244,6,I,D,NX,0,0,0,0"
                                ]
                            }
                        ]
                    }
                ]
            }
        }
    ]
}

Вычисление кортежей журналов и пропускной способности

Таблица, показывающая формат журнала потоков виртуальной сети.

Ниже приведен пример вычисления пропускной способности для кортежей потока из TCP-диалога между 203.0.113.105:35370 и 10.0.0.5:23:

1708978215,203.0.113.105,10.0.0.5,35370,23,6,I,B,NX,,,, 1708978215,203.0.113.105,10.0.0.5,35370,23,6,I,C,NX,1021,588096,8005,4610880 1708978215,203.0.113.105,10.0.0.5,35370,23,6,I,E,NX,52,29952,47,27072

Для состояний потока продолжения (C) и конечных (E) число байтов и пакетов являются статистическими подсчетами с момента записи кортежа предыдущего потока. В примере разговора общее количество переданных пакетов составляет 1 021 + 52 + 8 005 + 47 = 9 125. Общее количество переданных байт составляет 588 096 + 29 952 + 4 610 880 + 27 072 = 5 256 000.

Правила платформы

Что такое правило платформы в журналах сетевого трафика

В журналах потоков правило платформы представляет сетевой трафик, обрабатываемый самой платформой Azure, а не правилами, настроенными пользователем, например группами безопасности сети (NSG) или правилами Azure Virtual Network Manager. Этот трафик обрабатывается автоматически платформой и не является результатом явного правила разрешения или запрета, определенного в развертывании. Записи правил платформы обеспечивают видимость трафика на уровне системы или инфраструктуры. Если анализ сосредоточен только на трафике, вычисляемом явным образом настроенными правилами, эти записи можно отфильтровать во время анализа журналов.

В некоторых сценариях трафик, связанный с приложением или рабочей нагрузкой, может отображаться в правиле платформы. Это может произойти в ограниченном количестве хорошо понятных случаев, таких как при повторном создании подключений с балансировкой нагрузки как часть обычных операций платформы или когда для возврата трафика не требуется оценка правил для пути отклика. В этих случаях трафик обрабатывается должным образом, но журнал потоков может связать его с правилом платформы вместо определяемого пользователем правила.

Влияет ли наличие правил платформы на трафик?

Нет. Правила платформы не изменяют поведение трафика, подключение, состояние безопасности или производительность. Они влияют только на то, как определенные сетевые потоки представлены в журналах потоков. Записи правил платформы предоставляются исключительно для общего ознакомления. Исключение из анализа не влияет на обработку трафика. Если трафик отображается в правиле платформы и не соответствует описанным выше сценариям, поведение можно изучить дальше. В таких случаях рекомендуется обращаться через каналы Azure support, чтобы журналы потоков могли быть подробно рассмотрены.

Рекомендации по журналам потоков виртуальной сети

учетная запись хранения

  • Расположение: учетная запись хранения должна находиться в том же регионе, что и виртуальная сеть.
  • Subscription. Учетная запись хранения должна находиться в той же подписке виртуальной сети или в подписке, связанной с тем же клиентом Microsoft Entra подписки виртуальной сети.
  • Уровень производительности. Учетная запись хранения должна быть стандартной. Учетные записи хранения класса Premium не поддерживаются.
  • Самостоятельная смена ключей: если вы изменяете или обновляете клиентские ключи шифрования для учетной записи хранения, журналы потоков виртуальной сети перестают работать. Чтобы устранить эту проблему, необходимо отключить, а затем повторно включить журналы потоков виртуальной сети.
  • Правила политики хранения: В настоящее время учетная запись хранения поддерживает 100 правил, и каждое правило может содержать 10 префиксов BLOB-объектов. Дополнительные сведения см. в статье о том, сколько правил политики хранения может иметь учетная запись хранения?
  • Операции BLOB-объектов: Журналы потоков виртуальной сети отправляются в блочный BLOB с интервалом в одну минуту с добавлением блоков. Пока выполняется прием, не выполняйте операции, которые изменяют блоковую структуру BLOB, например, редактирование, перезапись или удаление его содержимого. Эти операции могут привести к сбою всех последующих операций записи логов потоков в блобе за этот час.

Трафик шлюза ExpressRoute

Исходящие потоки из ВМ в кабель ExpressRoute не записываются, если включено ведение журнала потоков для подсети шлюза ExpressRoute. Такие потоки должны записываться в подсеть или сетевой адаптер ВМ. Трафик также проходит шлюз ExpressRoute при включении FastPath и не записывается, если ведение журнала потоков включено в подсети шлюза ExpressRoute.

Трафик частных конечных точек

Трафик не может быть записан на самой частной конечной точке. Вы можете записывать трафик к частной конечной точке на исходной виртуальной машине. Трафик записывается с исходным IP-адресом виртуальной машины и IP-адресом назначения частной конечной точки. Вы можете использовать PrivateEndpointResourceId поле для идентификации трафика, поступающего на частную конечную точку. Дополнительные сведения см. в разделе Схема аналитики трафика.

Несовместимые службы

В настоящее время эти службы Azure не поддерживают журналы потоков виртуальной сети:

Note

Службы приложений, развернутые в плане Azure App Service, не поддерживают журналы потоков виртуальной сети. Дополнительные сведения см. в статье о том, как работает интеграция виртуальной сети.

Pricing

  • Плата за ведение журналов потоков виртуальной сети взимается за каждый гигабайт собранных журналов сетевых потоков и предоставляется бесплатный уровень в размере 5 ГБ в месяц за подписку.

  • Если аналитика трафика включена с помощью журналов потоков виртуальной сети, цены на аналитику трафика применяются по скорости обработки за гигабайт. Аналитика трафика не предлагается с бесплатной ценовой категорией. Дополнительные сведения см. в разделе цены Network Watcher.

  • Хранение журналов взимается отдельно. Более подробную информацию см. в разделе цены на Azure Blob Storage.

  • Журналы потоков виртуальной сети расширяют область ведения журналов за пределы границ сетевой безопасности, чтобы включить сценарии трафика на уровне платформы и приложений. Эта более широкая область поддерживает дополнительные варианты использования и шаблоны трафика, что может привести к повышению объема журналов по сравнению с более узкими конфигурациями ведения журнала потока.

Поддерживаемые сценарии

В следующей таблице описана область поддержки журналов потоков.

Scope Журналы потоков группы безопасности сети Журналы потоков виртуальной сети
Байты и пакеты в потоках без управления состоянием Не поддерживается Supported
Идентификация шифрования виртуальной сети Не поддерживается Supported
управление API Azure Не поддерживается Supported
Azure Application Gateway Не поддерживается Supported
Azure Virtual Network Manager Не поддерживается Supported
Шлюз ExpressRoute Не поддерживается Supported
Наборы виртуальных машин с возможностью масштабирования Supported Supported
VPN-шлюз Не поддерживается Supported

Availability

В следующих таблицах перечислены поддерживаемые регионы, в которых можно включить журналы потоков виртуальной сети.

Region Журналы потоков виртуальной сети Аналитика трафика Рабочая область Log Analytics
Brazil South ✓ ✓ ✓
Brazil Southeast ✓ ✓ ✓
Canada Central ✓ ✓ ✓
Canada East ✓ ✓ ✓
Central US ✓ ✓ ✓
Центральная Чили ✓ ✓ ✓
East US ✓ ✓ ✓
Восточная часть США 2 ✓ ✓ ✓
Mexico Central ✓ ✓
Центрально-северная часть США ✓ ✓ ✓
Центрально-южная часть США ✓ ✓ ✓
Центрально-западная часть США ✓ ✓ ✓
West US ✓ ✓ ✓
Западная часть США 2 ✓ ✓ ✓
Западная часть США 3 ✓ ✓ ✓

Связанный контент

  • Last updated on