Схема аналитики трафика и агрегирование данных

"Аналитика трафика" — это облачное решение, которое позволяет следить за действиями пользователя и приложения в облачных сетях. Аналитика трафика анализирует журналы сетевых потоков Наблюдателя сети Azure для предоставления сведений о потоке трафика в облаке Azure. Решение "Аналитика трафика" позволяет выполнять следующее:

  • Визуализировать сетевую активность в подписках Azure и определять самые активные узлы.
  • Определите угрозы безопасности и защитите сеть, используя такие сведения, как открытые порты, приложения, пытающиеся получить доступ к Интернету, и виртуальные машины (виртуальные машины), подключающиеся к изгойным сетям.
  • Понять шаблоны потока трафика в регионах Azure и Интернете, чтобы оптимизировать развертывание сети для лучшей производительности и эффективного использования емкости.
  • Обнаружьте неправильные конфигурации сети, приводящие к ошибкам подключения.
  • Сведения об использовании сети в байтах, пакетах или потоках.

Агрегация данных

  • Все журналы потоков между FlowIntervalStartTime и FlowIntervalEndTime записываются с интервалом в одну минуту в виде объектов Blob в учетной записи хранения.
  • По умолчанию интервал обработки аналитики трафика составляет 60 минут, то есть каждый час аналитика трафика выбирает блобы из хранилища для агрегирования. Однако, если выбран интервал обработки в 10 минут, анализ трафика будет выбирать объекты BLOB из учетной записи хранилища каждые 10 минут.
  • Потоки с одинаковыми Source IP, Destination IP, Destination port, NSG name, NSG rule, Flow Direction и Transport layer protocol (TCP or UDP) объединяются в один поток аналитикой трафика (Примечание: исходный порт исключается для агрегирования).
  • Эта отдельная запись обработана (подробные сведения в приведенном ниже разделе) и загружается в журналы Azure Monitor средствами анализа трафика. Этот процесс может занять до 1 часа.
  • FlowStartTime поле указывает на первое вхождение такого агрегатного потока (одного и того же четырехкомпонентного кортежа) в интервал обработки журнала потоков между FlowIntervalStartTime и FlowIntervalEndTime.
  • Для любого ресурса в аналитике трафика потоки, указанные в портале Azure, являются полными потоками, но в журналах Azure Monitor пользователь видит только одну, упрощённую запись. Чтобы просмотреть все потоки, используйте blob_id поле, на которое можно ссылаться из хранилища. Общее количество потоков для этой записи соответствует отдельным потокам, представленным в объекте BLOB.

Схема аналитики трафика

Аналитика трафика основана на журналах Azure Monitor, поэтому вы можете выполнять пользовательские запросы к данным, украшенным аналитикой трафика и задавать оповещения.

В следующей таблице перечислены поля схемы и то, что они указывают для журналов потоков виртуальной сети. Дополнительные сведения см. в разделе NTANetAnalytics.

Поле Формат Комментарии
ИмяТаблицы Аналитика NTANetAnalytics Таблица для данных аналитики трафика.
Подтип FlowLog Подтип для журналов потоков. Используйте только FlowLog, другие значения подтипа предназначены для внутреннего использования.
FASchemaVersion 3 Версия схемы. Не отражает версию журнала потоков виртуальной сети.
TimeProcessed Дата и время (в формате UTC). Время, в котором аналитика трафика обработала необработанные журналы потоков из учетной записи хранения.
Время Начала Интервала Потока Дата и время (в формате UTC). Время начала интервала обработки журнала потока (время измерения интервала потока).
Время окончания интервала потока Дата и время (в формате UTC). Время окончания интервала обработки журнала потока.
FlowStartTime (Время начала потока) Дата и время (в формате UTC). Первое вхождение потока (которое агрегируется) в интервале обработки журнала потоков между FlowIntervalStartTime и FlowIntervalEndTime. Этот поток агрегируется на основе логики агрегирования.
FlowEndTime (Время окончания потока) Дата и время (в формате UTC). Последнее вхождение потока (которое агрегируется) в интервале обработки журнала потоков между FlowIntervalStartTime и FlowIntervalEndTime.
Тип потока — IntraVNet
— InterVNet
- С2С
-P2S
— AzurePublic
— ExternalPublic
— Вредоносный трафик
- Неизвестный частный
- Неизвестно
См. примечания для определений.
SrcIp Исходный IP-адрес Пустое значение в потоках AzurePublic и ExternalPublic.
DestIp IP-адрес назначения Пустое значение в потоках AzurePublic и ExternalPublic.
TargetResourceId (Идентификатор целевого ресурса) ИмяГруппы ресурсов/ИмяРесурса Идентификатор ресурса, в котором включена ведение журнала потоков и аналитика трафика.
TargetResourceType (Тип целевого ресурса) Виртуальная сеть/Подсеть/Сетевой интерфейс Тип ресурса, в котором включена ведение журнала потоков и аналитика трафика (виртуальная сеть, подсеть, сетевая карта или группа безопасности сети).
FlowLogResourceId (Идентификатор ресурса) ResourceGroupName/NetworkWatcherName/FlowLogName Идентификатор ресурса журнала потоков.
DestPort Конечный порт Порт, через который проходит входящий трафик.
Протокол L4 - Т
- U
Транспортный протокол: T = TCP
U = UDP
Протокол L7 Имя протокола Производный от порта назначения.
FlowDirection (Направление потока) - I = входящий трафик
- O = Исходящий
Направление потока: внутрь или наружу целевого ресурса по каждому журналу потоков.
FlowStatus (СтатусПотока) - A = разрешено
- D = отказано
Состояние потока: разрешено или запрещено целевым ресурсом для каждого журнала потока.
AclGroup <SubscriptionID>/<resourcegroup_Name>/<NSG_Name> Группа безопасности сети, связанная с потоком.
AclRule NSG_Rule_Name Правило группы безопасности сети, которое позволяло или запрещало поток.
MACAddress MAC-адрес MAC-адрес сетевого адаптера, по которому был записан поток.
SrcПодписка ID подписки Идентификатор подписки виртуальной сети, сетевого интерфейса или виртуальной машины, к которой принадлежит исходный IP-адрес потока.
DestSubscription ID подписки Идентификатор подписки виртуальной сети, сетевого интерфейса или виртуальной машины, к которой принадлежит IP-адрес назначения в потоке.
SrcRegion Регион Azure Регион Azure виртуальной сети, сетевой интерфейс или виртуальная машина, к которой принадлежит исходный IP-адрес потока.
ДестРегион Регион Azure Регион виртуальной сети Azure, к которому принадлежит целевой IP-адрес потока.
SrcNic < >resourcegroup_Name/<NetworkInterfaceName> Сетевой адаптер, связанный с исходным IP-адресом в потоке.
DestNic < >resourcegroup_Name/<NetworkInterfaceName> Сетевой интерфейсный контроллер, связанный с IP-адресом назначения в потоке.
SrcVm <resourcegroup_Name>/<ИмяВиртуальной Машины> Виртуальная машина, связанная с исходным IP-адресом в сетевом потоке.
DestVm <resourcegroup_Name>/<ИмяВиртуальной Машины> Виртуальная машина, связанная с целевым IP-адресом в потоке.
SrcSubnet (SrcSubnet) < >ResourceGroup_Name/<VirtualNetwork_Name>/<SubnetName> Подсеть, связанная с IP-адресом источника в потоке.
DestSubnet < >ResourceGroup_Name/<VirtualNetwork_Name>/<SubnetName> Подсеть, связанная с IP-адресом назначения в потоке.
SrcApplicationGateway <SubscriptionID/><ResourceGroupName>/<ApplicationGatewayName> Шлюз приложений, связанный с исходным IP-адресом в потоке.
DestApplicationGateway <SubscriptionID/><ResourceGroupName>/<ApplicationGatewayName> Шлюз прикладных программ, связанный с целевым IP-адресом в сетевом потоке.
SrcExpressRouteCircuit (Маршрутная цепь) <SubscriptionID/><ResourceGroupName>/<ExpressRouteCircuitName> Идентификатор канала ExpressRoute — при отправке потока с сайта через ExpressRoute.
DestExpressRouteCircuit <SubscriptionID/><ResourceGroupName>/<ExpressRouteCircuitName> Идентификатор цепи ExpressRoute — при поступлении потока из облака на ExpressRoute.
ExpressRouteCircuitPeeringType (Тип пиринга) — AzurePrivatePeering
— AzurePublicPeering
— MicrosoftPeering
Тип пиринга ExpressRoute, участвующий в потоке.
SrcLoadBalancer (Балансировщик грузов) <SubscriptionID/><ResourceGroupName>/<LoadBalancerName> Балансировщик нагрузки, связанный с исходным IP-адресом потока.
DestLoadBalancer <SubscriptionID/><ResourceGroupName>/<LoadBalancerName> Подсистема балансировки нагрузки, связанная с IP-адресом назначения в потоке.
SrcLocalNetworkGateway <SubscriptionID/><ResourceGroupName>/<LocalNetworkGatewayName> Шлюз локальной сети, связанный с исходным IP-адресом в потоке.
DestLocalNetworkGateway <SubscriptionID/><ResourceGroupName>/<LocalNetworkGatewayName> Шлюз локальной сети, связанный с IP-адресом назначения в потоке.
Тип подключения — VNetPeering
— VpnGateway
— ExpressRoute
Тип подключения.
ConnectionName (ИмяСоединения) <SubscriptionID/><ResourceGroupName>/<ConnectionName> Имя подключения. Для типа потока P2S форматируется как <GatewayName>_<VPNClientIP>
Подключение VNet Разделенный пробелами список имен виртуальных сетей. В топологии концентратора и периферийной топологии виртуальные сети концентратора заполняются здесь.
Страна/регион Код страны с двумя буквами (ISO 3166-1 alpha-2) Заполнено для типа потока ExternalPublic. Все IP-адреса в поле PublicIPs используют один и тот же код страны.
AzureRegion Расположения регионов Azure Заполняется для потоков типа AzurePublic. Все IP-адреса в полях PublicIPs используют регион Azure.
Разрешенные потоки - Количество разрешенных потоков входящего трафика, представляющее количество потоков, которые совместно используют один и тот же четырёхкортеж, входящих в сетевой интерфейс, на котором были захвачены эти потоки.
DeniedInFlows - Количество запрещенных входящих потоков. (Входящий трафик к сетевому интерфейсу, по которому был записан поток).
Разрешенные исходящие потоки - Количество разрешенных исходящих потоков (исходящий трафик к сетевому интерфейсу, на котором был зафиксирован поток).
DeniedOutFlows - Количество исходящих потоков, которые были отклонены (исходящий трафик к сетевому интерфейсу, по которому был записан поток).
PacketsDestToSrc - Представляет пакеты, отправленные из назначения в источник потока.
ПакетыSrcToDest - Представляет пакеты, отправленные из источника в место назначения потока.
BytesDestToSrc - Представляет байты, отправленные из назначения в источник потока.
BytesSrcToDest - Представляет байты, отправленные из источника в место назначения потока.
Завершенные потоки - Общее количество завершенных потоков (заполняется ненулевым значением, когда поток получает событие завершения).
SrcPublicIps <SOURCE_PUBLIC_IP>|<FLOW_STARTED_COUNT>|<FLOW_ENDED_COUNT>|<OUTBOUND_PACKETS>|<INBOUND_PACKETS>|<OUTBOUND_BYTES>|<INBOUND_BYTES> Записи, разделенные полосами.
DestPublicIps <ПУБЛИЧНЫЙ IP-АДРЕС НАЗНАЧЕНИЯ>|<КОЛИЧЕСТВО НАЧАТЫХ ПОТОКОВ>|<КОЛИЧЕСТВО ЗАКОНЧЕННЫХ ПОТОКОВ>|<ИСХОДЯЩИЕ ПАКЕТЫ>|<ВХОДЯЩИЕ ПАКЕТЫ>|<ИСХОДЯЩИЕ БАЙТЫ>|<ВХОДЯЩИЕ БАЙТЫ> Записи, разделенные полосами.
Шифрование потока -Зашифрованные
-Незашифрованные
— неподдерживаемое оборудование
— программное обеспечение не готово
— удаление из-за отсутствия шифрования
Обнаружение не поддерживается
Цель на том же сервере
— вернуться к отсутствию шифрования.
Уровень шифрования потоков.
PrivateEndpointResourceId (Идентификатор ресурса) <ГруппаРесурсов/РесурсЧастнойТочкиПодключения> Идентификатор ресурса частной конечной точки. Заполняется, когда трафик направляется к ресурсу частной конечной точки или от него.
PrivateLinkResourceId (Идентификатор ресурса) <ResourceGroup/ResourceType/privateLinkResource> Идентификатор ресурса службы приватного подключения. Заполняется, когда происходит поток трафика к ресурсу приватной конечной точки или от него.
Имя_ресурса_PrivateLink Обычный текст Имя ресурса службы приватного соединения. Заполняется при передаче трафика в ресурс частной конечной точки или из него.
Фиксируется ли поток на этапе UDR - Истина
-Ложный
Если поток был зафиксирован на этапе UDR, значение равно True.

Примечание.

NTANetAnalytics в журналах потоков виртуальной сети заменяет AzureNetworkAnalytics_CL , используемых в журналах потоков группы безопасности сети.

Схема сведений об общедоступном IP-адресе

Аналитика трафика предоставляет данные и географическое расположение WHOIS для всех общедоступных IP-адресов в вашей среде. Для вредоносного IP-адреса аналитика трафика предоставляет домен DNS, тип угроз и описания потоков, которые определяются решениями аналитики безопасности Майкрософт. Сведения о IP-адресах публикуются в рабочей области Log Analytics, чтобы создавать настраиваемые запросы и помещать оповещения на них. Вы также можете получить доступ к предварительно заполненным запросам на панели мониторинга аналитики трафика.

В следующей таблице описана схема общедоступного IP-адреса. Дополнительные сведения см. в разделе NTAIpDetails.

Поле Формат Комментарии
ИмяТаблицы Подробности NTAIp Таблица, содержащая информацию об IP-адресах аналитики трафика.
Подтип FlowLog Подтип для журналов потоков. Используйте только FlowLog. Другие значения подтипа предназначены для внутренних работ продукта.
FaSchemaVersion 3 Версия схемы. Не отражает версию журнала потоков виртуальной сети.
Время Начала Интервала Потока Дата и время (в формате UTC). Время начала интервала обработки журнала потока (время измерения интервала потока).
Время окончания интервала потока Дата и время (в формате UTC). Время окончания интервала обработки журнала потоков.
Тип потока — AzurePublic
— ExternalPublic
— MaliciousFlow
См. примечания для определений.
IP-адрес Общедоступный IP-адрес Общедоступный IP-адрес, сведения которого предоставляются в записи.
Детали публичного IP Сведения об IP-адресе Для общедоступного IP-адреса Azure: служба Azure, которой принадлежит этот IP-адрес, или виртуальному общедоступному IP-адресу Microsoft для IP-адреса 168.63.129.16.
Внешний IP-адрес/Вредоносный IP: данные WhoIS об этом IP.
Тип угрозы Угрозы, вызванные вредоносным IP-адресом Только для вредоносных IP-адресов. Одна из угроз из списка текущих разрешенных значений. Дополнительные сведения см. в заметках.
DNSДомен Домен DNS Только для вредоносных IP-адресов. Доменное имя, связанное с этим IP-адресом.
Описание угрозы Описание угрозы Только для вредоносных IP-адресов. Описание угрозы, вызванной вредоносным IP-адресом.
Местонахождение Расположение IP-адреса Для публичного IP-адреса Azure: регион виртуальной сети / сетевой интерфейс / виртуальной машины, которому принадлежит IP-адрес, или Глобальный для IP-адреса 168.63.129.16.
Для внешнего общедоступного IP-адреса и вредоносного IP-адреса: код страны с двумя буквами (ISO 3166-1 alpha-2), где находится IP-адрес.
URL-адрес URL-адрес, соответствующий вредоносному IP-адресу Только для вредоносных IP-адресов.
порт. Порт, соответствующий вредоносному IP-адресу Только для вредоносных IP-адресов.

Примечание.

  • NTAIPDetails в журналах потоков виртуальной сети заменяет AzureNetworkAnalyticsIPDetails_CL , используемых в журналах потоков группы безопасности сети.

  • Аналитика трафика может регистрировать любые вредоносные полностью квалифицированные доменные имена (FQDN), связанные с IP-адресом, с целью выявления вредоносных потоков. Чтобы отфильтровать, используйте поля порта, URL-адреса и домена по мере необходимости.

Типы угроз

В следующей таблице перечислены допустимые значения поля ThreatType в схеме ip-адресов аналитики трафика.

значение Описание
Ботнет Индикатор детализации узла или члена ботсети.
С2 Индикатор, детализирующий командно-контрольный узел ботнета.
Криптомайнинг Трафик, связанный с этим сетевым адресом или URL-адресом, является признаком CryptoMining или злоупотребления ресурсами.
Даркнет Индикатор узла или сети Darknet.
DDoS-атаки Индикаторы, связанные с активной или предстоящей DDoS-кампанией.
Вредоносный URL-адрес URL-адрес, обслуживающий вредоносные программы.
Вредоносная программа Индикатор, описывающий вредоносный файл или файлы.
Фишинг Индикаторы, связанные с фишинговой кампанией.
Прокси Индикатор прокси-службы.
ПУА Потенциально нежелательные приложения.
Список наблюдения Универсальное ведро, в которое помещаются индикаторы, когда невозможно точно определить, какая угроза представлена или требуется ручная интерпретация. WatchList обычно не следует использовать партнерами, отправляющими данные в систему.

Примечания.

  • В случае AzurePublic и ExternalPublic потоков, IP-адрес, принадлежащий виртуальной машине Azure клиента, заполняется в поле VMIP_s, а общедоступные IP-адреса заполняются в поле PublicIPs_s. Для этих двух типов потоков следует использовать VMIP_s и PublicIPs_s вместо SrcIP_sDestIP_s полей. Для IP-адресов AzurePublic и ExternalPublic мы дополнительно агрегируем, чтобы количество записей, попадающих в рабочую область Log Analytics, было минимально. (Это поле будет выведено из употребления. Используйте SrcIP_s и DestIP_s в зависимости от того, была ли виртуальная машина источником или получателем потока данных).
  • Некоторые имена полей присоединены с помощью _s или _d, которые не характеризуют источник и назначение, а указывают типы данных строка и десятичное число соответственно.
  • На основе IP-адресов, участвующих в потоке, мы классифицируем потоки на следующие типы потоков:
    • IntraVNet: оба IP-адреса в потоке находятся в одной виртуальной сети Azure.
    • InterVNet: IP-адреса в потоке находятся в двух разных виртуальных сетях Azure.
    • S2S (Межсайтовая): один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес принадлежит клиентской локальной сети, подключенной к виртуальной сети через VPN-шлюз или ExpressRoute.
    • P2S(Точка-к-сеть): один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес принадлежит клиентской сети (сайт), которая подключена к виртуальной сети Azure через VPN-шлюз.
    • AzurePublic: один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес — общедоступный IP-адрес Azure, принадлежащий корпорации Майкрософт. Общедоступные IP-адреса клиента не являются частью этого типа потока. Например, любая клиентская виртуальная машина, отправляя трафик в службу Azure (конечная точка хранилища), будет классифицироваться в соответствии с этим типом потока.
    • ExternalPublic: один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес является общедоступным IP-адресом, который не принадлежит корпорации Майкрософт или части клиентской подписки, видимой для аналитики трафика, и не сообщается как вредоносный в веб-каналах ASC, которые аналитика трафика использует для интервала обработки между FlowIntervalStartTime_t и FlowIntervalEndTime_t.
    • MaliciousFlow: один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес является общедоступным IP-адресом, который не принадлежит корпорации Майкрософт или части клиентской подписки, видимой для аналитики трафика и сообщается как вредоносный в веб-каналах ASC, которые аналитика трафика использует для интервала обработки между FlowIntervalStartTime_t и FlowIntervalEndTime_t.
    • UnknownPrivate: один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес принадлежит частному диапазону IP-адресов, определенному в RFC 1918, и не удалось сопоставить аналитику трафика с сайтом клиента или виртуальной сетью Azure.
    • Unknown: не удается сопоставить любой из IP-адресов в потоке с топологией клиента в Azure и локальной среде (сайт).

Примечание.

Подписка отображается для аналитики трафика в рабочей области Log Analytics, если она содержит журнал потоков, настроенный для этой рабочей области.