Схема аналитики трафика и агрегирование данных
"Аналитика трафика" — это облачное решение, которое позволяет следить за действиями пользователя и приложения в облачных сетях. Аналитика трафика анализирует журналы потоков Azure Наблюдатель за сетями для предоставления аналитических сведений о потоке трафика в облаке Azure. Решение "Аналитика трафика" позволяет выполнять следующее:
- Визуализировать сетевую активность в подписках Azure и определять самые активные узлы.
- Определите угрозы безопасности и защитите сеть, используя такие сведения, как открытые порты, приложения, пытающиеся получить доступ к Интернету, и виртуальные машины (виртуальные машины), подключающиеся к изгойным сетям.
- Понять шаблоны потока трафика в регионах Azure и Интернете, чтобы оптимизировать развертывание сети для лучшей производительности и эффективного использования емкости.
- Оперативно обнаружить неверные сетевые конфигурации, которые приводят к сбоям подключений в сети.
- Сведения об использовании сети в байтах, пакетах или потоках.
Агрегация данных
- Все журналы потоков в группе безопасности сети между
FlowIntervalStartTime_tиFlowIntervalEndTime_tзаписываются через одну минуту в виде больших двоичных объектов в учетной записи хранения. - По умолчанию интервал обработки аналитики трафика составляет 60 минут, то есть каждый час аналитика трафика выбирает большие двоичные объекты из учетной записи хранения для агрегирования. Однако если выбран интервал обработки 10 минут, аналитика трафика будет выбирать большие двоичные объекты из учетной записи хранения каждые 10 минут.
- Потоки с одинаковыми
Source IP, ,Destination portNSG ruleFlow DirectionDestination IPNSG nameиTransport layer protocol (TCP or UDP)клубными в один поток аналитикой трафика (примечание. Исходный порт исключается для агрегирования). - Эта отдельная запись украшена (подробные сведения в приведенном ниже разделе) и выполняется в журналах Azure Monitor аналитикой трафика. Этот процесс может занять до 1 часа.
FlowStartTime_tполе указывает на первое вхождение такого агрегатного потока (одного и того же четырех кортежа) в интервале обработки журнала потоков междуFlowIntervalStartTime_tиFlowIntervalEndTime_t.- Для любого ресурса в аналитике трафика потоки, указанные в портал Azure, являются общими потоками, которые отображаются группой безопасности сети, но в журналах Azure Monitor пользователь видит только одну, сокращенную запись. Чтобы просмотреть все потоки, используйте
blob_idполе, на которое можно ссылаться из хранилища. Общее число потоков для этой записи соответствует отдельным потокам, отображаемым в большом двоичном объекте.
Следующий запрос поможет вам просмотреть все подсети, взаимодействующие с общедоступными IP-адресами Azure за последние 30 дней.
AzureNetworkAnalytics_CL
| where SubType_s == "FlowLog" and FlowStartTime_t >= ago(30d) and FlowType_s == "ExternalPublic"
| project Subnet1_s, Subnet2_s
Чтобы просмотреть путь большого двоичного объекта для потоков в предыдущем запросе, используйте следующий запрос:
let TableWithBlobId =
(AzureNetworkAnalytics_CL
| where SubType_s == "Topology" and ResourceType == "NetworkSecurityGroup" and DiscoveryRegion_s == Region_s and IsFlowEnabled_b
| extend binTime = bin(TimeProcessed_t, 6h),
nsgId = strcat(Subscription_g, "/", Name_s),
saNameSplit = split(FlowLogStorageAccount_s, "/")
| extend saName = iif(arraylength(saNameSplit) == 3, saNameSplit[2], '')
| distinct nsgId, saName, binTime)
| join kind = rightouter (
AzureNetworkAnalytics_CL
| where SubType_s == "FlowLog"
| extend binTime = bin(FlowEndTime_t, 6h)
) on binTime, $left.nsgId == $right.NSGList_s
| extend blobTime = format_datetime(todatetime(FlowIntervalStartTime_t), "yyyy MM dd hh")
| extend nsgComponents = split(toupper(NSGList_s), "/"), dateTimeComponents = split(blobTime, " ")
| extend BlobPath = strcat("https://", saName,
"@insights-logs-networksecuritygroupflowevent/resoureId=/SUBSCRIPTIONS/", nsgComponents[0],
"/RESOURCEGROUPS/", nsgComponents[1],
"/PROVIDERS/MICROSOFT.NETWORK/NETWORKSECURITYGROUPS/", nsgComponents[2],
"/y=", dateTimeComponents[0], "/m=", dateTimeComponents[1], "/d=", dateTimeComponents[2], "/h=", dateTimeComponents[3],
"/m=00/macAddress=", replace(@"-", "", MACAddress_s),
"/PT1H.json")
| project-away nsgId, saName, binTime, blobTime, nsgComponents, dateTimeComponents;
TableWithBlobId
| where SubType_s == "FlowLog" and FlowStartTime_t >= ago(30d) and FlowType_s == "ExternalPublic"
| project Subnet_s , BlobPath
Предыдущий запрос создает URL-адрес для доступа к большому двоичному объекту напрямую. URL-адрес с заполнителями выглядит следующим образом:
https://{storageAccountName}@insights-logs-networksecuritygroupflowevent/resoureId=/SUBSCRIPTIONS/{subscriptionId}/RESOURCEGROUPS/{resourceGroup}/PROVIDERS/MICROSOFT.NETWORK/NETWORKSECURITYGROUPS/{networkSecurityGroupName}/y={year}/m={month}/d={day}/h={hour}/m=00/macAddress={macAddress}/PT1H.json
Схема аналитики трафика
Аналитика трафика основана на журналах Azure Monitor, поэтому вы можете выполнять пользовательские запросы к данным, украшенным аналитикой трафика и задавать оповещения.
В следующей таблице перечислены поля схемы и то, что они указывают для журналов потоков группы безопасности сети.
Внимание
Схема аналитики трафика была обновлена 22 августа 2019 г. Новая схема предоставляет ip-адреса источника и назначения отдельно, удаляя необходимость синтаксического анализа FlowDirection поля, чтобы запросы были проще. Обновленная схема имела следующие изменения:
FASchemaVersion_sобновлено от 1 до 2.- Устаревшие поля:
VMIP_s,Subscription_g,Subnet_sNSGRules_sVM_sRegion_s, ,NIC_sPublicIPs_sFlowCount_d - Новые поля:
SrcPublicIPs_s,DestPublicIPs_sNSGRule_s
Схема сведений об общедоступном IP-адресе
Аналитика трафика предоставляет данные и географическое расположение WHOIS для всех общедоступных IP-адресов в вашей среде. Для вредоносного IP-адреса аналитика трафика предоставляет dns-домен, тип угроз и описания потоков, которые определяются решениями аналитики безопасности Майкрософт. Сведения о IP-адресах публикуются в рабочей области Log Analytics, чтобы создавать настраиваемые запросы и помещать оповещения на них. Вы также можете получить доступ к предварительно заполненным запросам на панели мониторинга аналитики трафика.
В следующей таблице описана схема общедоступного IP-адреса:
| Поле | Формат | Комментарии |
|---|---|---|
| TableName | AzureNetworkAnalyticsIPDetails_CL | Таблица, содержащая данные ip-адреса аналитики трафика. |
| SubType_s | FlowLog | Подтип для журналов потоков. Используйте только FlowLog, другие значения SubType_s предназначены для внутренних работ продукта. |
| FASchemaVersion_s | 2 | Версия схемы. Не отражает версию журнала потока группы безопасности сети. |
| FlowIntervalStartTime_t | Дата и время (в формате UTC). | Время начала интервала обработки журнала потока (время измерения интервала потока). |
| FlowIntervalEndTime_t | Дата и время (в формате UTC). | Время окончания интервала обработки журнала потоков. |
| FlowType_s | — AzurePublic — ExternalPublic — Вредоносный поток |
См. примечания для определений. |
| IP-адрес | Общедоступный IP-адрес | Общедоступный IP-адрес, сведения которого предоставляются в записи. |
| Местонахождение | Расположение IP-адреса | — Для общедоступного IP-адреса Azure: регион виртуальной сети, сетевого интерфейса или виртуальной машины, к которой относится IP-адрес или глобальный для IP-адреса 168.63.129.16. — Для внешнего общедоступного IP-адреса и вредоносного IP-адреса: 2-буквенный код страны, где находится IP-адрес (ISO 3166-1 alpha-2). |
| PublicIPDetails | Сведения об IP-адресе | — Для IP-адреса AzurePublic: служба Azure, принадлежающая IP-адресу или виртуальному общедоступному IP-адресу Майкрософт для 168.63.129.16. — Внешний IP-адрес или вредоносный IP-адрес: сведения о ip-адресе WhoIS. |
| ThreatType | Угрозы, вызванные вредоносным IP-адресом | Только для вредоносных IP-адресов: одна из угроз из списка разрешенных значений (описана в следующей таблице). |
| ThreatDescription | Описание угрозы | Только для вредоносных IP-адресов. Описание угрозы, вызванной вредоносным IP-адресом. |
| DNSDomain | Домен DNS | Только для вредоносных IP-адресов. Доменное имя, связанное с вредоносным IP-адресом. |
| URL-адрес | URL-адрес, соответствующий вредоносному IP-адресу | Только для вредоносных IP-адресов |
| порт. | Порт, соответствующий вредоносному IP-адресу | Только для вредоносных IP-адресов |
Список типов угроз:
| значение | Описание |
|---|---|
| Сведения о | Индикатор детализации узла или члена ботсети. |
| C2 | Индикатор детализации узла командной строки и управления ботнета. |
| CryptoMining | Трафик, включающий этот сетевой адрес или URL-адрес, указывает на нарушение CyrptoMining или ресурсов. |
| DarkNet | Индикатор узла или сети Darknet. |
| DDos | Индикаторы, связанные с активной или предстоящей кампанией от атак DDoS. |
| MaliciousUrl | URL-адрес, обслуживающий вредоносные программы. |
| Вредоносная программа | Индикатор, описывающий вредоносный файл или файлы. |
| Фишинг | Индикаторы, связанные с фишинговой кампанией. |
| Proxy (Прокси) | Индикатор прокси-службы. |
| PUA | Потенциально нежелательные приложения. |
| WatchList | Универсальный контейнер, в который помещаются индикаторы, когда он не может быть определен точно, какой угрозой является или требует ручной интерпретации. WatchList обычно не следует использовать партнерами, отправляющими данные в систему. |
Примечания.
- В случае и
ExternalPublicпотоков ip-адрес виртуальной машины Azure, принадлежащийAzurePublicклиенту, заполняется вVMIP_sполе, а общедоступные IP-адреса заполняются вPublicIPs_sполе. Для этих двух типов потоков следует использоватьVMIP_sиPublicIPs_sвместоSrcIP_sDestIP_sполей. Для IP-адресов AzurePublic и ExternalPublic мы агрегируем далее, чтобы количество записей, которые были приема в рабочую область Log Analytics, минимальны. (Это поле будет устарело. Используйте SrcIP_s и DestIP_s в зависимости от того, была ли виртуальная машина источником или назначением в потоке). - Некоторые имена полей добавляются или
_s_dне указывают источник и назначение, но указывают строку типов данных и десятичные значения соответственно. - На основе IP-адресов, участвующих в потоке, мы классифицируем потоки на следующие типы потоков:
IntraVNet: оба IP-адреса в потоке находятся в одной виртуальной сети Azure.InterVNet: IP-адреса в потоке находятся в двух разных виртуальных сетях Azure.S2S(Сеть — сеть): один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес принадлежит клиентской сети (сайт), подключенной к виртуальной сети через VPN-шлюз или ExpressRoute.P2S(Точка — сеть): один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес принадлежит клиентской сети (сайт), подключенной к Azure виртуальная сеть через VPN-шлюз.AzurePublic: один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес — общедоступный IP-адрес Azure, принадлежащий корпорации Майкрософт. Общедоступные IP-адреса клиента не являются частью этого типа потока. Например, любая клиентская виртуальная машина, отправляя трафик в службу Azure (конечная точка хранилища), будет классифицироваться в соответствии с этим типом потока.ExternalPublic: один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес является общедоступным IP-адресом, который не находится в Azure и не сообщается как вредоносный в веб-каналах ASC, которые аналитика трафика использует для интервала обработки между "FlowIntervalStartTime_t" и "FlowIntervalEndTime_t".MaliciousFlow: один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес является общедоступным IP-адресом, который не находится в Azure и сообщается как вредоносный в веб-каналах ASC, которые аналитика трафика использует для интервала обработки между "FlowIntervalStartTime_t" и "FlowIntervalEndTime_t".UnknownPrivate: один из IP-адресов принадлежит виртуальной сети Azure, а другой IP-адрес принадлежит частному диапазону IP-адресов, определенному в RFC 1918, и не удалось сопоставить аналитику трафика с сайтом клиента или виртуальной сетью Azure.Unknown: не удается сопоставить любой из IP-адресов в потоке с топологией клиента в Azure и локальной среде (сайт).
Связанный контент
- Дополнительные сведения об аналитике трафика см. в обзоре аналитики трафика.
- Ответы на часто задаваемые вопросы об аналитике трафика см. в статье "Аналитика трафика".