Příjem a transformace vlastních dat v Microsoft Sentinel

Protokoly Azure Monitor slouží jako datová platforma pro Microsoft Sentinel. Všechny protokoly ingestované do Microsoft Sentinel jsou uložené v pracovním prostoru služby Log Analytics a dotazy na protokoly zapsané v dotazovací jazyk Kusto (KQL) slouží ke zjišťování hrozeb a monitorování síťových aktivit.

Log Analytics poskytuje vysokou úroveň kontroly nad daty, která se ingestují do vašeho pracovního prostoru, pomocí vlastních pravidel příjmu dat a shromažďování dat (DCR). DcR umožňují shromažďovat a zpracovávat data před jejich uložením ve vašem pracovním prostoru. DCRs data formátují a odesílají jak do standardních tabulek Log Analytics, tak do přizpůsobitelných tabulek pro zdroje dat, které vytvářejí jedinečné formáty protokolů.

Transformace filtrování a rozdělení lze použít při příjmu dat ke snížení šumu a ke směrování dat do příslušné vrstvy úložiště. Tyto transformace nevyžadují vytvoření DCR a jsou definované na stránce správy tabulek Microsoft Sentinel na portálu Defender. Další informace najdete v tématu Filtrování a rozdělení transformací v Microsoft Sentinel.

nástroje Azure Monitor pro příjem vlastních dat v Microsoft Sentinel

Microsoft Sentinel k řízení příjmu vlastních dat používá následující nástroje Azure Monitor:

  • Transformace jsou definovány v DCR a používají dotazy KQL na příchozí data před jejich uložením do vašeho pracovního prostoru. Tyto transformace můžou filtrovat irelevantní data, obohatit stávající data o analytická nebo externí data nebo maskovat citlivé nebo osobní údaje.

  • Rozhraní API pro příjem protokolů umožňuje odesílat protokoly ve vlastním formátu z libovolného zdroje dat do pracovního prostoru služby Log Analytics a ukládat tyto protokoly buď v určitých standardních tabulkách, nebo ve vlastních formátovaných tabulkách, které vytvoříte. Máte plnou kontrolu nad vytvářením těchto vlastních tabulek až po zadání názvů a typů sloupců. Rozhraní API používá dcr k definování, konfiguraci a použití transformací těchto toků dat.

Poznámka

Pokud je Microsoft Sentinel povolen pro pracovní prostor Log Analytics, transformace analytických tabulek nepodléhají poplatku za filtrování Azure Monitor, bez ohledu na to, kolik dat transformace filtruje. Tato výjimka se nevztahuje na základní tabulky, které podléhají filtračnímu poplatku, když transformace ztratí více než 50% příchozích dat. Transformace v Microsoft Sentinel mají jinak stejná omezení jako Azure Monitor. Další informace najdete v tématu Omezení a důležité informace.

Podpora DCR v Microsoft Sentinel

Transformace doby příjmu dat jsou definovány v pravidlech shromažďování dat (DCR), která řídí tok dat ve službě Azure Monitor. DCR se používají v konektorech Sentinel založených na AMA a v pracovních postupech, které využívají rozhraní API pro ingestaci protokolů. Každý DCR obsahuje konfiguraci pro konkrétní scénář shromažďování dat a několik konektorů nebo zdrojů může sdílet jeden DCR.

Transformace DCR pracovního prostoru podporují pracovní postupy, které jinak DCR nepoužívají. DCR transformací pracovního prostoru obsahují transformace pro všechny podporované tabulky a aplikují se na veškerý provoz odesílaný do dané tabulky.

Další informace najdete tady:

Případy použití a ukázkové scénáře

Článek Ukázkové transformace ve službě Azure Monitor obsahuje popis a ukázkové dotazy pro běžné scénáře použití transformací doby příjmu dat v Azure Monitoru. Mezi scénáře, které jsou zvlášť užitečné pro Microsoft Sentinel, patří:

  • Snižte náklady na data. Filtrováním shromažďování dat podle řádků nebo sloupců snížíte náklady na příjem dat a úložiště.

  • Normalizujte data. Normalizace protokolů pomocí modelu ASIM (Advanced Security Information Model) za účelem zvýšení výkonu normalizovaných dotazů Další informace najdete v tématu Normalizace doby příjmu.

  • Obohacení dat Transformace při ingestování dat umožňují zlepšit analýzu obohacením dat o další sloupce přidané do nakonfigurované transformace KQL. Nadbytečné sloupce můžou obsahovat analyzovaná nebo počítaná data z existujících sloupců.

  • Odstraňte citlivá data. Transformace doby příjmu dat je možné použít k maskování nebo odebrání osobních údajů, jako je maskování všech číslic čísla sociálního pojištění nebo čísla platební karty kromě posledního.

Tok příjmu dat v Microsoft Sentinel

Následující obrázek ukazuje, kde transformace dat při příjmu dat vstupuje do toku příjmu dat v Microsoft Sentinel. Tato data mohou být podporována standardními tabulkami nebo v konkrétní sadě vlastních tabulek.

Diagram architektury transformace dat v Microsoft Sentinelu.

Tento obrázek znázorňuje cloudový kanál, který představuje komponentu shromažďování dat služby Azure Monitor. Další informace o tom najdete společně s dalšími scénáři shromažďování dat v tématu Pravidla shromažďování dat (DCR) ve službě Azure Monitor.

Microsoft Sentinel shromažďuje data v pracovním prostoru služby Log Analytics z více zdrojů.

  • Data shromážděná z koncového bodu rozhraní API pro ingestování protokolů nebo agentem Azure Monitor (AMA) se zpracovávají pomocí konkrétního pravidla DCR, které může zahrnovat transformaci při ingestování.
  • Data z integrovaných datových konektorů se v Log Analytics zpracovávají pomocí kombinace pevně definovaných pracovních postupů a transformací při příjmu dat v DCR pracovního prostoru.

Následující tabulka popisuje podporu DCR pro typy datových konektorů Microsoft Sentinel:

Typ datového konektoru Podpora DCR
protokoly agenta AMA (Azure Monitor), například:
  • Události zabezpečení Windows přes AMA
  • Události přeposlané systémem Windows
  • Data CEF
  • Data ze syslogu
  • Jedna nebo více položek DCR přidružených k agentovi
    Přímý příjem prostřednictvím rozhraní API pro příjem logů DCR zadané ve volání API
    Integrovaný datový konektor založený na rozhraní API, například:
  • Datové konektory bez kódu
  • DCR vytvořeno pro konektor
    Připojení na základě nastavení diagnostiky DCR transformace pracovního prostoru s podporovanými výstupními tabulkami
    Integrované datové konektory založené na rozhraní API, například:
  • Starší bezkódové datové konektory
  • datové konektory založené na Azure Functions
  • Aktuálně se nepodporuje.
    Integrované datové konektory mezi službami, například:
  • systém Microsoft Office 365
  • Microsoft Entra ID
  • Amazon S3
  • DCR pro transformaci pracovního prostoru pro tabulky podporující transformace

    Další informace najdete tady: