Share via

Vlastní příjem a transformace dat v Microsoft Sentinelu

  • Článek

Log Analytics služby Azure Monitor slouží jako platforma za pracovním prostorem Služby Microsoft Sentinel. Všechny protokoly ingestované do Služby Microsoft Sentinel se ve výchozím nastavení ukládají ve službě Log Analytics. Z Microsoft Sentinelu můžete přistupovat k uloženým protokolům a spouštět dotazy dotazovací jazyk Kusto (KQL) k detekci hrozeb a monitorování síťové aktivity.

Vlastní proces příjmu dat log Analytics poskytuje vysokou úroveň kontroly nad daty, která se ingestují. Používá pravidla shromažďování dat (DCR) ke shromažďování dat a manipulaci s nimi i před uložením v pracovním prostoru. To vám umožní filtrovat a rozšiřovat standardní tabulky a vytvářet vysoce přizpůsobitelné tabulky pro ukládání dat ze zdrojů, které vytvářejí jedinečné formáty protokolů.

Microsoft Sentinel nabízí dva nástroje pro řízení tohoto procesu:

  • Rozhraní API pro příjem protokolů umožňuje odesílat protokoly vlastního formátu z libovolného zdroje dat do pracovního prostoru služby Log Analytics a ukládat tyto protokoly buď v určitých konkrétních standardních tabulkách, nebo ve vlastních formátovaných tabulkách, které vytvoříte. Máte plnou kontrolu nad vytvářením těchto vlastních tabulek a zadáním názvů a typů sloupců. Vytvoříte pravidla shromažďování dat (DCR), která definují, konfigurují a aplikují transformace na tyto toky dat.

  • Transformace shromažďování dat používá řadiče domény k použití základních dotazů KQL na příchozí standardní protokoly (a určité typy vlastních protokolů) před jejich uložením ve vašem pracovním prostoru. Tyto transformace můžou odfiltrovat irelevantní data, rozšířit stávající data pomocí analýz nebo externích dat nebo maskovat citlivé nebo osobní údaje.

Tyto dva nástroje budou vysvětleny podrobněji níže.

Případy použití a ukázkové scénáře

Filtrování

Transformace v čase příjmu dat umožňuje filtrovat irelevantní data ještě před tím, než se poprvé uloží do pracovního prostoru.

Můžete filtrovat na úrovni záznamu (řádku) zadáním kritérií, pro které záznamy se mají zahrnout, nebo na úrovni pole (sloupce) odebráním obsahu pro konkrétní pole. Filtrování irelevantních dat může:

  • Pomoc s snížením nákladů, protože snižujete požadavky na úložiště
  • Zvýšení výkonu, protože je potřeba méně úprav v době dotazu

Transformace dat v době příjmu dat podporuje scénáře s více pracovními prostory.

Normalizace

Transformace Ingestování času také umožňuje normalizovat protokoly při ingestování do integrovaných nebo zákaznických normalizovaných tabulek ASIM. Normalizace ingestování za ingestování zlepšuje výkon normalizovaných dotazů.

Další informace o normalizaci ingestování v čase pomocí transformací najdete v tématu Normalizace Ingestování času.

Rozšiřování a označování

Transformace v čase příjmu dat také umožňuje zlepšit analýzu obohacením dat o další sloupce přidané do nakonfigurované transformace KQL. Další sloupce můžou zahrnovat analyzovaná nebo počítaná data z existujících sloupců nebo data převzatá z datových struktur vytvořených průběžně.

Můžete například přidat další informace, jako jsou externí data personálního oddělení, rozšířený popis události nebo klasifikace, které závisí na uživateli, umístění nebo typu aktivity.

Maskování

Transformace v době příjmu dat je také možné použít k maskování nebo odebrání osobních údajů. Pomocí transformace dat můžete například maskovat všechna kromě posledních číslic čísla sociálního pojištění nebo čísla platební karty nebo můžete nahradit jiné typy osobních údajů nesmysly, standardním textem nebo fiktivními daty. Zamaskujte své osobní údaje v době příjmu dat, abyste zvýšili zabezpečení v síti.

Tok příjmu dat v Microsoft Sentinelu

Následující obrázek ukazuje, kde transformace dat v době příjmu dat vstupuje do toku příjmu dat v Microsoft Sentinelu.

Microsoft Sentinel shromažďuje data do pracovního prostoru služby Log Analytics z více zdrojů.

  • Data z integrovaných datových konektorů se zpracovávají v Log Analytics pomocí některé kombinace pevně zakódovaných pracovních postupů a transformací doby příjmu dat v pracovním prostoru DCR. Tato data mohou být uložena ve standardních tabulkách nebo v konkrétní sadě vlastních tabulek.
  • Data ingestovaná přímo do koncového bodu rozhraní API pro příjem protokolů se zpracovávají standardním dcR, který může zahrnovat transformaci v čase příjmu dat. Tato data se pak dají ukládat do standardních nebo vlastních tabulek libovolného druhu.

Diagram of the Microsoft Sentinel data transformation architecture.

Podpora DCR v Microsoft Sentinelu

Pravidla shromažďování dat (DCR) v Log Analytics určují tok dat pro různé vstupní streamy. Tok dat zahrnuje: datový proud, který se má transformovat (standardní nebo vlastní), cílový pracovní prostor, transformaci KQL a výstupní tabulku. U standardních vstupních datových proudů je výstupní tabulka stejná jako vstupní datový proud.

Podpora pro žádosti o přijetí změn v Microsoft Sentinelu zahrnuje:

  • Standardní řadiče domény, které se v současné době podporují jenom pro konektory a pracovní postupy založené na AMA pomocí nového rozhraní API pro příjem protokolů.

    Každý pracovní postup konektoru nebo zdroje protokolů může mít svůj vlastní vyhrazený standard DCR, i když několik konektorů nebo zdrojů může sdílet také společný standard DCR .

  • Transformační žádosti o pracovní prostor pro pracovní postupy, které aktuálně nepodporují standardní žádosti DCR.

    DcR transformace jednoho pracovního prostoru obsluhuje všechny podporované pracovní postupy v pracovním prostoru, který není obsluhován standardními řadiči domény. Pracovní prostor může mít pouze jednu transformaci pracovního prostoru DCR, ale tento řadič domény obsahuje samostatné transformace pro každý vstupní datový proud. Transformace pracovního prostoruse podporují jenom pro konkrétní sadu tabulek.

Podpora microsoft Sentinelu pro transformaci v čase příjmu dat závisí na typu datového konektoru, který používáte. Podrobnější informace o vlastních protokolech, transformaci v čase příjmu dat a pravidlech shromažďování dat najdete v článcích propojených v části Další kroky na konci tohoto článku.

Podpora DCR pro datové konektory Microsoft Sentinelu

Následující tabulka popisuje podporu DCR pro typy datových konektorů Microsoft Sentinelu:

Typ datového konektoru Podpora DCR
Přímé příjem dat prostřednictvím rozhraní API pro příjem dat protokolů Standardní řadiče domény
Standardní protokoly AMA, například:
  • Zabezpečení Windows události prostřednictvím AMA
  • Události přeposlané systémem Windows
  • Data CEF
  • Data Syslogu
    		•  Standardní řadiče domény
    Standardní protokoly MMA, například
  • Data Syslogu
  • CommonSecurityLog
    		•  Transformační žádosti o pracovní prostor
    Připojení založená na nastavení diagnostiky Transformace pracovních prostorů DCR na základě podporovaných výstupních tabulek pro konkrétní datové konektory
    Integrované datové konektory service-to-service, například:
  • systém Microsoft Office 365
  • Microsoft Entra ID
  • Amazon S3
    		•  Transformace pracovních prostorů DCR na základě podporovaných výstupních tabulek pro konkrétní datové konektory
    Integrovaný datový konektor založený na rozhraní API, například:
  • Datové konektory bez kódu
    		•  Standardní řadiče domény
    Integrované datové konektory založené na rozhraní API, například:
  • Starší datové konektory bez kódu
  • Datové konektory založené na Azure Functions
    		•  V současnosti není podporováno

    Podpora transformace dat pro vlastní datové konektory

    Pokud jste vytvořili vlastní datové konektory pro Microsoft Sentinel, můžete pomocí dcR nakonfigurovat způsob analýzy a ukládání dat ve službě Log Analytics ve vašem pracovním prostoru.

    Pro příjem vlastních protokolů se v současné době podporují pouze následující tabulky:

    Další informace najdete v tabulkách , které podporují transformace v čase příjmu dat.

    Omezení

    Transformace dat v době příjmu dat v současné době obsahuje následující známé problémy pro datové konektory Microsoft Sentinelu:

    • Transformace dat pomocí dcr transformace pracovního prostoru se podporují jenom pro každou tabulku a ne pro jednotlivé konektory.

      Pro celý pracovní prostor může existovat pouze jedna transformace pracovního prostoru. V rámci této dcR může každá tabulka používat samostatný vstupní datový proud s vlastní transformací. Pokud ale máte dva různé datové konektory založené na MMA, které odesílají data do tabulky Syslog , budou muset oba používat stejnou konfiguraci vstupního datového proudu v DCR. Rozdělení dat do několika cílů (pracovních prostorů Log Analytics) s transformací pracovního prostoru DCR není možné.

    • Následující konfigurace jsou podporovány pouze prostřednictvím rozhraní API:

    • Než se konfigurace transformace dat použijí, může to trvat až 60 minut.

    • Syntaxe KQL: Nepodporují se všechny operátory. Další informace najdete v tématu Omezení KQL a podporované funkce KQL v dokumentaci ke službě Azure Monitor.

    • Protokoly můžete odesílat pouze z jednoho konkrétního zdroje dat do jednoho pracovního prostoru. Pokud chcete odesílat data z jednoho zdroje dat do více pracovních prostorů (cílů) se standardním dcR, vytvořte pro každý pracovní prostor jeden řadič domény.

    Další kroky

    Začněte konfigurovat transformaci dat v době příjmu dat v Microsoft Sentinelu.

    Přečtěte si další informace o typech datových konektorů Microsoft Sentinelu. Další informace naleznete v tématu:

    Podrobnější informace o transformaci v čase příjmu dat, rozhraní API vlastních protokolů a pravidel shromažďování dat najdete v následujících článcích v dokumentaci ke službě Azure Monitor: