Niestandardowe pozyskiwanie i przekształcanie danych w Microsoft Sentinel

Azure Monitor Logs służy jako platforma danych dla Microsoft Sentinel. Wszystkie dzienniki pozyskane do Microsoft Sentinel są przechowywane w obszarze roboczym usługi Log Analytics, a zapytania dzienników zapisane w język zapytań Kusto (KQL) są używane do wykrywania zagrożeń i monitorowania aktywności sieciowej.

Usługa Log Analytics zapewnia wysoki poziom kontroli nad danymi pozyskiwanymi do obszaru roboczego za pomocą niestandardowych reguł pozyskiwania danych i zbierania danych (DCRs). Reguły DCR umożliwiają zarówno zbieranie, jak i przekształcanie danych przed zapisaniem ich w obszarze roboczym. Mechanizmy DCR zarówno formatują, jak i wysyłają dane do standardowych tabel usługi Log Analytics oraz do dostosowywalnych tabel dla źródeł danych generujących unikatowe formaty dzienników.

Transformacje filtrowania i dzielenia można stosować do danych podczas ich pozyskiwania, aby ograniczyć szum i kierować je do odpowiedniej warstwy magazynowania. Te przekształcenia nie wymagają utworzenia obiektu DCR i są definiowane na stronie zarządzania tabelami Microsoft Sentinel w portalu usługi Defender. Aby uzyskać więcej informacji, zobacz Filtrowanie i dzielenie przekształceń w Microsoft Sentinel.

narzędzia Azure Monitor do niestandardowego pozyskiwania danych w Microsoft Sentinel

Microsoft Sentinel do kontrolowania pozyskiwania danych niestandardowych używa następujących narzędzi Azure Monitor:

• Przekształcenia są definiowane w DCR i stosują zapytania KQL do danych przychodzących przed zapisaniem ich w obszarze roboczym. Te przekształcenia mogą odfiltrować nieistotne dane, wzbogacić istniejące dane za pomocą analizy lub danych zewnętrznych albo maskować dane poufne lub osobiste.

• Interfejs API pozyskiwania dzienników umożliwia wysyłanie dzienników w formacie niestandardowym z dowolnego źródła danych do obszaru roboczego usługi Log Analytics i przechowywanie tych dzienników w niektórych standardowych tabelach lub w utworzonych tabelach w formacie niestandardowym. Masz pełną kontrolę nad tworzeniem tych tabel niestandardowych, aż do określenia nazw i typów kolumn. Interfejs API wykorzystuje DCR do definiowania, konfigurowania i stosowania przekształceń do tych przepływów danych.

Uwaga

Jeśli Microsoft Sentinel jest włączony dla przestrzeni roboczej Log Analytics, transformacje tabel Analytics nie podlegają opłatom za filtrowanie pobierania przez Azure Monitor, niezależnie od ilości danych filtrowanych przez transformację. To zwolnienie nie dotyczy tabel Basic, które pobierają opłatę za filtrowanie, gdy transformacja zrzuca ponad 50% nadchodzących danych. Transformacje w Microsoft Sentinel mają te same ograniczenia co Azure Monitor. Aby uzyskać więcej informacji, zobacz Ograniczenia i zagadnienia.

Obsługa DCR w Microsoft Sentinel

Przekształcenia podczas pozyskiwania danych są definiowane w regułach zbierania danych (DCR), które kontrolują przepływ danych w usłudze Azure Monitor. Reguły zbierania danych (DCR) są używane przez łączniki usługi Sentinel i przepływy pracy oparte na agencie AMA, korzystające z interfejsu API pozyskiwania dzienników. Każda funkcja DCR zawiera konfigurację dla określonego scenariusza zbierania danych, a wiele łączników lub źródeł może współużytkować pojedynczą funkcję DCR.

Reguły DCR transformacji obszaru roboczego obsługują przepływy pracy, które w innym przypadku nie korzystają z reguł DCR. Reguły transformacji obszaru roboczego (DCR) zawierają transformacje dla każdej obsługiwanej tabeli i są stosowane do wszystkich danych wysyłanych do tej tabeli.

Więcej informacji można znaleźć w następujących artykułach:

• Przekształcenia zbierania danych w usłudze Azure Monitor
• Interfejs API do pozyskiwania dzienników w usłudze Azure Monitor Logs
• Reguły zbierania danych w usłudze Azure Monitor

Przypadki użycia i przykładowe scenariusze

Artykuł Przykładowe przekształcenia w usłudze Azure Monitor zawiera opis i przykładowe zapytania dotyczące typowych scenariuszy korzystających z przekształceń czasu pozyskiwania w usłudze Azure Monitor. Scenariusze, które są szczególnie przydatne w przypadku Microsoft Sentinel obejmują:

• Zmniejsz koszty danych. Filtrowanie zbierania danych według wierszy lub kolumn w celu zmniejszenia kosztów pozyskiwania i magazynowania.

• Normalizowanie danych. Normalizuj dzienniki za pomocą zaawansowanego modelu informacji o zabezpieczeniach (ASIM), aby zwiększyć wydajność znormalizowanych zapytań. Aby uzyskać więcej informacji, zobacz Normalizacja podczas pozyskiwania danych.

• Wzbogacanie danych. Przekształcenia podczas pozyskiwania danych umożliwiają usprawnienie analiz przez wzbogacenie danych o dodatkowe kolumny dodawane do skonfigurowanego przekształcenia KQL. Dodatkowe kolumny mogą obejmować analizowane lub obliczone dane z istniejących kolumn.

• Usuń poufne dane. Przekształcenia podczas pozyskiwania danych mogą służyć do maskowania lub usuwania danych osobowych, na przykład przez zamaskowanie wszystkich cyfr z wyjątkiem ostatnich cyfr numeru ubezpieczenia społecznego lub numeru karty kredytowej.

Przepływ pozyskiwania danych w Microsoft Sentinel

Poniższa ilustracja pokazuje, w którym miejscu transformacja danych w czasie pozyskiwania jest włączana do przepływu pozyskiwania danych w usłudze Microsoft Sentinel. Te dane mogą być obsługiwane w tabelach standardowych lub w określonym zestawie tabel niestandardowych.

Na tym obrazie przedstawiono potok chmury, który reprezentuje składnik zbierania danych Azure Monitor. Więcej informacji na ten temat oraz inne scenariusze zbierania danych można znaleźć w temacie Reguły zbierania danych (DCR) w usłudze Azure Monitor.

Microsoft Sentinel zbiera dane w obszarze roboczym usługi Log Analytics z wielu źródeł.

• Dane zbierane przez punkt końcowy interfejsu API pozyskiwania danych dziennika lub agenta Azure Monitor (AMA) są przetwarzane przez określoną regułę zbierania danych (DCR), która może obejmować transformację podczas pozyskiwania.
• Dane z wbudowanych łączników danych są przetwarzane w usłudze Log Analytics przy użyciu kombinacji zakodowanych przepływów pracy i przekształceń czasu pozyskiwania w obszarze roboczym DCR.

W poniższej tabeli opisano obsługę funkcji DCR dla typów łączników danych Microsoft Sentinel:

Typ łącznika danych	Obsługa DCR
Dzienniki agenta usługi Azure Monitor (AMA), takie jak: Zdarzenia zabezpieczeń systemu Windows za pośrednictwem AMA Zdarzenia przesyłane dalej w systemie Windows Dane CEF Dane dziennika systemowego	Jeden lub więcej elementów DCR powiązanych z agentem
Bezpośrednie przesyłanie za pomocą interfejsu API do przesyłania dzienników	DCR określony w wywołaniu API
Wbudowany łącznik danych oparty na interfejsie API, taki jak: Łączniki danych bez kodu	Funkcja DCR utworzona dla łącznika
Połączenia oparte na ustawieniach diagnostycznych	Transformacja obszaru roboczego DCR przy użyciu obsługiwanych tabel wyjściowych
Wbudowane łączniki danych oparte na interfejsie API, takie jak: Starsze łączniki danych bez kodu łączniki danych oparte na Azure Functions	Obecnie nie jest obsługiwane
Wbudowane łączniki danych typu service-to-service, takie jak: Microsoft Office 365 Microsoft Entra ID Amazon S3	Funkcja DCR przekształcania obszaru roboczego dla tabel, które obsługują przekształcenia

Zawartość pokrewna

Więcej informacji można znaleźć w następujących artykułach:

• Przekształcanie lub dostosowywanie danych w czasie pozyskiwania w Microsoft Sentinel (wersja zapoznawcza)
• Filtrowanie i dzielenie przekształceń w Microsoft Sentinel
• łączniki danych Microsoft Sentinel
• Znajdowanie łącznika danych Microsoft Sentinel