Udostępnij za pośrednictwem

Niestandardowe pozyskiwanie i przekształcanie danych w usłudze Microsoft Sentinel

  • Artykuł

Usługa Log Analytics usługi Azure Monitor służy jako platforma za obszarem roboczym usługi Microsoft Sentinel. Wszystkie dzienniki pozyskane do usługi Microsoft Sentinel są domyślnie przechowywane w usłudze Log Analytics. Z poziomu usługi Microsoft Sentinel możesz uzyskać dostęp do przechowywanych dzienników i uruchamiać zapytania język zapytań Kusto (KQL), aby wykrywać zagrożenia i monitorować aktywność sieci.

Niestandardowy proces pozyskiwania danych usługi Log Analytics zapewnia wysoki poziom kontroli nad danymi, które są pozyskiwane. Używa reguł zbierania danych (DCR) do zbierania danych i manipulowania nimi nawet przed zapisaną w obszarze roboczym. Dzięki temu można filtrować i wzbogacać standardowe tabele oraz tworzyć wysoce dostosowywane tabele do przechowywania danych ze źródeł, które generują unikatowe formaty dziennika.

Usługa Microsoft Sentinel udostępnia dwa narzędzia do kontrolowania tego procesu:

  • Interfejs API pozyskiwania dzienników umożliwia wysyłanie dzienników formatu niestandardowego z dowolnego źródła danych do obszaru roboczego usługi Log Analytics i przechowywanie tych dzienników w określonych tabelach standardowych lub w utworzonych tabelach niestandardowych. Masz pełną kontrolę nad tworzeniem tych tabel niestandardowych, aby określić nazwy i typy kolumn. Reguły zbierania danych (DCR) służą do definiowania, konfigurowania i stosowania przekształceń do tych przepływów danych.

  • Przekształcanie zbierania danych używa żądań DCR do stosowania podstawowych zapytań KQL do przychodzących dzienników standardowych (i niektórych typów dzienników niestandardowych) przed ich przechowywaniem w obszarze roboczym. Te przekształcenia mogą odfiltrować nieistotne dane, wzbogacić istniejące dane za pomocą analizy lub danych zewnętrznych albo zamaskować poufne lub osobiste informacje.

Te dwa narzędzia zostaną wyjaśnione bardziej szczegółowo poniżej.

Przypadki użycia i przykładowe scenariusze

Filtrowanie

Przekształcanie czasu pozyskiwania zapewnia możliwość filtrowania nieistotnych danych jeszcze przed ich pierwszym zapisaniem w obszarze roboczym.

Możesz filtrować na poziomie rekordu (wiersza), określając kryteria dołączania rekordów lub na poziomie pola (kolumny), usuwając zawartość dla określonych pól. Filtrowanie nieistotnych danych może:

  • Pomoc w zmniejszeniu kosztów w miarę zmniejszania wymagań dotyczących magazynu
  • Zwiększ wydajność, ponieważ potrzebne są mniej korekt czasu wykonywania zapytań

Przekształcanie danych w czasie pozyskiwania obsługuje scenariusze z wieloma obszarami roboczymi.

Normalizacja

Przekształcanie czasu pozyskiwania umożliwia również normalizację dzienników podczas pozyskiwania w tabelach wbudowanych lub znormalizowanych tabel ASIM klienta. Korzystanie z normalizacji czasu pozyskiwania poprawia znormalizowaną wydajność zapytań.

Aby uzyskać więcej informacji na temat normalizacji czasu pozyskiwania przy użyciu przekształceń, zobacz Normalizacja czasu pozyskiwania.

Wzbogacanie i tagowanie

Przekształcanie w czasie pozyskiwania umożliwia również ulepszanie analizy przez wzbogacanie danych o dodatkowe kolumny dodane do skonfigurowanej transformacji KQL. Dodatkowe kolumny mogą obejmować przeanalizowane lub obliczone dane z istniejących kolumn lub dane pobrane ze struktur danych utworzonych na bieżąco.

Można na przykład dodać dodatkowe informacje, takie jak zewnętrzne dane kadrowe, rozszerzony opis zdarzenia lub klasyfikacje, które zależą od użytkownika, lokalizacji lub typu działania.

Maskowanie

Przekształcenia czasu pozyskiwania mogą być również używane do maskowania lub usuwania danych osobowych. Na przykład możesz użyć przekształcania danych, aby zamaskować wszystkie, ale ostatnie cyfry numeru ubezpieczenia społecznego lub numeru karty kredytowej, albo zastąpić inne typy danych osobowych nonsensem, standardowym tekstem lub fikcyjnymi danymi. Zamaskuj dane osobowe w czasie pozyskiwania, aby zwiększyć bezpieczeństwo w sieci.

Przepływ pozyskiwania danych w usłudze Microsoft Sentinel

Na poniższej ilustracji pokazano, gdzie przekształcanie danych w czasie pozyskiwania danych wprowadza przepływ pozyskiwania danych w usłudze Microsoft Sentinel.

Usługa Microsoft Sentinel zbiera dane do obszaru roboczego usługi Log Analytics z wielu źródeł.

  • Dane z wbudowanych łączników danych są przetwarzane w usłudze Log Analytics przy użyciu niektórych kombinacji zakodowanych na stałe przepływów pracy i przekształceń czasu pozyskiwania w obszarze roboczym DCR. Te dane mogą być przechowywane w standardowych tabelach lub w określonym zestawie tabel niestandardowych.
  • Dane pozyskiwane bezpośrednio do punktu końcowego interfejsu API pozyskiwania dzienników są przetwarzane przez standardową usługę DCR, która może obejmować transformację czasu pozyskiwania. Te dane mogą być następnie przechowywane w tabelach standardowych lub niestandardowych dowolnego rodzaju.

Diagram of the Microsoft Sentinel data transformation architecture.

Obsługa dcR w usłudze Microsoft Sentinel

W usłudze Log Analytics reguły zbierania danych określają przepływ danych dla różnych strumieni wejściowych. Przepływ danych obejmuje: strumień danych, który ma zostać przekształcony (standardowy lub niestandardowy), docelowy obszar roboczy, przekształcenie KQL i tabela wyjściowa. W przypadku standardowych strumieni wejściowych tabela wyjściowa jest taka sama jak strumień wejściowy.

Obsługa kontrolerów domeny w usłudze Microsoft Sentinel obejmuje:

  • Standardowe kontrolery DCR, obecnie obsługiwane tylko dla łączników i przepływów pracy opartych na usłudze AMA przy użyciu nowego interfejsu API pozyskiwania dzienników.

    Każdy przepływ pracy łącznika lub źródła dziennika może mieć własny dedykowany standardowy kontroler domeny, choć wiele łączników lub źródeł może również współdzielić wspólną standardową usługę DCR.

  • Kontrolery DCR przekształcania obszaru roboczego dla przepływów pracy, które obecnie nie obsługują standardowych kontrolerów domeny.

    Funkcja DCR przekształcania pojedynczego obszaru roboczego obsługuje wszystkie obsługiwane przepływy pracy w obszarze roboczym, który nie jest obsługiwany przez standardowe kontrolery domeny. Obszar roboczy może mieć tylko jedną transformację obszaru roboczego DCR, ale usługa DCR zawiera oddzielne przekształcenia dla każdego strumienia wejściowego. Ponadto przekształcenia obszaru roboczego DCRsą obsługiwane tylko dla określonego zestawu tabel.

Obsługa transformacji czasu pozyskiwania danych przez usługę Microsoft Sentinel zależy od typu używanego łącznika danych. Aby uzyskać bardziej szczegółowe informacje na temat dzienników niestandardowych, transformacji czasu pozyskiwania i reguł zbierania danych, zobacz artykuły połączone w sekcji Następne kroki na końcu tego artykułu.

Obsługa dcR dla łączników danych usługi Microsoft Sentinel

W poniższej tabeli opisano obsługę modelu DCR dla typów łączników danych usługi Microsoft Sentinel:

Typ łącznika danych Obsługa kontrolera domeny
Bezpośrednie pozyskiwanie za pośrednictwem interfejsu API pozyskiwania dzienników Standardowe kontrolery domeny
Standardowe dzienniki usługi AMA, takie jak:
  • Zabezpieczenia Windows zdarzenia za pośrednictwem usługi AMA
  • Zdarzenia przekazywane w systemie Windows
  • Dane CEF
  • Dane dziennika systemowego
    		•  Standardowe kontrolery domeny
    Dzienniki standardowe MMA, takie jak
  • Dane dziennika systemowego
  • CommonSecurityLog
    		•  Przekształcenia obszaru roboczego — kontrolery domeny
    Połączenia diagnostyczne oparte na ustawieniach Kontrolery DCR przekształcania obszaru roboczego oparte na obsługiwanych tabelach wyjściowych dla określonych łączników danych
    Wbudowane łączniki danych typu service-to-service, takie jak:
  • Microsoft Office 365
  • Tożsamość Microsoft Entra
  • Amazon S3
    		•  Kontrolery DCR przekształcania obszaru roboczego oparte na obsługiwanych tabelach wyjściowych dla określonych łączników danych
    Wbudowany, oparty na interfejsie API łącznik danych, taki jak:
  • Łączniki danych bez kodu
    		•  Standardowe kontrolery domeny
    Wbudowane łączniki danych oparte na interfejsie API, takie jak:
  • Starsze łączniki danych bez kodu
  • Łączniki danych oparte na usłudze Azure Functions
    		•  Obecnie nieobsługiwane

    Obsługa przekształcania danych dla niestandardowych łączników danych

    Jeśli utworzono niestandardowe łączniki danych dla usługi Microsoft Sentinel, możesz użyć kontrolerów domeny, aby skonfigurować sposób analizowania i przechowywania danych w usłudze Log Analytics w obszarze roboczym.

    Tylko następujące tabele są obecnie obsługiwane w przypadku pozyskiwania dzienników niestandardowych:

    Aby uzyskać więcej informacji, zobacz Tabele, które obsługują przekształcenia czasu pozyskiwania.

    Ograniczenia

    Przekształcanie danych w czasie pozyskiwania ma obecnie następujące znane problemy dotyczące łączników danych usługi Microsoft Sentinel:

    • Przekształcenia danych przy użyciu przekształceń obszaru roboczego są obsługiwane tylko dla tabeli, a nie dla łącznika.

      Dla całego obszaru roboczego może istnieć tylko jedna transformacja obszaru roboczego DCR. W tej usłudze DCR każda tabela może używać oddzielnego strumienia wejściowego z własną transformacją. Jeśli jednak masz dwa różne łączniki danych oparte na programie MMA wysyłające dane do tabeli Syslog , oba będą musiały używać tej samej konfiguracji strumienia wejściowego w kontrolerze domeny. Dzielenie danych na wiele miejsc docelowych (obszarów roboczych usługi Log Analytics) przy użyciu przekształcenia obszaru roboczego DCR nie jest możliwe.

    • Następujące konfiguracje są obsługiwane tylko za pośrednictwem interfejsu API:

      • Standardowe kontrolery DCR dla łączników opartych na usłudze AMA, takich jak zdarzenia Zabezpieczenia Windows i zdarzenia przekazywane systemu Windows.

      • Standardowe reguły DCR na potrzeby niestandardowego pozyskiwania dzienników do standardowej tabeli.

    • Zastosowanie konfiguracji transformacji danych może potrwać do 60 minut.

    • Składnia języka KQL: Nie wszystkie operatory są obsługiwane. Aby uzyskać więcej informacji, zobacz ograniczenia języka KQL i obsługiwane funkcje KQL w dokumentacji usługi Azure Monitor.

    • Dzienniki można wysyłać tylko z jednego określonego źródła danych do jednego obszaru roboczego. Aby wysyłać dane z jednego źródła danych do wielu obszarów roboczych (miejsc docelowych) ze standardowym kontrolerem domeny, utwórz jeden kontroler domeny na obszar roboczy.

    Następne kroki

    Wprowadzenie do konfigurowania przekształcania danych w czasie pozyskiwania w usłudze Microsoft Sentinel.

    Dowiedz się więcej o typach łączników danych usługi Microsoft Sentinel. Aby uzyskać więcej informacji, zobacz:

    Aby uzyskać bardziej szczegółowe informacje na temat przekształcania czasu pozyskiwania, interfejsu API dzienników niestandardowych i reguł zbierania danych, zobacz następujące artykuły w dokumentacji usługi Azure Monitor: