Zbieranie dzienników z plików tekstowych za pomocą agenta usługi Azure Monitor i pozyskiwanie ich do usługi Microsoft Sentinel

• Dotyczy:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

W tym artykule opisano sposób używania dzienników niestandardowych za pośrednictwem łącznika usługi AMA w celu szybkiego filtrowania i pozyskiwania dzienników w formacie pliku tekstowego z aplikacji sieciowych lub zabezpieczeń zainstalowanych na maszynach z systemem Windows lub Linux.

Wiele aplikacji rejestruje dane w plikach tekstowych zamiast standardowych usług rejestrowania, takich jak dziennik zdarzeń systemu Windows lub dziennik syslog. Agent usługi Azure Monitor (AMA) służy do zbierania danych w plikach tekstowych niestandardowych formatów zarówno z komputerów z systemami Windows, jak i Linux. Usługa AMA może również wpływać na przekształcenia danych w czasie zbierania, aby przeanalizować je w różnych polach.

Aby uzyskać więcej informacji na temat aplikacji, dla których usługa Microsoft Sentinel ma rozwiązania do obsługi zbierania dzienników, zobacz Custom Logs via AMA data connector — Configure data ingestion to Microsoft Sentinel from specific applications (Dzienniki niestandardowe za pośrednictwem łącznika danych usługi AMA — konfigurowanie pozyskiwania danych do usługi Microsoft Sentinel z określonych aplikacji).

Aby uzyskać więcej ogólnych informacji na temat pozyskiwania dzienników niestandardowych z plików tekstowych, zobacz Zbieranie dzienników z pliku tekstowego za pomocą agenta usługi Azure Monitor.

Ważne

• Dzienniki niestandardowe za pośrednictwem łącznika danych usługi AMA są obecnie dostępne w wersji zapoznawczej. Zobacz Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure, aby uzyskać dodatkowe postanowienia prawne dotyczące funkcji platformy Azure, które są dostępne w wersji beta, wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej.

• Usługa Microsoft Sentinel jest teraz ogólnie dostępna na platformie Ujednolicone operacje zabezpieczeń firmy Microsoft w portalu usługi Microsoft Defender. Aby uzyskać więcej informacji, zobacz Microsoft Sentinel w portalu usługi Microsoft Defender.

Wymagania wstępne

Przed rozpoczęciem musisz mieć skonfigurowane zasoby i przypisane odpowiednie uprawnienia zgodnie z opisem w tej sekcji.

Wymagania wstępne usługi Microsoft Sentinel

• Zainstaluj rozwiązanie usługi Microsoft Sentinel zgodne z aplikacją i upewnij się, że masz uprawnienia do wykonania kroków opisanych w tym artykule. Te rozwiązania można znaleźć w centrum zawartości w usłudze Microsoft Sentinel, a wszystkie te rozwiązania obejmują dzienniki niestandardowe za pośrednictwem łącznika usługi AMA .

  Aby uzyskać listę aplikacji, które mają rozwiązania w centrum zawartości, zobacz Konkretne instrukcje dla aplikacji. Jeśli nie ma rozwiązania dostępnego dla aplikacji, zainstaluj dzienniki niestandardowe za pośrednictwem rozwiązania AMA .

  Aby uzyskać więcej informacji, zobacz Odnajdywanie gotowej zawartości usługi Microsoft Sentinel i zarządzanie nią.

• Masz konto platformy Azure z następującymi rolami kontroli dostępu na podstawie ról (RBAC) platformy Azure:

  Rola wbudowana	Scope	Przyczyna
  - Współautor maszyny wirtualnej - Połączona maszyna platformy Azure    Administrator zasobów	Maszyny wirtualne (VM) Virtual Machine Scale Sets Serwery z obsługą usługi Azure Arc	Aby wdrożyć agenta
  Dowolna rola obejmująca akcję Microsoft.Resources/deployments/*	Subskrypcja Grupa zasobów Istniejąca reguła zbierania danych	Aby wdrożyć szablony usługi Azure Resource Manager
  Współautor monitorowania	Subskrypcja Grupa zasobów Istniejąca reguła zbierania danych	Aby utworzyć lub edytować reguły zbierania danych

Wymagania wstępne usługi przesyłania dalej dzienników

Niektóre aplikacje niestandardowe są hostowane na zamkniętych urządzeniach, które wymagają wysyłania dzienników do zewnętrznego modułu zbierającego dzienniki/usługi przesyłania dalej. W takim scenariuszu do usługi przesyłania dalej dzienników mają zastosowanie następujące wymagania wstępne:

• Aby zbierać dzienniki, musisz mieć wyznaczoną maszynę wirtualną z systemem Linux jako usługę przesyłania dalej dziennika.

  • Utwórz maszynę wirtualną z systemem Linux w witrynie Azure Portal.
  • Obsługiwane systemy operacyjne Linux dla agenta usługi Azure Monitor.

• Jeśli usługa przesyłania dalej dzienników nie jest maszyną wirtualną platformy Azure, musi mieć zainstalowanego na nim agenta maszyny połączonej z usługą Azure Arc.

• Maszyna wirtualna usługi przesyłania dalej dziennika systemu Linux musi mieć zainstalowany język Python 2.7 lub 3. python --version Użyj polecenia orpython3 --version, aby sprawdzić. Jeśli używasz języka Python 3, upewnij się, że jest ono ustawione jako domyślne polecenie na maszynie lub uruchom skrypty za pomocą polecenia "python3" zamiast "python".

• Usługa przesyłania dalej dziennika musi mieć syslog-ng włączone demona lub rsyslog .

• Aby uzyskać wymagania dotyczące miejsca dla usługi przesyłania dalej dzienników, zapoznaj się z testem porównawczym wydajności agenta usługi Azure Monitor. Możesz również przejrzeć ten wpis w blogu, który zawiera projekty skalowalnego pozyskiwania.

• Źródła dzienników, urządzenia zabezpieczeń i urządzenia muszą być skonfigurowane do wysyłania komunikatów dziennika do demona dziennika dziennika usługi przesyłania dalej dziennika zamiast do lokalnego demona dziennika systemowego.

Wymagania wstępne dotyczące zabezpieczeń maszyny

Skonfiguruj zabezpieczenia maszyny usługi przesyłania dalej dzienników zgodnie z zasadami zabezpieczeń organizacji. Na przykład skonfiguruj sieć, aby dopasować je do zasad zabezpieczeń sieci firmowej i zmienić porty i protokoły w demonie, aby dopasować je do wymagań. Aby poprawić konfigurację zabezpieczeń maszyny, zabezpieczyć maszynę wirtualną na platformie Azure lub zapoznać się z tymi najlepszymi rozwiązaniami dotyczącymi zabezpieczeń sieci.

Jeśli urządzenia wysyłają dzienniki za pośrednictwem protokołu TLS, ponieważ na przykład usługa przesyłania dalej dzienników znajduje się w chmurze, musisz skonfigurować demona dziennika systemowego (rsyslog lub syslog-ng) do komunikowania się w protokole TLS. Aby uzyskać więcej informacji, zobacz:

• Szyfrowanie ruchu dziennika systemowego przy użyciu protokołu TLS — rsyslog
• Szyfrowanie komunikatów dziennika przy użyciu protokołu TLS — syslog-ng

Konfigurowanie łącznika danych

Proces instalacji dzienników niestandardowych za pośrednictwem łącznika danych usługi AMA obejmuje następujące kroki:

1. Utwórz tabelę docelową w usłudze Log Analytics (lub wyszukiwanie zaawansowane, jeśli jesteś w portalu usługi Defender).

   Nazwa tabeli musi się kończyć _CL i musi zawierać tylko dwa następujące pola:

   • TimeGenerated (typu DateTime): sygnatura czasowa tworzenia komunikatu dziennika.
   • RawData (typu Ciąg): komunikat dziennika w całości.
     (Jeśli zbierasz dzienniki z usługi przesyłania dalej dzienników, a nie bezpośrednio z urządzenia obsługującego aplikację, nazwij to pole Komunikat zamiast rawData).

2. Zainstaluj agenta usługi Azure Monitor i utwórz regułę zbierania danych (DCR) przy użyciu jednej z następujących metod:

   • Azure lub Defender Portal
   • Szablon usługi Azure Resource Manager

3. Jeśli zbierasz dzienniki przy użyciu usługi przesyłania dalej dzienników, skonfiguruj demona dziennika systemowego na tym komputerze, aby nasłuchiwać komunikatów z innych źródeł i otwierać wymagane porty lokalne. Aby uzyskać szczegółowe informacje, zobacz Konfigurowanie usługi przesyłania dalej dziennika w celu akceptowania dzienników.

Wybierz odpowiednią kartę, aby uzyskać instrukcje.

Azure lub Defender Portal

Tworzenie reguły zbierania danych (DCR)

Aby rozpocząć, otwórz dzienniki niestandardowe za pośrednictwem łącznika danych usługi AMA w usłudze Microsoft Sentinel i utwórz regułę zbierania danych (DCR).

1. W przypadku usługi Microsoft Sentinel w witrynie Azure Portal w obszarze Konfiguracja wybierz pozycję Łączniki danych.
   W przypadku usługi Microsoft Sentinel w portalu usługi Defender wybierz pozycję Łączniki danych konfiguracji>usługi Microsoft Sentinel.>

2. Wpisz wartość niestandardową w polu Wyszukaj. W wynikach wybierz pozycję Dzienniki niestandardowe za pośrednictwem łącznika usługi AMA .

3. Wybierz pozycję Otwórz stronę łącznika w okienku szczegółów.

   

4. W obszarze Konfiguracja wybierz pozycję +Utwórz regułę zbierania danych.

   

5. Na karcie Podstawowe:

   • Wpisz nazwę kontrolera domeny.
   • Wybierz subskrypcję.
   • Wybierz grupę zasobów, w której chcesz zlokalizować kontroler domeny.

   

6. Wybierz pozycję Dalej: Zasoby >.

Definiowanie zasobów maszyny wirtualnej

Na karcie Zasoby wybierz maszyny, z których chcesz zebrać dzienniki. Są to maszyny, na których zainstalowano aplikację, lub maszyny usługi przesyłania dalej dzienników. Jeśli maszyna, której szukasz, nie jest wyświetlana na liście, może to nie być maszyna wirtualna platformy Azure z zainstalowanym agentem usługi Azure Connected Machine.

1. Użyj dostępnych filtrów lub pola wyszukiwania, aby znaleźć szukaną maszynę. Rozwiń subskrypcję na liście, aby wyświetlić jej grupy zasobów i grupę zasobów, aby wyświetlić jej maszyny wirtualne.

2. Wybierz maszynę, z której chcesz zbierać dzienniki. Pole wyboru jest wyświetlane obok nazwy maszyny wirtualnej po umieszczeniu na niej wskaźnika myszy.

   

   Jeśli wybrane maszyny nie mają jeszcze zainstalowanego agenta usługi Azure Monitor, agent jest instalowany po utworzeniu i wdrożeniu kontrolera domeny.

3. Przejrzyj zmiany i wybierz pozycję Dalej: Zbierz >.

Konfigurowanie kontrolera DOMENY dla aplikacji

1. Na karcie Zbieranie wybierz aplikację lub typ urządzenia z listy rozwijanej Wybierz typ urządzenia (opcjonalnie) lub pozostaw ją jako Niestandardową nową tabelę, jeśli aplikacja lub urządzenie nie ma na liście.

2. Jeśli wybrano jedną z wymienionych aplikacji lub urządzeń, pole Nazwa tabeli zostanie automatycznie wypełnione odpowiednią nazwą tabeli. W przypadku wybrania opcji Niestandardowa nowa tabela wprowadź nazwę tabeli w obszarze Nazwa tabeli. Nazwa musi kończyć się sufiksem _CL .

3. W polu Wzorzec pliku wprowadź ścieżkę i nazwę pliku plików dziennika tekstowego, które mają być zbierane. Aby znaleźć domyślne nazwy plików i ścieżki dla każdej aplikacji lub typu urządzenia, zobacz Określone instrukcje dla typu aplikacji. Nie musisz używać domyślnych nazw plików ani ścieżek i możesz użyć symboli wieloznacznych w nazwie pliku.

4. W polu Przekształć, jeśli w kroku 1 wybrano niestandardową nową tabelę, wprowadź zapytanie Kusto, które stosuje wybrane przekształcenie do danych.

   Jeśli w kroku 1 wybrano jedną z wymienionych aplikacji lub urządzeń, to pole zostanie automatycznie wypełnione odpowiednim przekształceniem. NIE edytuj przekształcenia, które się tam pojawia. W zależności od wybranego typu ta wartość powinna być jedną z następujących wartości:

   • source (wartość domyślna — brak przekształcenia)
   • source | project-rename Message=RawData (w przypadku urządzeń, które wysyłają dzienniki do usługi przesyłania dalej)

5. Przejrzyj wybrane opcje i wybierz pozycję Dalej: Przejrzyj i utwórz.

Przeglądanie i tworzenie reguły

Po zakończeniu wszystkich kart przejrzyj wprowadzone elementy i utwórz regułę zbierania danych.

1. Na karcie Przeglądanie i tworzenie wybierz pozycję Utwórz.

   

   Łącznik instaluje agenta usługi Azure Monitor na maszynach wybranych podczas tworzenia kontrolera domeny.

2. Sprawdź powiadomienia w witrynie Azure Portal lub portalu usługi Microsoft Defender, aby zobaczyć, kiedy kontroler domeny jest tworzony, a agent jest zainstalowany.

3. Wybierz pozycję Odśwież na stronie łącznika, aby wyświetlić kontroler domeny wyświetlany na liście.

Szablon usługi Resource Manager

Instalowanie agenta usługi Azure Monitor

Postępuj zgodnie z odpowiednimi instrukcjami z dokumentacji usługi Azure Monitor, aby zainstalować agenta usługi Azure Monitor na maszynie obsługującej aplikację lub na usłudze przesyłania dalej dzienników. Skorzystaj z instrukcji dotyczących systemu Windows lub linux, zgodnie z potrzebami.

• Instalowanie usługi AMA przy użyciu programu PowerShell
• Instalowanie usługi AMA przy użyciu interfejsu wiersza polecenia platformy Azure
• Instalowanie usługi AMA przy użyciu szablonu usługi Azure Resource Manager

Tworzenie reguł zbierania danych (DCR) przy użyciu interfejsu API pozyskiwania dzienników usługi Azure Monitor. Aby uzyskać więcej informacji, zobacz Reguły zbierania danych w usłudze Azure Monitor.

Tworzenie reguły zbierania danych

Użyj następującego szablonu usługi ARM, aby utworzyć lub zmodyfikować kontroler domeny na potrzeby zbierania plików dziennika tekstowego:

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Zastąp wartości {PLACE_HOLDER} następującymi wartościami:

Symbol zastępczy	Wartość
{DCR_NAME}	Nazwa wybrana dla reguły zbierania danych. Musi być unikatowa w obszarze roboczym.
{DCR_LOCATION}	Region, w którym znajduje się grupa zasobów zawierająca kontroler domeny.
{TABLE_NAME}	Nazwa tabeli docelowej w usłudze Log Analytics. Musi kończyć się ciągiem _CL.
{LOCAL_PATH_FILE_1} (wymagane), {LOCAL_PATH_FILE_2} (opcjonalnie)	Ścieżki i nazwy plików tekstowych zawierających dzienniki, które chcesz zebrać. Muszą one znajdować się na maszynie, na której zainstalowano agenta usługi Azure Monitor.
{WORKSPACE_RESOURCE_PATH}	Ścieżka zasobu platformy Azure obszaru roboczego usługi Microsoft Sentinel.
{WORKSPACE_ID}	Identyfikator GUID obszaru roboczego usługi Microsoft Sentinel.

Kojarzenie kontrolera domeny z agentem usługi Azure Monitor

Jeśli tworzysz kontroler domeny przy użyciu szablonu usługi ARM, nadal musisz skojarzyć kontroler domeny z agentami, którzy będą go używać. Kontroler domeny można edytować w witrynie Azure Portal i wybrać agentów zgodnie z opisem w temacie Definiowanie zasobów maszyny wirtualnej.

Konfigurowanie usługi przesyłania dalej dzienników w celu akceptowania dzienników

Jeśli zbierasz dzienniki z urządzenia przy użyciu usługi przesyłania dalej dzienników, skonfiguruj demona dziennika w module przesyłania dalej dziennika w celu nasłuchiwania komunikatów z innych maszyn i otwórz niezbędne porty lokalne.

1. Skopiuj następujący wiersz polecenia:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Zaloguj się do maszyny usługi przesyłania dalej dziennika, na której właśnie zainstalowano usługę AMA.

3. Wklej polecenie skopiowane w ostatnim kroku, aby uruchomić skrypt instalacji.
   Skrypt konfiguruje demona rsyslog lub syslog-ng tak, aby używał wymaganego protokołu i ponownie uruchamia demona. Skrypt otwiera port 514 w celu nasłuchiwania komunikatów przychodzących zarówno w protokołach UDP, jak i TCP. Aby zmienić to ustawienie, zapoznaj się z plikiem konfiguracji demona dziennika systemowego zgodnie z typem demona uruchomionym na maszynie:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Jeśli używasz języka Python 3 i nie jest ono ustawione jako domyślne polecenie na maszynie, zastąp wartość w python3 python wklejonym poleceniu. Zobacz Wymagania wstępne modułu przesyłania dalej dzienników.

   Uwaga

   Aby uniknąć scenariuszy pełnego dysku, w których agent nie może działać, zalecamy ustawienie syslog-ng konfiguracji lub rsyslog nie do przechowywania niepotrzebnych dzienników. Scenariusz pełny dysk zakłóca działanie zainstalowanej usługi AMA. Aby uzyskać więcej informacji, zobacz RSyslog lub Syslog-ng.

Konfigurowanie urządzenia lub urządzenia zabezpieczeń

Aby uzyskać szczegółowe instrukcje dotyczące konfigurowania aplikacji lub urządzenia zabezpieczeń, zobacz Dzienniki niestandardowe za pośrednictwem łącznika danych usługi AMA — Konfigurowanie pozyskiwania danych do usługi Microsoft Sentinel z określonych aplikacji

Skontaktuj się z dostawcą rozwiązania, aby uzyskać więcej informacji lub gdzie informacje są niedostępne dla urządzenia lub urządzenia.

Powiązana zawartość

• Reguły zbierania danych w usłudze Azure Monitor
• Zbieranie dzienników z pliku tekstowego za pomocą agenta usługi Azure Monitor