Sammeln von Protokollen aus Textdateien mit dem Azure Monitor-Agent und Erfassen in Microsoft Sentinel

• Gilt für::

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

In diesem Artikel wird beschrieben, wie Sie den „Benutzerdefinierte Protokolle über AMA“-Connector verwenden, um Protokolle im Textdateiformat schnell aus Netzwerk- oder Sicherheitsanwendungen, die auf Windows- oder Linux-Computern installiert sind, zu filtern und zu erfassen.

Viele Anwendungen protokollieren Daten nicht in standardmäßigen Protokollierungsdiensten wie Windows-Ereignisprotokoll oder Syslog, sondern in Textdateien. Sie können den Azure Monitor-Agent (AMA) verwenden, um Daten in Textdateien mit nicht standardmäßigen Formaten von Windows- und Linux-Computern zu sammeln. Der AMA kann die Daten zum Zeitpunkt der Erfassung auch umwandeln, um sie in verschiedene Felder zu parsen.

Weitere Informationen zu den Anwendungen, für die Microsoft Sentinel Lösungen zur Unterstützung der Protokollsammlung hat, finden Sie unter „Benutzerdefinierte Protokolle über AMA“-Datenkonnektor – Konfigurieren der Datenerfassung in Microsoft Sentinel aus speziellen Anwendungen.

Allgemeine Informationen zum Erfassen von benutzerdefinierten Protokollen aus Textdateien finden Sie unter Sammeln von Protokollen aus einer Textdatei mit Azure Monitor-Agent.

Wichtig

• Der „Benutzerdefinierte Protokolle über AMA“-Datenconnector befindet sich derzeit in der PREVIEW. Die zusätzlichen Nutzungsbestimmungen für Microsoft Azure-Vorschauen enthalten zusätzliche rechtliche Bedingungen, die für Azure-Features gelten, die sich in der Beta- oder Vorschauversion befinden bzw. anderweitig noch nicht zur allgemeinen Verfügbarkeit freigegeben sind.

• Microsoft Sentinel ist jetzt in der Microsoft Unified Security Operations Platform im Microsoft Defender-Portal allgemein verfügbar. Weitere Informationen finden Sie unter Microsoft Sentinel im Microsoft Defender-Portal.

Voraussetzungen

Bevor Sie beginnen, müssen Sie die in diesem Abschnitt beschriebenen Ressourcen konfiguriert haben und über die entsprechenden Berechtigungen verfügen.

Microsoft Sentinel: Voraussetzungen

• Installieren Sie die Microsoft Sentinel-Lösung, die für Ihre Anwendung geeignet ist, und stellen Sie sicher, dass Sie über die Berechtigungen zum Ausführen der Schritte in diesem Artikel verfügen. Sie finden diese Lösungen im Inhaltshub in Microsoft Sentinel, und die Lösungen enthalten alle den „Benutzerdefinierte Protokolle über AMA“-Connector.

  Eine Liste der Anwendungen mit Lösungen im Inhaltshub finden Sie unter Spezifische Anweisungen pro Anwendung. Wenn für Ihre Anwendung keine Lösung verfügbar ist, installieren Sie die Lösung Benutzerdefinierte Protokolle über AMA.

  Weitere Informationen finden Sie unter Entdecken und Verwalten sofort einsatzbereiter Microsoft Sentinel-Inhalte.

• Azure-Konto mit den folgenden Azure RBAC-Rollen (Role-Based Access Control, rollenbasierte Zugriffssteuerung):

  Integrierte Rolle	Bereich	`Reason`
  - Mitwirkender von virtuellen Computern - Azure Connected Machine    Ressourcenadministrator*in	Virtuelle Computer (VMs) Skalierungsgruppen für virtuelle Computer Server mit Azure Arc-Unterstützung	Bereitstellen des Agents
  Jede Rolle, die die Aktion enthält Microsoft.Resources/deployments/*	Subscription Resource group Vorhandene Datensammlungsregel	So stellen Sie die Azure Resource Manager-Vorlagen bereit
  Überwachungsmitwirkender	Subscription Resource group Vorhandene Datensammlungsregel	Zum Erstellen oder Bearbeiten von Datensammlungsregeln

Voraussetzungen der Protokollweiterleitung

Bestimmte benutzerdefinierte Anwendungen werden in geschlossenen Appliances gehostet, die erfordern, dass ihre Protokolle an einen externen Protokollsammler bzw. eine externe Protokollweiterleitung gesendet werden. In einem solchen Szenario gelten die folgenden Voraussetzungen für die Protokollweiterleitung:

• Sie benötigen eine designierte Linux-VM als Protokollweiterleitung, um Protokolle zu sammeln.

  • Erstellen einer Linux-VM im Azure-Portal.
  • Linux-Betriebssysteme, die den Azure Monitor-Agent unterstützten.

• Wenn Ihre Protokollweiterleitung keine Azure-VM ist, muss der Azure Arc Connected Machine-Agent darauf installiert sein.

• Auf der Linux-VM mit der Protokollweiterleitung muss Python 2.7 oder 3 installiert sein. Verwenden Sie zur Überprüfung den Befehl python --version oder python3 --version. Wenn Sie Python 3 verwenden, stellen Sie sicher, dass diese Version auf dem Computer als Standardbefehl festgelegt ist, oder führen Sie die Skripts mit dem Befehl „python3“ anstelle von „python“ aus.

• Auf der Protokollweiterleitung muss entweder der Daemon syslog-ng oder rsyslog aktiviert sein.

• Informationen zu den Speicherplatzanforderungen für Ihre Protokollweiterleitung finden Sie unter Leistungsbenchmark für Azure Monitor Agent. Sie können auch diesen Blogbeitrag lesen, der Entwürfe für die skalierbare Erfassung enthält.

• Ihre Protokollquellen, Sicherheitsgeräte und Appliances müssen so konfiguriert werden, dass sie ihre Protokollnachrichten an den Syslog-Daemon der Protokollweiterleitung und nicht an ihren lokalen Syslog-Daemon senden.

Voraussetzungen für Computersicherheit

Konfigurieren Sie die Sicherheit des Computers für die Protokollweiterleitung gemäß der Sicherheitsrichtlinie Ihrer Organisation. Beispielsweise können Sie das Netzwerk so konfigurieren, dass es der Sicherheitsrichtlinie für das Unternehmensnetzwerk entspricht, und die Ports und Protokolle im Daemon Ihren Anforderungen entsprechend ändern. Um die Sicherheitskonfiguration Ihres Computers zu verbessern, schützen Sie Ihren virtuellen Computer in Azure, oder lesen Sie diese bewährten Methoden für die Netzwerksicherheit.

Wenn Ihre Geräte Protokolle über TLS senden, z. B. weil sich Ihre Protokollweiterleitung in der Cloud befindet, müssen Sie den Syslog-Daemon (rsyslog oder syslog-ng) so konfigurieren, dass er über TLS kommuniziert. Weitere Informationen finden Sie unter:

• Verschlüsseln des Syslog-Datenverkehrs mit TLS – rsyslog
• Verschlüsseln von Protokollnachrichten mit TLS – syslog-ng

Konfigurieren des Datenconnectors

Der Setupprozess für den „Benutzerdefinierte Protokolle über AMA“-Datenconnector umfasst die folgenden Schritte:

1. Erstellen Sie die Zieltabelle in Log Analytics (oder „Erweiterte Bedrohungssuche“, wenn Sie im Defender-Portal arbeiten).

   Der Name der Tabelle muss mit _CL enden und darf nur aus den folgenden zwei Feldern bestehen:

   • TimeGenerated (vom Typ DateTime): der Zeitstempel der Erstellung der Protokollnachricht
   • RawData (vom Typ String): die Protokollnachricht in ihrer Gesamtheit
     (Wenn Sie Protokolle von einer Protokollweiterleitung sammeln und nicht direkt vom Gerät, auf dem die Anwendung gehostet wird, geben Sie diesem Feld den Namen Message anstelle von RawData.)

2. Installieren Sie den Azure Monitor Agent und erstellen Sie eine Datensammelregel (DCR), indem Sie eine der folgenden Methoden verwenden:

   • Azure oder Defender-Portal
   • Azure Resource Manager-Vorlage

3. Wenn Sie Protokolle mithilfe einer Protokollweiterleitung sammeln, konfigurieren Sie den Syslog-Daemon auf diesem Computer, um auf Nachrichten aus anderen Quellen zu lauschen, und öffnen Sie die erforderlichen lokalen Ports. Ausführliche Informationen finden Sie unter Konfigurieren der Protokollweiterleitung zum Akzeptieren von Protokollen.

Wählen Sie die entsprechende Registerkarte für Anweisungen aus.

Azure oder Defender-Portal

Erstellen einer Datensammlungsregel

Öffnen Sie zunächst den „Benutzerdefinierte Protokolle über AMA“-Datenconnector in Microsoft Sentinel, und erstellen Sie eine Datensammlungsregel (Data Collection Rule, DCR).

1. Wählen Sie für Microsoft Sentinel im Azure-Portalunter Konfiguration Datenconnectorsaus.
   Wählen Sie für Microsoft Sentinel im Defender-Portal Microsoft Sentinel>Konfiguration>Datenconnectors aus.

2. Geben Sie in das Suchfeld einen den Text benutzerdefiniert ein. Wählen Sie in den Ergebnissen den „Benutzerdefinierte Protokolle über AMA“-Connector aus.

3. Wählen Sie im Detailbereich Connectorseite öffnen aus.

   

4. Wählen Sie im Bereich Konfiguration die Option + Datensammlungsregel erstellen aus.

   

5. Auf der Registerkarte Basic:

   • Geben Sie einen DCR-Namen ein.
   • Wählen Sie Ihr Abonnement aus.
   • Wählen Sie die Ressourcengruppe aus, in der Sie Ihre DCR speichern möchten.

   

6. Wählen Sie Weiter: Ressourcen> aus.

Definieren von VM-Ressourcen

Wählen Sie auf der Registerkarte Ressourcen die Computer aus, von denen Sie die Protokolle erfassen möchten. Dies sind entweder die Computer, auf denen Ihre Anwendung installiert ist, oder Ihre Protokollweiterleitungscomputer. Wenn der gesuchte Computer nicht in der Liste angezeigt wird, handelt es sich möglicherweise nicht um einen virtuellen Azure-Computer, auf dem der Azure Connected Machine-Agent installiert ist.

1. Verwenden Sie die verfügbaren Filter oder das Suchfeld, um den gesuchten Computer zu finden. Erweitern Sie ein Abonnement in der Liste, um seine Ressourcengruppen zu sehen, und eine Ressourcengruppe, um ihre VMs zu sehen.

2. Wählen Sie den Computer aus, von dem Sie Protokolle sammeln möchten. Das Kontrollkästchen wird neben dem Namen der VM angezeigt, wenn Sie mit dem Mauszeiger darüber fahren.

   

   Wenn auf den von Ihnen ausgewählten Computern der Azure Monitor-Agent noch nicht installiert worden ist, wird der Agent installiert, wenn die DCR erstellt und bereitgestellt wird.

3. Überprüfen Sie Ihre Änderungen, und wählen Sie Weiter: Sammeln> aus.

Konfigurieren der DCR für Ihre Anwendung

1. Wählen Sie auf der Registerkarte Sammeln den Anwendungs- oder Gerätetyp im Dropdownfeld Gerätetyp auswählen (optional) aus, oder übernehmen Sie den Standardwert Benutzerdefinierte neue Tabelle, wenn Ihre Anwendung oder Ihr Gerät nicht aufgeführt ist.

2. Wenn Sie eine der aufgelisteten Anwendungen oder Geräte ausgewählt haben, wird das Feld Tabellenname automatisch mit dem richtigen Tabellennamen aufgefüllt. Wenn Sie Benutzerdefinierte neue Tabelle ausgewählt haben, geben Sie unter Tabellenname einen Tabellennamen ein. Der Name muss mit dem Suffix _CL enden.

3. Geben Sie im Feld Dateimuster den Pfad und Dateinamen der zu erfassenden Textdateien ein. Informationen zum Suchen der Standarddateinamen und Pfade für jede Anwendung oder jeden Gerätetyp finden Sie unter Spezifische Anweisungen pro Anwendungstyp. Sie müssen nicht die Standarddateinamen oder Pfade verwenden, und Sie können Im Dateinamen Platzhalterzeichen verwenden.

4. Wenn Sie in Schritt 1 eine benutzerdefinierte neue Tabelle ausgewählt haben, geben Sie im Feld Transformation eine Kusto-Abfrage ein, die eine Transformation Ihrer Wahl auf die Daten anwendet.

   Wenn Sie in Schritt 1 eine der aufgelisteten Anwendungen oder Geräte ausgewählt haben, wird dieses Feld automatisch mit der richtigen Transformation aufgefüllt. Bearbeiten Sie die dort angezeigte Transformation NICHT. Je nach ausgewähltem Typ sollte das Feld einen der folgenden Werte enthalten:

   • source (Standard – keine Transformation)
   • source | project-rename Message=RawData (für Geräte, die Protokolle an eine Weiterleitung senden)

5. Überprüfen Sie Ihre Auswahl und wählen Sie Weiter: Überprüfen + Erstellen aus.

Überprüfen und Erstellen der Regel

Nachdem Sie alle Registerkarten abgeschlossen haben, überprüfen Sie, was Sie eingegeben haben, und erstellen Sie die Datensammlungsregel.

1. Wählen Sie auf der Registerkarte Bewerten und erstellen die Option Erstellen aus.

   

   Der Connector installiert den Azure Monitor Agent auf den Computern, die Sie bei der Erstellung Ihrer DCR ausgewählt haben.

2. Überprüfen Sie die Benachrichtigungen im Azure-Portal oder im Microsoft Defender-Portal, um zu sehen, ob die DCR erstellt und der Agent installiert ist.

3. Wählen Sie auf der Connectorseite Aktualisieren, um die DCR in der Liste anzuzeigen.

Resource Manager: Vorlage

Installieren des Azure Monitor-Agents

Befolgen Sie die entsprechenden Anweisungen aus der Azure Monitor-Dokumentation, um den Azure Monitor-Agent auf dem Computer zu installieren, auf dem Ihre Anwendung gehostet wird, oder auf Ihrem Computer für die Protokollweiterleitung. Verwenden Sie je nach Bedarf die Anweisungen für Windows oder für Linux.

• Installieren des AMA mithilfe von PowerShell
• Installieren des AMA mithilfe der Azure CLI
• Installieren des AMA mithilfe einer Azure Resource Manager-Vorlage

Erstellen Sie mithilfe der Azure Monitor Protokollerfassungs-API Datensammlungsregeln (Data Collection Rules, DCRs). Weitere Informationen finden Sie unter Datensammlungsregeln in Azure Monitor.

Erstellen der Datensammlungsregel

Verwenden Sie die folgende ARM-Vorlage, um eine DCR zum Sammeln von Textprotokolldateien zu erstellen oder zu ändern:

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Ersetzen Sie die {PLACE_HOLDER}-Werte durch die folgenden Werte:

Platzhalter	Wert
{DCR_NAME}	Der Name, den Sie für Ihre Datensammlungsregel wählen Er muss in Ihrem Arbeitsbereich eindeutig sein.
{DCR_LOCATION}	Die Region, in der sich die Ressourcengruppe mit dem DCR befindet
{TABLE_NAME}	Der Name der Zieltabelle in Log Analytics Er muss mit _CL enden.
{LOCAL_PATH_FILE_1} (erforderlich), {LOCAL_PATH_FILE_2} (optional)	Pfade und Dateinamen der Textdateien, die die Protokolle enthalten, die Sie sammeln möchten Diese müssen sich auf dem Computer befinden, auf dem der Azure Monitor-Agent installiert ist.
{WORKSPACE_RESOURCE_PATH}	Der Azure-Ressourcenpfad Ihres Microsoft Sentinel-Arbeitsbereichs
{WORKSPACE_ID}	Die GUID Ihres Microsoft Sentinel-Arbeitsbereichs

Verknüpfen des DCR mit dem Azure Monitor-Agent

Wenn Sie die DCR mit einer ARM-Vorlage erstellen, müssen Sie die DCR trotzdem den Agents zuordnen, die sie verwenden. Sie können die DCR im Azure-Portal bearbeiten und die Agents auswählen (wie unter Definieren von VM-Ressourcen beschrieben).

Konfigurieren der Protokollweiterleitung zum Akzeptieren von Protokollen

Wenn Sie mithilfe einer Protokollweiterleitung Protokolle von einer Appliance sammeln, konfigurieren Sie den Syslog-Daemon in der Protokollweiterleitung so, dass er auf Nachrichten von anderen Computern lauscht, und öffnen Sie die erforderlichen lokalen Ports.

1. Kopieren Sie die folgende Befehlszeile:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Melden Sie sich bei der VM mit der Protokollweiterleitung an, auf der Sie gerade die AMA installiert haben.

3. Fügen Sie den Befehl ein, den Sie im letzten Schritt kopiert haben, um das Installationsskript zu starten.
   Das Skript konfiguriert den rsyslog- oder syslog-ng-Daemon für die Verwendung des gewünschten Protokolls und startet den Daemon neu. Das Skript öffnet Port 514, um eingehende Nachrichten sowohl in UDP- als auch in TCP-Protokollen abzuhören. Um diese Einstellung zu ändern, sehen Sie in der Konfigurationsdatei des Syslog-Daemons nach, die dem auf dem Computer ausgeführten Daemon-Typ entspricht:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Wenn Sie Python 3 verwenden und es nicht als Standardbefehl auf dem Computer festgelegt ist, ersetzen Sie im eingefügten Befehl python3 mit python. Weitere Informationen finden Sie unter Voraussetzungen der Protokollweiterleitung.

   Hinweis

   Um Szenarien mit vollen Datenträgern zu vermeiden, bei denen der Agent nicht funktionieren kann, empfehlen wir, das Sie die Konfiguration von syslog-ng oder rsyslog so festlegen, dass nicht benötigte Protokolle nicht gespeichert werden. Ein Szenario mit vollem Datenträger unterbricht die Funktion des installierten AMA. Weitere Informationen finden Sie unter RSyslog oder Syslog-ng.

Konfigurieren des Sicherheitsgeräts oder der Appliance

Spezifische Anweisungen zum Konfigurieren Ihrer Sicherheitsanwendung oder Appliance finden Sie unter Benutzerdefinierte Protokolle über AMA-Datenconnector – Konfigurieren der Datenerfassung in Microsoft Sentinel aus speziellen Anwendungen.

Wenden Sie sich an den Lösungsanbieter, wenn Sie weitere Informationen erhalten möchten oder wenn keine Informationen für die Appliance oder das Gerät verfügbar sind.

Zugehöriger Inhalt

• Datensammlungsregeln in Azure Monitor
• Sammeln von Protokollen aus einer Text- oder JSON-Datei mit dem Azure Monitor-Agent