Benutzerdefinierte Datenerfassung und -transformation in Microsoft Sentinel

Azure Monitor Logs dient als Datenplattform für Microsoft Sentinel. Alle in Microsoft Sentinel aufgenommenen Protokolle werden in einem Log Analytics-Arbeitsbereich gespeichert, und Protokollabfragen , die in der Kusto Query Language (KQL) geschrieben wurden, werden verwendet, um Bedrohungen zu erkennen und Ihre Netzwerkaktivität zu überwachen.

Log Analytics bietet Ihnen eine hohe Kontrolle über die Daten, die in Ihren Arbeitsbereich aufgenommen werden, mit benutzerdefinierten Datenaufnahme- und Datensammlungsregeln (DATA Collection Rules, DCRs). DcRs ermöglichen es Ihnen, Ihre Daten sowohl zu sammeln als auch zu bearbeiten, bevor sie in Ihrem Arbeitsbereich gespeichert werden. DCRs formatieren und senden Daten sowohl an Standard-Log Analytics-Tabellen als auch anpassbare Tabellen für Datenquellen, die eindeutige Protokollformate erzeugen.

Azure Monitor-Tools für die erfassung von benutzerdefinierten Daten in Microsoft Sentinel

Microsoft Sentinel verwendet die folgenden Azure Monitor-Tools, um benutzerdefinierte Datenaufnahme zu steuern:

• Transformationen werden in DCRs definiert und wenden KQL-Abfragen auf eingehende Daten an, bevor sie in Ihrem Workspace gespeichert werden. Diese Transformationen können irrelevante Daten herausfiltern, vorhandene Daten mit Analysen oder externen Daten anreichern oder vertrauliche oder personenbezogene Informationen maskieren.

• Mit der Protokollaufnahme-API können Sie benutzerdefinierte Formatprotokolle aus einer beliebigen Datenquelle an Ihren Log Analytics-Arbeitsbereich senden und diese Protokolle entweder in bestimmten Standardtabellen oder in von Ihnen erstellten benutzerdefinierten Tabellen speichern. Sie haben vollständige Kontrolle über die Erstellung dieser benutzerdefinierten Tabellen bis hin zur Angabe der Spaltennamen und -typen. Die API verwendet DCRs zum Definieren, Konfigurieren und Anwenden von Transformationen auf diese Datenflüsse.

Hinweis

Log Analytics-Arbeitsbereiche, die für Microsoft Sentinel aktiviert sind, unterliegen nicht der Filterungsbelastung von Azure Monitor, unabhängig davon, wie viele Daten die Transformationsfilter enthalten. Transformationen in Microsoft Sentinel weisen jedoch andernfalls die gleichen Einschränkungen wie Azure Monitor auf. Weitere Informationen finden Sie unter Einschränkungen und Überlegungen.

DCR-Unterstützung in Microsoft Sentinel

Erfassungszeittransformationen werden in Datensammlungsregeln (DATA Collection Rules, DCRs) definiert, die den Datenfluss in Azure Monitor steuern. DCRs werden von AMA-basierten Sentinel-Connectors und -Workflows unter Verwendung der Protokollerfassungs-API verwendet. Jeder DCR enthält die Konfiguration für ein bestimmtes Datensammlungsszenario, und mehrere Connectors oder Quellen können einen einzelnen DCR gemeinsam nutzen.

DcRs für die Arbeitsbereichstransformation unterstützen Workflows, die andernfalls keine DCRs verwenden. DcRs für die Arbeitsbereichstransformation enthalten Transformationen für alle unterstützten Tabellen und werden auf den gesamten Datenverkehr angewendet, der an diese Tabelle gesendet wird.

Weitere Informationen finden Sie unter:

• Transformationen für die Datensammlung in Azure Monitor
• Protokollerfassungs-API in Azure Monitor-Protokollen
• Datensammlungsregeln in Azure Monitor

Anwendungsfälle und Beispielszenarien

Der Artikel "Beispieltransformationen" in Azure Monitor enthält Beschreibungs - und Beispielabfragen für allgemeine Szenarien mithilfe von Erfassungszeittransformationen in Azure Monitor. Szenarien, die für Microsoft Sentinel besonders nützlich sind, umfassen:

• Verringern Sie die Datenkosten. Filtern Sie die Datensammlung nach Zeilen oder Spalten, um die Aufnahme- und Speicherkosten zu reduzieren.

• Normalisieren von Daten. Normalisieren Sie Protokolle mit dem Advanced Security Information Model (ASIM), um die Leistung normalisierter Abfragen zu verbessern. Weitere Informationen finden Sie unter Erfassungszeitnormalisierung.

• Daten anreichern. Mit der Transformation zur Erfassungszeit können Sie Analysen verbessern, indem Sie Ihre Daten mit zusätzlichen Spalten anreichern, die der konfigurierten KQL-Transformation hinzugefügt wurden. Zusätzliche Spalten können analysierte oder berechnete Daten aus vorhandenen Spalten enthalten.

• Entfernen Sie vertrauliche Daten. Transformationen zur Eingabezeit können verwendet werden, um persönliche Informationen zu maskieren oder zu entfernen, z. B. indem alle außer den letzten Ziffern einer Sozialversicherungsnummer oder Kreditkartennummer maskiert werden.

Datenerfassungsfluss in Microsoft Sentinel

Die folgende Abbildung zeigt, wo die Datentransformation zur Erfassungszeit in den Datenerfassungsfluss in Microsoft Sentinel eintritt. Diese Daten können in Standardtabellen oder in einem bestimmten Satz von benutzerdefinierten Tabellen unterstützt werden.

Diese Abbildung zeigt die Cloudpipeline, die die Datensammlungskomponente von Azure Monitor darstellt. Weitere Informationen finden Sie zusammen mit anderen Datensammlungsszenarien in Datensammlungsregeln (DCRs) in Azure Monitor.

Microsoft Sentinel sammelt Daten im Log Analytics-Arbeitsbereich aus mehreren Quellen.

• Vom Endpunkt der Protokollerfassungs-API oder vom Azure Monitor-Agent (AMA) erfasste Daten werden von einer bestimmten DCR verarbeitet, die u. U. eine Transformation zur Erfassungszeit beinhaltet.
• Daten von integrierten Datenconnectors werden in Log Analytics mithilfe einer Kombination aus hartcodierten Workflows und Transformationen zur Erfassungszeit in der Arbeitsbereichs-DCR verarbeitet.

In der folgenden Tabelle wird die DCR-Unterstützung für Microsoft Sentinel-Datenconnectortypen beschrieben:

Datenconnectortyp	DCR-Unterstützung
Azure Monitor Agent (AMA)-Protokolle, z. B.: Windows-Sicherheitsereignisse über AMA Weitergeleitete Windows-Ereignisse CEF-Daten Syslog-Daten	Eine oder mehrere DCRs, die dem Agenten zugeordnet sind
Direkte Erfassung mittels Protokollerfassungs-API	Im API-Aufruf angegebene DCR
Integrierte API-basierte Datenconnectors, z. B.: Codelose Datenconnectors	Für den Connector erstellte DCR
Auf Diagnoseeinstellungen basierende Verbindungen	Arbeitsbereichstransformations-DCR mit unterstützten Ausgabetabellen
Integrierte API-basierte Datenconnectors, z. B.: Legacy-Datenconnectors ohne Code Azure Functions-basierte Datenconnectors	Derzeit nicht unterstützt
Integrierte Dienst-zu-Dienst-Datenconnectors, z. B.: Microsoft Office 365 Microsoft Entra-ID Amazon S3	Arbeitsbereichstransformations-DCR für Tabellen, die Transformationen unterstützen

Zugehöriger Inhalt

Weitere Informationen finden Sie unter:

• Transformieren oder Anpassen von Daten zur Erfassungszeit in Microsoft Sentinel (Vorschau)
• Microsoft Sentinel-Datenconnectors
• Suchen Ihres Microsoft Sentinel-Datenconnectors