Ingestion et transformation de données personnalisées dans Microsoft Sentinel

Azure Monitor Logs sert de plateforme de données pour Microsoft Sentinel. Tous les journaux ingérés dans Microsoft Sentinel sont stockés dans un espace de travail Log Analytics, et les requêtes de journal écrites en Langage de requête Kusto (KQL) sont utilisées pour détecter les menaces et surveiller l’activité de votre réseau.

Log Analytics vous donne un haut niveau de contrôle sur les données qui sont ingérées dans votre espace de travail avec des règles personnalisées d’ingestion des données et de collecte de données (DCR). Les DCR vous permettent à la fois de collecter et de manipuler vos données avant qu’elles ne soient stockées dans votre espace de travail. Les DCR mettez en forme et envoient des données aux tables Log Analytics standard et aux tables personnalisables pour les sources de données qui produisent des formats de journal uniques.

Les transformations de filtre et de fractionnement peuvent être appliquées aux données au moment de l’ingestion pour réduire le bruit et acheminer les données vers le niveau de stockage approprié. Ces transformations ne nécessitent pas la création d’une DCR et sont définies dans la page de gestion des tables du Microsoft Sentinel dans le portail Defender. Pour plus d’informations, consultez Filtrer et fractionner les transformations dans Microsoft Sentinel.

outils Azure Monitor pour l’ingestion de données personnalisées dans Microsoft Sentinel

Microsoft Sentinel utilise les outils monitor Azure suivants pour contrôler l’ingestion de données personnalisées :

• Les transformations sont définies dans les DCR et appliquent des requêtes KQL aux données entrantes avant qu’elles ne soient stockées dans votre espace de travail. Ces transformations peuvent filtrer les données non pertinentes, enrichir les données existantes avec des données analytiques ou externes, ou masquer des informations sensibles ou personnelles.

• L’API d’ingestion des journaux vous permet d’envoyer des journaux de format personnalisé à partir de n’importe quelle source de données à votre espace de travail Log Analytics et de stocker ces journaux dans certaines tables standard ou dans des tables au format personnalisé que vous créez. Vous disposez d’un contrôle total sur la création de ces tables personnalisées, jusqu’à la spécification des noms et des types de colonnes. L’API utilise des DCR pour définir, configurer et appliquer des transformations à ces flux de données.

Remarque

Les espaces de travail Log Analytics activés pour Microsoft Sentinel ne sont pas soumis à Azure frais d’ingestion de filtrage de Monitor, quelle que soit la quantité de données que la transformation filtre. Toutefois, les transformations dans Microsoft Sentinel ont les mêmes limitations que Azure Monitor. Pour plus d’informations, consultez Limitations et considérations.

Prise en charge de la DCR dans Microsoft Sentinel

Les transformations au moment de l’ingestion sont définies dans les règles de collecte de données (DCR), qui contrôlent le flux de données dans Azure Monitor. Les contrôleurs de domaine sont utilisés par les connecteurs et workflows de Sentinel basés sur AMA à l’aide de l’API d’ingestion des journaux. Chaque DCR contient la configuration d’un scénario de collecte de données particulier, et plusieurs connecteurs ou sources peuvent partager une seule DCR.

Les DCR de transformation d’espace de travail prennent en charge les flux de travail qui n’utilisent pas d’autres DCR. Les DCR de transformation d’espace de travail contiennent des transformations pour toutes les tables prises en charge et sont appliquées à tout le trafic envoyé à cette table.

Pour plus d’informations, reportez-vous aux rubriques suivantes :

• Transformations de collecte de données dans Azure Monitor
• API d’ingestion des journaux dans les journaux Azure Monitor
• Règles de collecte de données dans Azure Monitor

Cas d’usage et exemples de scénarios

L’article Exemples de transformations dans Azure Monitor fournit une description et des exemples de requêtes pour les scénarios courants utilisant des transformations au moment de l’ingestion dans Azure Monitor. Les scénarios particulièrement utiles pour Microsoft Sentinel sont les suivants :

• Réduisez les coûts des données. Filtrez la collecte de données par lignes ou colonnes pour réduire les coûts d’ingestion et de stockage.

• Normaliser les données. Normalisez les journaux avec le modèle ASIM (Advanced Security Information Model) pour améliorer les performances des requêtes normalisées. Pour plus d’informations, consultez Normalisation au moment de l’ingestion.

• Enrichir les données. Les transformations au moment de l’ingestion vous permettent d’améliorer l’analytique en enrichissant vos données avec des colonnes supplémentaires ajoutées à la transformation KQL configurée. Les colonnes supplémentaires peuvent inclure des données analysées ou calculées à partir de colonnes existantes.

• Supprimez les données sensibles. Les transformations au moment de l’ingestion peuvent être utilisées pour masquer ou supprimer des informations personnelles telles que le masquage de tous les chiffres sauf les derniers chiffres d’un numéro de sécurité sociale ou d’un numéro de carte de crédit.

Flux d’ingestion de données dans Microsoft Sentinel

L’image suivante montre où la transformation de données au moment de l’ingestion entre dans le flux d’ingestion de données dans Microsoft Sentinel. Ces données peuvent être prises en charge dans des tables standard ou dans un ensemble spécifique de tables personnalisées.

Cette image montre le pipeline cloud, qui représente le composant de collecte de données de Azure Monitor. Vous pouvez en savoir plus à ce sujet ainsi que d’autres scénarios de collecte de données dans Règles de collecte de données (DCR) dans Azure Monitor.

Microsoft Sentinel collecte des données dans l’espace de travail Log Analytics à partir de plusieurs sources.

• Les données collectées à partir du point de terminaison de l’API d’ingestion des journaux ou de l’agent AMA (Azure Monitor) sont traitées par une DCR spécifique qui peut inclure une transformation au moment de l’ingestion.
• Les données des connecteurs de données intégrés sont traitées dans Log Analytics à l’aide d’une combinaison de workflows codés en dur et de transformations de temps d’ingestion dans la DCR de l’espace de travail.

Le tableau suivant décrit la prise en charge de DCR pour les types de connecteurs de données Microsoft Sentinel :

Type de connecteur de données	Prise en charge de DCR
journaux d’activité de l’agent Azure Monitor (AMA), tels que : événements Sécurité Windows via AMA Événements transférés Windows Données CEF Données Syslog	Une ou plusieurs DCR associées à l’agent
Ingestion directe via l’API d’ingestion des journaux	DCR spécifiée dans l’appel d’API
Connecteur de données intégré basé sur l’API, par exemple : Connecteurs de données sans code	DCR créée pour le connecteur
Connexions basées sur les paramètres de diagnostic	DCR de transformation d’espace de travail avec les tables de sortie prises en charge
Connecteurs de données intégrés basés sur l’API, tels que : Connecteurs de données sans code hérités connecteurs de données basés sur Azure Functions	N'est pas pris en charge actuellement
Connecteurs de données de service à service intégrés, tels que : Microsoft Office 365 Identifiant Microsoft Entra Amazon S3	DCR de transformation d’espace de travail pour les tables qui prennent en charge les transformations

Contenu connexe

Pour plus d’informations, reportez-vous aux rubriques suivantes :

• Transformer ou personnaliser des données au moment de l’ingestion dans Microsoft Sentinel (préversion)
• Filtrer et fractionner les transformations dans Microsoft Sentinel
• connecteurs de données Microsoft Sentinel
• Rechercher votre connecteur de données Microsoft Sentinel