Ingestion et transformation des données personnalisées dans Microsoft Sentinel

Journaux Azure Monitor sert de plateforme de données pour Microsoft Sentinel. Tous les journaux ingérés dans Microsoft Sentinel sont stockés dans un espace de travail Log Analytics et les requêtes de journal écrites dans le langage de requête Kusto (KQL) sont utilisées pour détecter les menaces et surveiller votre activité réseau.

Log Analytics vous donne un niveau de contrôle élevé sur les données qui sont ingérées dans votre espace de travail avec des règles d’ingestion et de collecte de données personnalisées (DCR). Les DCR vous permettent à la fois de collecter et de manipuler vos données avant qu'elles ne soient stockées dans votre espace de travail. Les contrôleurs de domaine formatent et envoient des données à des tables Log Analytics standard et des tables personnalisables pour les sources de données qui produisent des formats de journaux uniques.

Outils Azure Monitor pour l’ingestion de données personnalisées dans Microsoft Sentinel

Microsoft Sentinel utilise les outils Azure Monitor suivants pour contrôler l’ingestion des données personnalisées :

• Les transformations sont définies dans les contrôleurs de domaine et appliquent des requêtes KQL aux données entrantes avant leur stockage dans votre espace de travail. Ces transformations peuvent filtrer les données non pertinentes, enrichir les données existantes avec des données analytiques ou externes ou masquer des informations personnelles ou sensibles.

• L’API d’ingestion des journaux vous permet d’envoyer des journaux de format personnalisé à partir de n’importe quelle source de données vers votre espace de travail Log Analytics, et de stocker ces journaux soit dans certaines tables standard, soit dans des tables au format personnalisé que vous créez. Vous contrôlez totalement la création de ces tables personnalisées, jusqu’à la spécification des noms et des types de colonne. L’API utilise des contrôleurs de domaine pour définir, configurer et appliquer des transformations à ces flux de données.

Remarque

Les espaces de travail Log Analytics activés pour Microsoft Sentinel ne sont pas soumis aux frais d’ingestion de filtrage d’Azure Monitor, indépendamment de la quantité de données filtrées par la transformation. Toutefois, les transformations dans Microsoft Sentinel présentent les mêmes limitations qu’Azure Monitor. Pour plus d’informations, consultez Limitations et considérations.

Prise en charge des DCR dans Microsoft Sentinel

Les transformations à l'heure d'ingestion sont définies par les règles de collecte de données (DCR) qui contrôlent le flux de données dans Azure Monitor. Les DCRs sont utilisés par les connecteurs et les flux de travail Sentinel basés sur AMA à l’aide de l’API d'ingestion des logs. Chaque DCR contient la configuration d’un scénario de collecte de données particulier, et plusieurs connecteurs ou sources peuvent partager un seul DCR.

Les DCR de transformation d’espace de travail prennent en charge les flux de travail qui, autrement, n’utilisent pas de DCR. Les DCR de transformation d’espace de travail contiennent des transformations pour toutes les tables prises en charge et sont appliquées à tout le trafic envoyé à cette table.

Pour plus d’informations, consultez l’article suivant :

• Transformations de la collecte de données dans Azure Monitor
• API Ingestion des journaux dans Azure Monitor
• Règles de collecte de données dans Azure Monitor

Cas d’usage et exemples de scénarios

L’article Exemples de transformations dans Azure Monitor fournit une description et des exemples de requêtes pour des scénarios courants utilisant des transformations d’ingestion dans Azure Monitor. Les scénarios particulièrement utiles pour Microsoft Sentinel sont les suivants :

• Réduisez les coûts des données. Filtrez la collecte de données par lignes ou colonnes pour réduire les coûts d’ingestion et de stockage.

• Normaliser les données. Normalisez les journaux avec le modèle ASIM (Advanced Security Information Model) pour améliorer les performances des requêtes normalisées. Pour plus d’informations, consultez Normalisation au moment de l’ingestion.

• Enrichir les données. Les transformations au moment de l’ingestion vous permettent d’améliorer l’analytique en enrichissant vos données avec des colonnes supplémentaires ajoutées à la transformation KQL configurée. Les colonnes supplémentaires peuvent inclure des données analysées ou calculées à partir de colonnes existantes.

• Supprimez les données sensibles. Les transformations d’ingestion peuvent être utilisées pour masquer ou supprimer des informations personnelles, telles que le masquage de tous les chiffres sauf les derniers d’un numéro de sécurité sociale ou d’un numéro de carte de crédit.

Workflow d’ingestion de données dans Microsoft Sentinel

L’illustration suivante montre où la transformation des données au moment de l’ingestion entre dans le workflow d’ingestion des données au sein de Microsoft Sentinel. Ces données peuvent être prises en charge dans des tables standard ou dans un ensemble spécifique de tables personnalisées.

Cette image montre le pipeline cloud, qui représente le composant de collecte de données d’Azure Monitor. Vous pouvez en savoir plus sur celui-ci, ainsi que d’autres scénarios de collecte de données dans les règles de collecte de données (DCR) dans Azure Monitor.

Microsoft Sentinel collecte des données dans l’espace de travail Log Analytics à partir de plusieurs sources.

• Les données collectées à partir du point de terminaison de l’API d’ingestion Logs ou de l’agent Azure Monitor (AMA) sont traitées par une DCR spécifique qui peut inclure une transformation au moment de l’ingestion.
• Les données des connecteurs de données intégrés sont traitées dans Log Analytics à l’aide d’une combinaison de workflows codés en dur et de transformations au moment de l’ingestion dans le DCR de l’espace de travail.

Le tableau suivant décrit la prise en charge des DCR pour les types de connecteurs de données Microsoft Sentinel :

Type de connecteur de données	Prise en charge des règles de collecte de données (DCR)
Journaux d’activité de l’agent Azure Monitor (AMA), tels que : Événements de sécurité Windows via AMA Événements transférés par Windows Données CEF données Syslog	Un ou plusieurs DCR associés à l’agent
Ingestion directe via API d’ingestion de journaux	DCR spécifié dans l’appel d’API
Connecteurs de données intégrés basés sur l’API, tels que : Connecteurs de données sans code	DCR créé pour le connecteur
Connexions basées sur des paramètres de diagnostic	DCR de transformation de l'espace de travail avec des tables de sortie prises en charge
Connecteurs de données intégrés basés sur l’API, tels que : Connecteurs de données sans code hérités Connecteurs de données basés sur Azure Functions	Non prise en charge pour le moment
Connecteurs de données de service à service intégrés, tels que : Microsoft Office 365 Microsoft Entra ID Amazon S3	Transformation de l'espace de travail DCR pour les tables prenant en charge les transformations

Contenu connexe

Pour plus d’informations, consultez l’article suivant :

• Transformation ou personnalisation des données au moment de l’ingestion dans Microsoft Sentinel (préversion)
• Connecteurs de données Microsoft Sentinel
• Rechercher votre connecteur de données Microsoft Sentinel