Ingestion et transformation des données personnalisées dans Microsoft Sentinel
Log Analytics d’Azure Monitor sert de plateforme derrière l’espace de travail Microsoft Sentinel. Tous les journaux ingérés dans Microsoft Sentinel sont stockés dans Log Analytics par défaut. À partir de Microsoft Sentinel, vous pouvez accéder aux journaux stockés et exécuter des requêtes KQL (Kusto Query Language) pour détecter les menaces et superviser l’activité de votre réseau.
Le processus d’ingestion de données personnalisée de Log Analytics vous donne un niveau de contrôle élevé sur les données qui sont ingérées. Il utilise des règles de collecte des données (DCR) pour collecter vos données et les manipuler avant même qu’elles ne soient stockées dans votre espace de travail. Cela vous permet de filtrer et d’enrichir les tables standard et de créer des tables hautement personnalisables pour stocker des données à partir de sources qui produisent des formats de journal uniques.
Microsoft Sentinel vous offre deux outils pour contrôler ce processus :
L’API d’ingestion des journaux vous permet d’envoyer des journaux de format personnalisé à partir de n’importe quelle source de données vers votre espace de travail Log Analytics et de stocker ces journaux dans certaines tables standard ou dans des tables de format personnalisé créées par vos soins. Vous contrôlez totalement la création de ces tables personnalisées, jusqu’à la spécification des noms et des types de colonne. Vous créez des règles de collecte de données (DCR) pour définir des transformations, les configurer et les appliquer à ces flux de données.
La collecte de données au moment de l’ingestion utilise des DCR pour appliquer des requêtes KQL de base aux journaux standard entrants (et à certains types de journaux personnalisés) avant qu’ils ne soient stockés dans votre espace de travail. Ces transformations peuvent filtrer les données non pertinentes, enrichir les données existantes avec des données analytiques ou externes ou masquer des informations personnelles ou sensibles.
Ces deux outils sont expliqués plus en détail ci-dessous.
Cas d’usage et exemples de scénarios
Filtrage
La transformation au moment de l’ingestion vous permet de filtrer les données non pertinentes avant même qu’elles ne soient stockées dans votre espace de travail.
Vous pouvez filtrer au niveau de l’enregistrement (ligne), en spécifiant des critères qui déterminent les enregistrements à inclure, ou au niveau du champ (colonne), en supprimant le contenu de champs spécifiques. Le filtrage des données non pertinentes peut :
- Contribuer à réduire les coûts en réduisant les besoins en stockage
- Améliorer les performances en réduisant le nombre d’ajustements nécessaires au moment de la requête
La transformation des données au moment de l’ingestion prend en charge plusieurs scénarios d’espaces de travail.
Normalisation
La transformation au moment de l’ingestion vous permet également de normaliser les journaux lorsqu’ils sont ingérés dans des tables normalisées ASIM intégrées ou des clients. L’utilisation de la normalisation au moment de l’ingestion améliore les performances des requêtes normalisées.
Pour plus d’informations sur la normalisation au moment de l’ingestion à l’aide de transformations, consultez Normalisation au moment de l’ingestion.
Enrichissement et étiquetage
La transformation au moment de l’ingestion vous permet également d’améliorer les analytiques en enrichissant vos données avec des colonnes ajoutées à la transformation KQL configurée. Les colonnes supplémentaires peuvent inclure des données analysées ou calculées à partir de colonnes existantes, ou des données extraites de structures de données créées à la volée.
Par exemple, vous pouvez ajouter des informations telles que des données de ressources humaines externes, une description d’événement développée ou des classifications qui dépendent de l’utilisateur, de l’emplacement ou du type d’activité.
Masquage
Les transformations au moment de l’ingestion peuvent également être utilisées pour masquer ou supprimer des informations personnelles. Par exemple, vous pouvez utiliser la transformation des données pour masquer tous les chiffres sauf les derniers d’un numéro de sécurité sociale ou de carte de crédit, ou vous pouvez remplacer d’autres types de données personnelles par des données non logiques, du texte standard ou des données factices. Masquez vos informations personnelles au moment de l’ingestion pour augmenter la sécurité sur votre réseau.
Workflow d’ingestion de données dans Microsoft Sentinel
L’illustration suivante montre où la transformation des données au moment de l’ingestion entre dans le workflow d’ingestion des données au sein de Microsoft Sentinel.
Microsoft Sentinel recueille les données dans l’espace de travail Log Analytics à partir de plusieurs sources.
- Les données provenant des connecteurs de données intégrés sont traitées dans Log Analytics en utilisant une combinaison de workflows et de transformations codés en dur au moment de l’ingestion dans la règle de collecte de données l’espace de travail. Ces données peuvent être stockées dans des tables standard ou dans un ensemble spécifique de tables personnalisées.
- Les données ingérées directement dans le point de terminaison de l’API d’ingestion des journaux sont traitées par une règle de collecte de données standard qui peut inclure une transformation au moment de l’ingestion. Ces données peuvent ensuite être stockées dans des tables standard ou personnalisées de n’importe quel type.
Prise en charge des DCR dans Microsoft Sentinel
Dans Log Analytics, les règles de collecte des données (DCR) déterminent le flux de données pour différents flux d’entrée. Un flux de données comprend : le flux de données à transformer (standard ou personnalisé), l’espace de travail de destination, la transformation KQL et la table de sortie. Pour les flux d’entrée standard, la table de sortie est la même que le flux d’entrée.
La prise en charge des DCR dans Microsoft Sentinel comprend les éléments suivants :
DCR standard, actuellement prises en charge pour les connecteurs AMA et les workflows utilisant l’API d’ingestion des journaux.
Chaque connecteur ou workflow source de journal peut avoir sa propre DCR standard dédiée, même si plusieurs connecteurs ou sources peuvent partager une même DCR standard.
DCR de transformation de l’espace de travail, pour les flux de travail qui ne prennent pas en charge les DCR standard.
Une même DCR de transformation de l’espace de travail dessert tous les workflows pris en charge dans un espace de travail qui ne sont pas pris en charge par les DCR standard. Un espace de travail ne peut avoir qu’une seule DCR de transformation de l’espace de travail, mais cette DCR contient des transformations distinctes pour chaque flux d’entrée. En outre, les DCR de transformation de l’espace de travail sont prises en charge uniquement pour un ensemble spécifique de tables.
La prise en charge par Microsoft Sentinel de la transformation au moment de l’ingestion dépend du type de connecteur de données que vous utilisez. Pour plus d’informations sur les journaux personnalisés, la transformation au moment de l’ingestion et les règles de collecte des données, consultez les articles dans la section Étapes suivantes à la fin de cet article.
Prise en charge des DCR pour les connecteurs de données Microsoft Sentinel
Le tableau suivant décrit la prise en charge des DCR pour les types de connecteurs de données Microsoft Sentinel :
| Type de connecteur de données | Prise en charge des règles de collecte de données (DCR) |
|---|---|
| Ingestion directe via API d’ingestion de journaux | DCR standard |
| Journaux AMA standard, tels que : |
DCR standard |
| Journaux MMA standard, tels que |
DCR de transformation de l’espace de travail |
| Connexions basées sur des paramètres de diagnostic | DCR de transformation de l’espace de travail, basées sur les tables de sortie prises en charge pour des connecteurs de données spécifiques |
| Connecteurs de données de service à service intégrés, tels que : |
DCR de transformation de l’espace de travail, basées sur les tables de sortie prises en charge pour des connecteurs de données spécifiques |
| Connecteur de données intégré basé sur l’API, tel que : |
DCR standard |
| Connecteurs de données intégrés basés sur l’API, tels que : |
Non prise en charge pour le moment |
Prise en charge de la transformation des données pour les connecteurs de données personnalisés
Si vous avez créé des connecteurs de données personnalisés pour Microsoft Sentinel, vous pouvez utiliser des DCR pour configurer la façon dont les données sont analysées et stockées dans Log Analytics au sein de votre espace de travail.
Seules les tables suivantes sont prises en charge pour l’ingestion de journaux personnalisée :
- WindowsEvent
- SecurityEvent
- CommonSecurityLog
- Syslog
- ASimAuditEventLogs
- ASimAuthenticationEventLogs
- ASimDnsActivityLogs
- ASimFileEventLogs
- ASimNetworkSessionLogs
- ASimWebSessionLogs
Pour plus d’informations, consultez Tables qui prennent en charge les transformations dans le temps d’ingestion.
Limites
La transformation des données au moment de l’ingestion présente les problèmes connus suivants pour les connecteurs de données Microsoft Sentinel :
Les transformations de données utilisant des DCR de transformation de l’espace de travail sont prises en charge uniquement par table, et non par connecteur.
Il ne peut y avoir qu’une seule DCR de transformation de l’espace de travail pour un espace de travail entier. Dans cette DCR, chaque table peut utiliser un flux d’entrée distinct avec sa propre transformation. Toutefois, si vous avez deux connecteurs de données MMA différents qui envoient des données à la table Syslog, ils doivent tous les deux utiliser la même configuration de flux d’entrée dans la DCR. Le fractionnement des données sur plusieurs destinations (espaces de travail Log Analytics) avec une DCR de transformation de l’espace de travail n’est pas possible.
Les configurations suivantes sont prises en charge uniquement via l’API :
Les DCR standard pour les connecteurs AMA, comme les événements de Sécurité Windows et les événements Windows transférés.
Les DCR standard pour l’ingestion de journaux personnalisée dans une table standard.
L’application des configurations de transformation des données prend jusqu’à 60 minutes.
Syntaxe KQL : tous les opérateurs ne sont pas pris en charge. Pour plus d’informations, consultez limitations de KQL et Fonctionnalités KQL prises en charge dans la documentation d’Azure Monitor.
Vous ne pouvez envoyer des journaux d’activité qu’à partir d’une seule source de données spécifique à un seul espace de travail. Pour envoyer des données à partir d’une seule source de données vers plusieurs espaces de travail (destinations) avec une DCR standard, créez une DCR par espace de travail.
Étapes suivantes
En savoir plus sur les types de connecteur de données Microsoft Sentinel. Pour plus d'informations, consultez les pages suivantes :
Pour plus d’informations sur la transformation au moment de l’ingestion, l’API des journaux personnalisés et les règles de collecte des données, consultez les articles suivants dans la documentation Azure Monitor :