Cette solution stocke les journaux de sécurité à long terme dans Azure Data Explorer. Cette solution réduit les coûts et fournit un accès facile quand vous avez besoin d’interroger les données.
Grafana et Jupyter Notebook sont des marques commerciales de leurs sociétés respectives. L’utilisation de ces marques n’implique aucune approbation.
Architecture
Téléchargez un fichier Visio de cette architecture.
Dataflow
Pour SIEM et SOAR, une entreprise utilise Sentinel et Defender pour point de terminaison.
Defender pour point de terminaison utilise des fonctionnalités natives pour exporter les données vers Azure Event Hubs et Azure Data Lake. Sentinel ingère les données de Defender pour point de terminaison afin de superviser les appareils.
Sentinel utilise Log Analytics comme plate-forme de données pour l’exportation de données vers Event Hubs et Azure Data Lake.
Azure Data Explorer utilise des connecteurs pour permettre à Event Hubs, Stockage Blob Azure et Azure Data Lake Storage d’ingérer des données avec une latence faible et un débit élevé. Ce processus utilise Azure Event Grid, qui déclenche le pipeline d’ingestion d’Azure Data Explorer.
Si nécessaire, Azure Data Explorer exporte en continu les journaux de sécurité vers Stockage Azure. Ces journaux sont au format Parquet compressé et partitionné, et sont prêts à être interrogés.
Pour respecter les exigences réglementaires, Azure Data Explorer exporte des données pré-agrégées vers Data Lake Storage à des fins d’archivage.
Log Analytics et Sentinel prennent en charge les requêtes portant sur plusieurs services avec Azure Data Explorer. Les analystes du centre des opérations de sécurité utilisent cette fonctionnalité pour effectuer des investigations complètes sur les données de sécurité.
Azure Data Explorer fournit des fonctionnalités natives pour le traitement, l’agrégation et l’analyse des données.
Différents outils fournissent des tableaux de bord d’analytique en quasi temps réel qui fournissent rapidement des insights :
Composants
Defender pour point de terminaison protège les organisations contre les menaces sur les appareils, les identités, les applications, les e-mails, les données et les charges de travail cloud.
Sentinel est une solution SIEM et SOAR native du cloud. Il utilise de l’IA et une analytique de sécurité avancées pour détecter, repérer, empêcher et répondre aux menaces dans les entreprises.
Monitor est une solution SaaS qui collecte et analyse des données sur les environnements et les ressources Azure. Ces données incluent la télémétrie des applications, comme les métriques de performances et les journaux d’activité. Monitor offre également des fonctionnalités d’alerte.
Log Analytics est un service Monitor que vous pouvez utiliser pour interroger et inspecter les données des journaux Monitor. Log Analytics fournit également des fonctionnalités de création de graphiques et d’analyse statistique des résultats de requête.
Event Hubs est un service d’ingestion de données en temps réel et entièrement managé, qui est simple et évolutif.
Data Lake Storage est un référentiel de stockage évolutif qui contient une grande quantité de données dans leur format brut natif. Ce lac de données est basé sur Stockage Blob et fournit des fonctionnalités de stockage et de traitement des données.
Azure Data Explorer est une plateforme d’analytique des données rapide, entièrement managée et hautement évolutive. Vous pouvez ce service cloud pour l’analyse en temps réel de gros volumes de données. Azure Data Explorer est optimisé pour les requêtes interactives et ad hoc. Il peut gérer différents flux de données provenant d’applications, de sites web, d’appareils IoT et d’autres sources.
Les tableaux de bord Azure Data Explorer importent des données en mode natif à partir de requêtes d’interface utilisateur web Azure Data Explorer. Ces tableaux de bord optimisés permettent d’afficher et d’explorer les résultats des requêtes.
Autres solutions
Au lieu d’utiliser Azure Data Explorer pour le stockage à long terme des journaux de sécurité, vous pouvez utiliser Stockage. Cette approche simplifie l’architecture et peut aider à contrôler les coûts. Un inconvénient est la nécessité de réhydrater les journaux pour les audits de sécurité et les requêtes d’investigation interactives. Avec Azure Data Explorer, vous pouvez déplacer des données de la partition froide vers la partition chaude en modifiant une stratégie. Cette fonctionnalité accélère l’exploration des données.
Une autre option avec cette solution est d’envoyer toutes les données, quelle que soit leur valeur pour la sécurité, en même temps à Sentinel et à Azure Data Explorer. Il en résulte une certaine duplication, mais les économies de coûts peuvent être importantes. Comme Azure Data Explorer fournit un stockage à long terme, vous pouvez réduire vos coûts de conservation Sentinel avec cette approche.
Log Analytics ne prend actuellement pas en charge l’exportation de tables de journaux personnalisées. Dans ce scénario, vous pouvez utiliser Azure Logic Apps pour exporter des données depuis des espaces de travail Log Analytics. Pour plus d’informations, consultez Archiver des données de l’espace de travail Log Analytics dans Stockage Azure en utilisant Logic Apps.
Détails du scénario
Les journaux de sécurité sont utiles pour identifier les menaces et effectuer le suivi des tentatives d’accès aux données non autorisées. Les attaques de sécurité peuvent commencer bien avant qu’elles ne soient découvertes. Par conséquent, il est important d’avoir accès aux journaux de sécurité à long terme. L’interrogation des journaux à long terme est critique pour identifier l’impact des menaces et examiner la propagation des tentatives d’accès illicites.
Cet article décrit une solution pour la conservation à long terme des journaux de sécurité. Azure Data Explorer est au cœur de l’architecture. Ce service fournit un espace de stockage pour les données de sécurité à moindre coût, mais conserve ces données dans un format que vous pouvez interroger. Les autres composants principaux sont les suivants :
Microsoft Defender pour point de terminaison et Microsoft Sentinel, pour ces fonctionnalités :
- Sécurité complète des points de terminaison
- Informations et événements gestion des événements (SIEM)
- SOAR (Security Orchestration Automated Response)
Log Analytics, pour le stockage à court terme des journaux de sécurité Sentinel.
Cas d’usage potentiels
Cette solution s’applique à différents scénarios. Plus précisément, les analystes du centre des opérations de sécurité peuvent utiliser cette solution pour les actions suivantes :
- Investigations complètes.
- Analyse à des fins judiciaires.
- Repérer les menaces.
- Audits de sécurité.
Un client témoigne de l’utilité de la solution : « Nous avons déployé un cluster Azure Data Explorer il y a près d’un an et demi. Dans la dernière violation de données Solorigate, nous avons utilisé un cluster Azure Data Explorer pour l’analyse à des fins judiciaires. Une équipe Microsoft DART a également utilisé un cluster Azure Data Explorer pour effectuer l’investigation. La conservation des données de sécurité à long terme est critique pour les investigations complètes des données. »
Pile de monitoring
Le diagramme suivant montre la pile de monitoring Azure :
- Sentinel utilise un espace de travail Log Analytics pour stocker les journaux de sécurité et fournir des solutions SIEM et SOAR.
- Monitor effectue le suivi de l’état des ressources informatiques et envoie des alertes si nécessaire.
- Azure Data Explorer fournit une plateforme de données sous-jacente qui stocke les journaux de sécurité pour les espaces de travail Log Analytics, Monitor et Sentinel.
Caractéristiques principales
Les principales fonctionnalités de la solution offrent de nombreux avantages, comme expliqué dans les sections suivantes.
Magasin de données interrogeable à long terme
Azure Data Explorer indexe les données pendant le processus de stockage, ce qui rend les données disponibles pour les requêtes. Quand vous devez vous concentrer sur l’exécution d’audits et d’investigations, il n’est pas nécessaire de traiter les données. L’interrogation des données est simple.
Analyse complète à des fins judiciaires
Azure Data Explorer, Log Analytics et Sentinel prennent en charge les requêtes portant sur plusieurs services. Par conséquent, dans une même requête, vous pouvez référencer des données qui sont stockées dans ces différents services. Les analystes du centre des opérations de sécurité peuvent utiliser le langage de requête Kusto (KQL) pour effectuer des investigations complètes. Vous pouvez également utiliser des requêtes Azure Data Explorer dans Sentinel à des fins de repérage. Pour plus d’informations, consultez Nouveautés : Le repérage Sentinel prend en charge les requêtes sur plusieurs ressources ADX.
Mise en cache des données à la demande
Azure Data Explorer prend en charge la mise en cache à chaud basée sur des fenêtres. Cette fonctionnalité offre un moyen de déplacer les données d’une période sélectionnée vers le cache à chaud. Vous pouvez ensuite exécuter des requêtes rapides sur les données, ce qui rend les investigations plus efficaces. Il peut être nécessaire d’ajouter pour cela des nœuds de calcul au cache à chaud. Une fois l’investigation terminée, vous pouvez modifier la stratégie de cache à chaud pour déplacer les données dans la partition froide. Vous pouvez aussi restaurer le cluster à sa taille d’origine.
Exportation continue vers des données d’archivage
Pour respecter les exigences réglementaires, certaines entreprises doivent stocker les journaux de sécurité pendant une durée illimitée. Azure Data Explorer prend en charge l’exportation continue de données. Vous pouvez utiliser cette fonctionnalité pour créer un niveau d’archivage en stockant les journaux de sécurité dans Stockage.
Langage de requête éprouvé
Le langage de requête Kusto est natif dans Azure Data Explorer. Ce langage est également disponible dans les espaces de travail Log Analytics et les environnements de repérage des menaces de Sentinel. Cette disponibilité réduit considérablement la courbe d’apprentissage pour les analystes du centre des opérations de sécurité. Les requêtes que vous exécutez sur Sentinel fonctionnent également sur les données que vous stockez dans les clusters Azure Data Explorer.
Considérations
Ces considérations implémentent les piliers d’Azure Well-Architected Framework qui est un ensemble de principes directeurs qui permettent d’améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Microsoft Azure Well-Architected Framework.
Gardez à l’esprit les points suivants quand vous implémentez cette solution.
Extensibilité
Prenez en compte ces problèmes de scalabilité :
Méthode d’exportation des données
Si vous devez exporter une grande quantité de données depuis Log Analytics, vous pouvez atteindre des limites de capacité d’Event Hubs. Pour éviter cette situation :
- Exportez les données de Log Analytics vers Stockage Blob.
- Utilisez des charges de travail Azure Data Factory pour exporter régulièrement les données dans Azure Data Explorer.
En utilisant cette méthode, vous pouvez copier des données depuis Data Factory seulement quand les données s’approchent de la limite de conservation dans Sentinel ou Log Analytics. Par conséquent, vous évitez de dupliquer les données. Pour plus d’informations, consultez Exporter des données de Log Analytics vers Azure Data Explorer.
Utilisation des requêtes et préparation des audits
En règle générale, vous conservez les données dans le cache à froid de votre cluster Azure Data Explorer. Cette approche réduit le coût de votre cluster et est suffisante pour la plupart des requêtes qui impliquent des données des mois précédents. Cependant, quand vous interrogez des plages de données étendues, vous pouvez être amené à effectuer un scale-out du cluster et à charger les données dans le cache à chaud.
Vous pouvez utiliser pour cela la fonctionnalité de fenêtre à chaud de la stratégie de cache à chaud. Vous pouvez aussi utiliser cette fonctionnalité quand vous auditez des données à long terme. Quand vous utilisez la fenêtre à chaud, il peut être nécessaire d’effectuer un scale-up ou un scale-out de votre cluster pour avoir un espace suffisant dans le cache à chaud pour davantage de données . Une fois que vous avez terminé l’interrogation de la plage de données étendue, changez la stratégie de cache à chaud pour réduire vos coûts de traitement.
En activant la fonctionnalité de mise à l’échelle automatique optimisée dans votre cluster Azure Data Explorer, vous pouvez optimiser la taille de votre cluster en fonction de la stratégie de mise en cache. Pour plus d’informations sur l’interrogation des données à froid dans Azure Data Explorer, consultez Interroger des données à froid avec des fenêtres à chaud.
Efficacité des performances
L’efficacité des performances est la capacité de votre charge de travail à s’adapter à la demande des utilisateurs de façon efficace. Pour plus d’informations, consultez Vue d’ensemble du pilier d’efficacité des performances.
Si vous avez besoin de stocker des données de sécurité à long terme ou pour une période illimitée, exportez les journaux dans Stockage. Azure Data Explorer prend en charge l’exportation continue de données. En utilisant cette fonctionnalité, vous pouvez exporter des données vers Stockage au format Parquet compressé et partitionné. Vous pouvez ensuite interroger facilement ces données. Pour plus d’informations, consultez Vue d’ensemble de l’exportation continue de données.
Optimisation des coûts
L’optimisation des coûts consiste à examiner les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez Vue d’ensemble du pilier d’optimisation des coûts.
Le coût du cluster Azure Data Explorer est principalement basé sur la puissance de calcul utilisée pour stocker les données dans le cache à chaud. Les requêtes sur les données du cache à chaud offrent de meilleures performances par rapport aux requêtes sur le cache à froid. Cette solution stocke la plupart des données dans le cache à froid, ce qui réduit le coût du calcul.
Pour explorer le coût de l’exécution de cette solution dans votre environnement, utilisez la Calculatrice de prix Azure.
Déployer ce scénario
Pour automatiser le déploiement, utilisez ce script PowerShell. Ce script crée ces composants :
- La table cible
- La table brute
- Le mappage de table qui définit la façon dont Event Hubs enregistre les champs dans la table brute
- Stratégies de rétention et de mise à jour
- Espaces de noms Event Hubs
- Règles d’exportation de données dans l’espace de travail Log Analytics
- Connexion de données entre Event Hubs et la table de données brutes d’Azure Data Explorer
Contributeurs
Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.
Auteur principal :
- Deepak Agrawal | Chef de produit
Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.
Étapes suivantes
- Intégrer Azure Data Explorer pour la conservation des journaux à long terme
- Déplacer facilement vos journaux Microsoft Sentinel vers le stockage à long terme
- Requête inter-ressources Azure Data Explorer à l’aide d’Azure Monitor
- Guide pratique pour configurer l’exportation de données de Microsoft Sentinel pour un stockage à long terme
- Utilisation d’Azure Data Explorer pour la conservation à long terme des journaux Microsoft Sentinel
- Nouveauté : Le repérage Microsoft Sentinel prend en charge les requêtes sur plusieurs ressources ADX
- Comment diffuser les journaux de repérage de Microsoft Defender ATP dans Azure Data Explorer
- Série de blogs : Repérage avancé sans limite avec Azure Data Explorer (ADX)