Migrer de Splunk vers les journaux Azure Monitor

  • Article

Journaux Azure Monitor est un service managé de monitoring et d’observabilité basé sur le cloud qui offre de nombreux avantages en termes de gestion des coûts, de scalabilité, de flexibilité, d’intégration et de faible surcharge de maintenance. Le service est conçu pour gérer de grandes quantités de données et se mettre à l’échelle facilement afin de répondre aux besoins des organisations de toutes tailles.

Le service Journaux Azure Monitor collecte des données à partir d’un large éventail de sources, notamment les journaux des événements Windows, Syslog et les journaux personnalisés, pour fournir une vue unifiée de toutes les ressources Azure et non-Azure. En utilisant un langage de requête sophistiqué et une visualisation organisée, vous pouvez rapidement analyser des millions d’enregistrements pour identifier et comprendre les modèles critiques dans vos données de monitoring, et réagir en conséquence.

Cet article explique comment migrer votre déploiement Splunk Observability vers les journaux Azure Monitor pour la journalisation et l’analyse des données de journal.

Pour plus d’informations sur la migration de votre déploiement SIEM (Gestion des informations et des événements de sécurité) de Splunk Enterprise Security vers Azure Sentinel, consultez Planifier votre migration vers Microsoft Sentinel.

Pourquoi migrer vers Azure Monitor ?

Voici les avantages de la migration vers Azure Monitor :

Comparer les offres

Offre Splunk Produit Offre Azure
Plateforme Splunk
  • Splunk Cloud Platform
  • Splunk Enterprise
 Journaux Azure Monitor est une plateforme SaaS (Software as a Service) centralisée qui permet de collecter, d’analyser et d’agir sur les données de télémétrie générées par les ressources et les applications Azure et non Azure.
Splunk Observability
  • Splunk Infrastructure Monitoring
  • Splunk Application Performance Monitoring
  • Splunk IT Service Intelligence
 Azure Monitor est une solution de bout en bout pour collecter et analyser les données de télémétrie de vos environnements cloud, multicloud et locaux, et réagir en conséquence. Elle est basée sur un pipeline d’ingestion de données puissant partagé avec Microsoft Sentinel. Azure Monitor offre aux entreprises une solution complète pour le monitoring des environnements cloud, hybrides et locaux, avec des fonctionnalités d’isolement réseau, de résilience et de protection contre les défaillances du centre de données, de création de rapports, et d’alerte et réponse.
Les fonctionnalités intégrées d’Azure Monitor sont les suivantes :
  • Azure Monitor Insights – expériences de surveillance prêtes à l’emploi avec des entrées de données, des recherches, des alertes et des visualisations préconfigurées.
  • Insights d’application – fournit une gestion du niveau de performance des applications (APM) pour les applications web en direct.
  • Azure Monitor AIOps et les fonctionnalités intégrées d’apprentissage automatique – fournissent des informations et vous aident à résoudre les problèmes et à automatiser les tâches basées sur les données, telles que la prévision de l’utilisation de la capacité et l’autoscaling, l’identification et l’analyse des problèmes de niveau de performance des applications et la détection des comportements anormaux dans les machines virtuelles, les conteneurs et d’autres ressources.
Ces fonctionnalités sont gratuites de frais d’installation.
Splunk Security
  • Splunk Enterprise Security
  • Splunk Mission Control
    Splunk SOAR
 Microsoft Sentinel est une solution native cloud qui s’exécute sur la plateforme Azure Monitor pour fournir une analytique de sécurité intelligente et une veille des menaces au sein de l’entreprise.

Présentation des concepts clés

Journaux Azure Monitor Concept Splunk similaire Description
Espace de travail Log Analytics Espace de noms Un espace de travail Log Analytics est un environnement dans lequel vous pouvez collecter des données de journal à partir de toutes les ressources Azure et non-Azure monitorées. Les données de l’espace de travail sont disponibles pour l’interrogation et l’analyse, pour les fonctionnalités Azure Monitor et pour d’autres services Azure. Comme pour un espace de noms Splunk, vous pouvez gérer l’accès aux données et aux artefacts, par exemple, les alertes et les workbooks, dans votre espace de travail Log Analytics.
Concevoir votre architecture d’espace de travail Log Analytics en fonction de vos besoins , par exemple la facturation fractionnée, les exigences de stockage de données régionales et les considérations relatives à la résilience.
Gestion des tables Indexation Le service Journaux Azure Monitor ingère des données de journal dans les tables d’une base de données Azure Data Explorer managée. Pendant l’ingestion, le service indexe et horodate automatiquement les données, ce qui signifie que vous pouvez stocker différents types de données et y accéder rapidement avec des requêtes en langage de requête Kusto (KQL).
Utilisez les propriétés de table pour gérer le schéma de table, la conservation des données et l’archivage, et pour indiquer si vous souhaitez stocker les données à des fins d’audit occasionnel et de résolution des problèmes, ou pour une analyse continue et leur utilisation par les fonctionnalités et les services.
Pour une comparaison des concepts de gestion et d’interrogation des données Splunk et Azure Data Explorer, consultez Mappage entre Splunk et le langage de requête Kusto.
Plans de données de journal de base et Analytics Le service Journaux Azure Monitor propose deux plans de données de journal qui vous permettent de réduire les coûts d’ingestion et de conservation des journaux, et de tirer parti des fonctionnalités avancées et des capacités analytiques d’Azure Monitor en fonction de vos besoins.
Le plan Analytique rend les données de journal disponibles pour des requêtes interactives et pour être utilisées par des fonctionnalités et des services.
Le plan de données de journal De base offre un moyen peu coûteux d’ingérer et de conserver des journaux à des fins de résolution des problèmes, de débogage, d’audit et de conformité.
Archivage et accès rapide aux données archivées États du compartiment de données (chaud (hot), chaud (warm), froid, dégelé), archivage, Archive active des données dynamiques (DDAA) L’option d’archivage économique conserve vos journaux dans votre espace de travail Log Analytics et vous permet d’accéder immédiatement aux données de journal archivées quand vous en avez besoin. Les changements de configuration de l’archivage prennent effet immédiatement, car les données ne sont pas physiquement transférées vers un stockage externe. Vous pouvez restaurer des données archivées ou exécuter un travail de recherche afin qu’un intervalle de temps spécifique de données archivées soit disponible pour une analyse en temps réel.
Contrôle d’accès Accès utilisateur en fonction du rôle, autorisations Définissez les personnes et ressources qui peuvent lire, écrire et effectuer des opérations sur des ressources spécifiques à l’aide de contrôle d’accès en fonction du rôle Azure (RBAC). Un(e) utilisateur(-trice) ayant accès à une ressource a accès aux journaux de la ressource.
Azure facilite la sécurité des données et la gestion des accès avec des fonctionnalités telles que les rôles intégrés, les rôles personnalisés, l’héritage de l’autorisation de rôleet l’historique d’audit.
Vous pouvez également configurer l’accès au niveau de l’espace de travail et l’accès au niveau de la table pour un contrôle d’accès granulaire à des types de données spécifiques.
Transformations de données Transformations, extractions de champs Les transformations vous permettent de filtrer ou de modifier les données entrantes avant qu’elles ne soient envoyées à un espace de travail Log Analytics. Utilisez les transformations pour supprimer les données sensibles, enrichir les données dans votre espace de travail Log Analytics, effectuer des calculs et masquer les données dont vous n’avez pas besoin afin de réduire les coûts.
Règles de collecte de données Entrées de données, pipeline de données Définissez les données à collecter, comment transformer ces données et où les envoyer.
Langage de requête Kusto (KQL) Splunk Search Processing Language (SPL) Le service Journaux Azure Monitor utilise une grande partie du langage KQL adapté aux requêtes de journal simples, mais comprend également des fonctionnalités avancées, comme les agrégations, les jointures et l’analytique intelligente. Utilisez Mappage entre Splunk et le langage de requête Kusto pour traduire vos connaissances Splunk SPL en KQL. Vous pouvez également apprendre le langage KQL avec des tutoriels et des modules de formation KQL.
Log Analytics Splunk Web, application de recherche, outil de tableau croisé dynamique Outil dans le portail Azure permettant de modifier et d’exécuter des requêtes de journal dans les journaux Azure Monitor. Log Analytics fournit également un riche ensemble d’outils permettant d’explorer et de visualiser des données sans utiliser KQL.
Optimisation des coûts Azure Monitor fournit des outils et des bonnes pratiques pour vous aider à comprendre, monitorer et optimiser vos coûts en fonction de vos besoins.

1. Comprendre votre utilisation actuelle

Votre utilisation actuelle dans Splunk vous aide à déterminer le niveau tarifaire que vous devez sélectionner dans Azure Monitor et à estimer vos coûts futurs :

2. Configurer un espace de travail Log Analytics

Votre espace de travail Log Analytics est l’endroit où vous collectez des données de journal à partir de toutes vos ressources monitorées. Vous pouvez conserver les données dans un espace de travail Log Analytics pendant sept ans maximum. L’archivage des données à faible coût dans l’espace de travail vous permet d’accéder rapidement et facilement aux données archivées quand vous en avez besoin, sans devoir gérer un magasin de données externe.

Nous vous recommandons de collecter toutes vos données de journal dans un seul espace de travail Log Analytics pour faciliter la gestion. Si vous voulez utiliser plusieurs espaces de travail, consultez Concevoir une architecture d’espaces de travail Log Analytics.

Afin de configurer un espace de travail Log Analytics pour la collecte de données :

  1. Créez un espace de travail Log Analytics.

    Le service Journaux Azure Monitor crée automatiquement des tables Azure dans votre espace de travail en fonction des services Azure que vous utilisez et des paramètres de diagnostic que vous définissez pour les ressources Azure.

  2. Configurez votre espace de travail Log Analytics, notamment :

    1. Niveau tarifaire.
    2. Liez votre espace de travail Log Analytics à un cluster dédié pour tirer parti des fonctionnalités avancées, si vous êtes éligible, en fonction du niveau tarifaire.
    3. Limite quotidienne.
    4. Conservation des données.
    5. Isolement réseau.
    6. Contrôle d’accès.

  3. Utilisez les paramètres de configuration au niveau de la table pour :

    1. Définir le plan de données de journal de chaque table.

      Le plan de données de journal par défaut est Analytics, qui vous permet de tirer parti des riches fonctionnalités analytiques et de monitoring d’Azure Monitor.

    2. Définir une stratégie de conservation et d’archivage des données pour des tables spécifiques, si vous avez besoin qu’elle soit différente de la stratégie de conservation et d’archivage des données au niveau de l’espace de travail.

    3. Modifier le schéma de table en fonction de votre modèle de données.

3. Migrer les artefacts Splunk vers Azure Monitor

Pour migrer la plupart des artefacts Splunk, vous devez traduire Splunk Processing Language (SPL) en langage de requête Kusto (KQL). Pour plus d’informations, consultez Mappage entre Splunk et le langage de requête Kusto et Bien démarrer avec les requêtes de journal dans Azure Monitor.

Ce tableau liste les artefacts Splunk et indique des liens vers des conseils de configuration des artefacts équivalents dans Azure Monitor :

Artefact Splunk Artefact Azure Monitor
Alertes Règles d'alerte
Actions d’alerte Groupes d’actions
Infrastructure et monitoring Les insights Azure Monitor sont un ensemble d’expériences de monitoring organisées, prêtes à l’emploi, avec des entrées de données, des recherches, des alertes et des visualisations préconfigurées pour vous aider à commencer rapidement et efficacement à analyser les données.
Tableaux de bord Classeurs
recherches Azure Monitor offre différentes façons d’enrichir les données, notamment :
- Les règles de collecte de données, qui vous permettent d’envoyer des données de plusieurs sources à un espace de travail Log Analytics, et d’effectuer des calculs et des transformations avant d’ingérer les données.
- Les opérateurs KQL, comme l’opérateur de jointure, qui combine les données de différentes tables, et l’opérateur externaldata, qui retourne les données d’un stockage externe.
- Intégration aux services, comme Azure Machine Learning ou Azure Event Hubs, pour appliquer le machine learning avancé et diffuser en streaming des données supplémentaires.
Espaces de noms Vous pouvez accorder ou limiter l’autorisation sur les artefacts dans Azure Monitor en fonction du contrôle d’accès que vous définissez sur votre espace de travail Log Analytics ou vos groupes de ressources Azure.
Autorisations Gestion de l’accès
Rapports Azure Monitor offre diverses options pour analyser, visualiser et partager les données, notamment :
- Intégration à Grafana
- Insights
- Workbooks
- Tableaux de bord
- Intégration à Power BI
- Intégration à Excel
Recherches Requêtes
Types de source Définissez votre modèle de données dans votre espace de travail Log Analytics. Utilisez des transformations au moment de l’ingestion pour filtrer, mettre en forme ou modifier les données entrantes.
Méthodes de collecte de données Consultez Collecter des données afin de voir les outils Azure Monitor conçus pour des ressources spécifiques.

Pour plus d’informations sur la migration des artefacts SIEM Splunk, notamment les règles de détection et l’automatisation SOAR, consultez Planifier votre migration vers Microsoft Sentinel.

4. Collecter les données

Azure Monitor fournit des outils pour collecter les données à partir de sources de données de journal sur des ressources Azure et non-Azure dans votre environnement.

Pour collecter des données à partir d’une ressource :

  1. Configurez l’outil de collecte de données approprié en fonction du tableau ci-dessous.
  2. Déterminez les données à collecter sur la ressource.
  3. Utilisez les transformations pour supprimer les données sensibles, enrichir les données, ou effectuer des calculs et masquer les données dont vous n’avez pas besoin afin de réduire les coûts.

Ce tableau liste les outils qu’Azure Monitor fournit pour collecter des données à partir de différents types de ressource.

Type de ressource Outil de collecte de données Outil Splunk similaire Données collectées
Microsoft Azure Paramètres de diagnostic Locataire Azure : les journaux d’audit Microsoft Entra fournissent l’historique des activités de connexion et la piste d’audit des changements effectués au sein d’un locataire.
Ressources Azure : journaux et compteurs de performances.
Abonnement Azure : enregistrements concernant l’intégrité du service et enregistrements concernant les changements de configuration effectués sur les ressources de votre abonnement Azure.
Application Application Insights Splunk Application Performance Monitoring Données de monitoring des performances d’application.
Conteneur Container Insights Supervision des conteneurs Données de performances de conteneur.
Système d’exploitation Agent Azure Monitor Universal Forwarder, Heavy Forwarder Monitoring des données à partir du système d’exploitation invité des machines virtuelles Azure et non-Azure.
Source non-Azure API d’ingestion des journaux HTTP Event Collector (HEC) Journaux basés sur des fichiers et toutes les données que vous envoyez à un point de terminaison de collecte de données sur une ressource monitorée.

Diagramme montrant différentes sources de données connectées aux journaux Azure Monitor.

5. Passer aux journaux Azure Monitor

Une approche courante est de passer progressivement aux journaux Azure Monitor, tout en conservant les données historiques dans Splunk. Pendant cette période, vous pouvez :

Pour exporter vos données historiques à partir de Splunk :

  1. Utilisez l’une des méthodes d’exportation Splunk pour exporter des données au format CSV.
  2. Pour collecter les données exportées :

    1. Utilisez l’agent Azure Monitor pour collecter les données que vous exportez à partir de Splunk, comme décrit dans Collecter des journaux de texte avec l’agent Azure Monitor.

      or

    2. Collectez les données exportées directement avec l’API d’ingestion des journaux, comme décrit dans Envoyer des données aux journaux Azure Monitor en utilisant une API REST.

Diagramme montrant le streaming de données de Splunk vers un espace de travail Log Analytics dans les journaux Azure Monitor.

Étapes suivantes