Collecter des journaux à partir de fichiers texte avec l’agent Azure Monitor et ingérer dans Microsoft Sentinel

• S’applique à:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

Cet article explique comment utiliser les journaux personnalisés via le connecteur AMA pour filtrer et ingérer rapidement les journaux au format de fichier texte à partir d’applications réseau ou de sécurité installées sur des machines Windows ou Linux.

De nombreuses applications consignent des données dans des fichiers texte au lieu des services de journalisation standard comme le Journal des événements Windows ou Syslog. Vous pouvez utiliser l’agent Azure Monitor (AMA) pour collecter des données dans des fichiers texte de formats non standard à partir d’ordinateurs Windows et Linux. L’AMA peut également affecter des transformations sur les données au moment de la collecte, pour l’analyser dans différents champs.

Pour plus d’informations sur les applications pour lesquelles Microsoft Sentinel a des solutions pour prendre en charge la collecte des journaux, consultez Journaux personnalisés via le connecteur de données AMA - Configurer l’ingestion de données sur Microsoft Sentinel à partir d’applications spécifiques.

Pour plus d’informations générales sur l’ingestion de journaux personnalisés à partir de fichiers texte, consultez Collecter les journaux d’activité à partir d’un fichier texte avec l’agent Azure Monitor.

Important

• Les journaux personnalisés via le connecteur de données AMA sont actuellement en préversion. Consultez l’Avenant aux conditions d’utilisation pour les préversions de Microsoft Azure pour connaître les conditions juridiques supplémentaires s’appliquant aux fonctionnalités Azure sont en version bêta, en préversion ou non encore en disponibilité générale.

• Microsoft Sentinel est désormais en disponibilité générale dans la plateforme d’opérations de sécurité unifiée Microsoft du portail Microsoft Defender. Pour en savoir plus, consultez Microsoft Sentinel dans le portail Microsoft Defender.

Prérequis

Avant de commencer, vous devez disposer des ressources configurées et des autorisations appropriées, comme décrit dans cette section.

Prérequis pour Microsoft Sentinel

• Installez la solution Microsoft Sentinel qui correspond à votre application et vérifiez que vous disposez des autorisations nécessaires pour effectuer les étapes décrites dans cet article. Vous pouvez trouver ces solutions dans le hub de contenu dans Microsoft Sentinel, et elles incluent tous les journaux personnalisés via le connecteur AMA.

  Pour obtenir la liste des applications qui ont des solutions dans le hub de contenu, consultez Instructions spécifiques par application. S’il n’existe pas de solution disponible pour votre application, installez les journaux personnalisés via la solution AMA.

  Pour plus d’informations, consultez Découvrir et gérer le contenu Microsoft Sentinel prêt à l’emploi.

• Assurez-vous de disposer d’un compte Azure avec les rôles de contrôle d’accès en fonction du rôle Azure (Azure RBAC) suivants :

  Rôle intégré	Étendue	Motif
  - Contributeur de machine virtuelle - Azure Connected Machine    Administrateur de ressources	Machines virtuelles Jeux de mise à l’échelle de machine virtuelle Serveurs avec Azure Arc	Pour déployer l’agent
  Tout rôle qui inclut l’action Microsoft.Resources/deployments/*	Abonnement Resource group Règle de collecte de données existante	Pour déployer des modèles Azure Resource Manager
  Contributeur de surveillance	Abonnement Resource group Règle de collecte de données existante	Pour créer ou modifier des règles de collecte de données

Prérequis du redirecteur de journal

Certaines applications personnalisées sont hébergées sur des appliances fermées qui nécessitent l’envoi de leurs journaux à un collecteur/redirecteur de journaux externe. Dans ce scénario, les conditions préalables suivantes s’appliquent au redirecteur de journal :

• Vous devez disposer d’une machine virtuelle Linux désignée comme redirecteur de journal pour collecter les journaux.

  • Créer une machine virtuelle Linux dans le portail Azure.
  • Systèmes d’exploitation Linux pris en charge pour l’Agent Azure Monitor.

• Si votre redirecteur de journal n’est pas une machine virtuelle Azure, l’agent Azure Arc Connected Machine doit être installé sur celui-ci.

• La machine virtuelle du redirecteur de journal Linux doit avoir Python 2.7 ou 3 installée. Utilisez la commande python --version ou python3 --version pour vérifier. Si vous utilisez Python 3, assurez-vous qu’il est défini comme commande par défaut sur la machine, ou exécutez les scripts avec la commande « python3 » au lieu de « python ».

• Le redirecteur de journal doit avoir le démon syslog-ng ou rsyslog activé.

• Pour connaître les besoins en espace de votre redirecteur de journal, consultez le point de référence des performances de l’agent Azure Monitor. Vous pouvez également examiner ce billet de blog qui traite des conceptions pour une ingestion évolutive.

• Vos sources de journal, appareils de sécurité et appliances doivent être configurés pour envoyer leurs messages de journal au démon syslog du redirecteur de journal plutôt qu’à leur démon syslog local.

Prérequis de sécurité pour la machine

Configurez le redirecteur de journal de la sécurité de la machine en fonction de la stratégie de sécurité de votre organisation. Par exemple, configurez votre réseau de sorte qu’il s’accorde à la stratégie de sécurité de votre réseau d’entreprise et modifiez les ports et les protocoles dans le démon pour les adapter à vos besoins. Pour améliorer la configuration de la sécurité de votre ordinateur, sécurisez votre machine virtuelle dans Azure ou passez en revue ces meilleures pratiques pour la sécurité réseau.

Si vos appareils envoient des journaux sur le protocole TLS parce que, par exemple, votre redirecteur de journal se trouve dans le cloud, vous devez configurer le démon syslog (rsyslog ou syslog-ng) pour qu’il communique sur le protocole TLS. Pour plus d’informations, consultez l’article suivant :

• Chiffrement du trafic Syslog avec TLS – rsyslog
• Chiffrement des messages de journal avec TLS – syslog-ng

Configurer le connecteur de données

Le processus d’installation des journaux personnalisés via le connecteur de données AMA comprend les étapes suivantes :

1. Créez la table de destination dans log Analytique (ou Recherche avancée si vous êtes dans le portail Defender).

   Le nom de la table doit se terminer par _CL et il doit comporter uniquement les deux champs suivants :

   • TimeGenerated (de type DateTime) : horodatage de la création du message de journal.
   • RawData (de type Chaîne) : message de journal dans son intégralité.
     (Si vous collectez des journaux à partir d’un redirecteur de journal et non directement à partir de l’appareil hébergeant l’application, nommez ce champ Message au lieu de RawData.)

2. Installez l’agent Azure Monitor et créez une règle de collecte de données (DCR) à l’aide de l’une des méthodes suivantes :

   • Portail Azure ou Defender
   • Modèle Azure Resource Manager

3. Si vous collectez des journaux à l’aide d’un redirecteur de journal, configurez le démon syslog sur cet ordinateur pour écouter les messages provenant d’autres sources et ouvrez les ports locaux requis. Pour plus d’informations, consultez Configurer le redirecteur de journal pour accepter les journaux.

Sélectionnez l’onglet approprié pour obtenir des instructions.

Portail Azure ou Defender

Créer une règle de collecte de données

Pour commencer, ouvrez les journaux personnalisés via le connecteur de données AMA dans Microsoft Sentinel et créez une règle de collecte de données (DCR).

1. Pour Microsoft Sentinel dans le portail Azure, sous Configuration, sélectionnez Paramètres.
   Pour Microsoft Sentinel dans le portail Defender, sélectionnez Microsoft Sentinel>Configuration>Connecteurs de données.

2. Tapez personnalisé dans la zone de recherche. Dans les résultats, sélectionnez les journaux personnalisés via le connecteur AMA.

3. Sélectionnez Ouvrir la page du connecteur dans le volet d’informations.

   

4. Dans la zone Configuration, sélectionnez +Créer une règle de collecte de données.

   

5. Sous l’onglet De base :

   • Tapez un nom de DCR.
   • Sélectionnez votre abonnement.
   • Sélectionnez le groupe de ressources dans lequel vous souhaitez localiser votre DCR.

   

6. Sélectionnez Suivant : Ressources>.

Définissez les ressources de machine virtuelle

Sous l’onglet Ressources, sélectionnez les ordinateurs à partir desquels vous souhaitez collecter les journaux. Il s’agit des ordinateurs sur lesquels votre application est installée ou de vos ordinateurs de redirecteur de journal. Si la machine que vous recherchez n’apparaît pas dans la liste, il se peut qu’il ne s’agit pas d’une machine virtuelle Azure avec l’agent Azure Connected Machine installé.

1. Utilisez les filtres disponibles ou la zone de recherche pour rechercher la machine que vous recherchez. Développez un abonnement dans la liste pour afficher ses groupes de ressources et un groupe de ressources pour afficher ses machines virtuelles.

2. Sélectionnez la machine à partir de laquelle vous souhaitez collecter les journaux. La case à cocher s’affiche en regard du nom de la machine virtuelle lorsque vous pointez dessus.

   

   Si les machines que vous avez sélectionnées n’ont pas encore installé l’agent Azure Monitor sur eux, l’agent est installé lors de la création et du déploiement de la DCR.

3. Passez en revue vos modifications et sélectionnez Suivant : Collecter >.

Configurer la DCR pour votre application

1. Dans l’onglet Collecter, sélectionnez votre application ou type d’appareil dans la zone déroulante Sélectionner le type d’appareil (facultatif) ou laissez-le en tant que nouveau tableau personnalisé si votre application ou appareil n’est pas répertorié.

2. Si vous avez choisi l’une des applications ou appareils répertoriés, le champ Nom de table est automatiquement renseigné avec le nom de table approprié. Si vous avez choisi Nouvelle table personnalisée, entrez un nom de table sous Nom de table. Le nom doit se terminer par le suffixe _CL.

3. Dans le champ Modèle de fichier, entrez le chemin d’accès et le nom de fichier des fichiers journaux texte à collecter. Pour rechercher les noms de fichiers et les chemins d’accès par défaut pour chaque type d’application ou d’appareil, consultez Instructions spécifiques par type d’application. Vous n’avez pas besoin d’utiliser les noms de fichiers ou chemins d’accès par défaut, et vous pouvez utiliser des caractères génériques dans le nom de fichier.

4. Dans le champ Transformer, si vous avez choisi une nouvelle table personnalisée à l’étape 1, entrez une requête Kusto qui applique une transformation de votre choix aux données.

   Si vous avez choisi l’une des applications ou appareils répertoriés à l’étape 1, ce champ est automatiquement rempli avec la transformation appropriée. NE MODIFIEZ PAS la transformation qui s’affiche ici. Selon le type choisi, cette valeur doit être l’une des suivantes :

   • source (valeur par défaut : aucune transformation)
   • source | project-rename Message=RawData (pour les appareils qui envoient des journaux à un redirecteur)

5. Passez en revue vos sélections, puis sélectionnez Suivant : Vérifier + créer.

Vérifier et créer la règle

Une fois tous les onglets remplis, vérifiez ce que vous avez entré et créez la règle de collecte de données.

1. Sous l’onglet Vérifier et créer, sélectionnez Créer.

   

   Le connecteur installe l’agent Azure Monitor sur les machines que vous avez sélectionnées lors de la création de votre DCR.

2. Vérifiez les notifications sur le Portail Azure ou le portail Microsoft Defender pour voir quand la DCR est créée et que l’agent est installé.

3. Sélectionnez Actualiser dans la page du connecteur pour voir la DCR affichée dans la liste.

modèle Azure Resource Manager

Installer l’agent Azure Monitor

Suivez les instructions appropriées de la documentation Azure Monitor pour installer l’agent Azure Monitor sur la machine hébergeant votre application ou sur votre redirecteur de journal. Utilisez les instructions pour Windows ou Linux, le cas échéant.

• Installer l’AMA à l’aide de PowerShell
• Installer l’AMA à l’aide d’Azure CLI
• installer l’AMA à l’aide d’un modèle Azure Resource Manager

Créez des règles de collecte de données (DCR) à l’aide de l’API d’ingestion des journaux Azure Monitor. Pour plus d’informations, consultez Règles de collecte de données dans Azure Monitor.

Créer la règle de collecte de données

Utilisez le modèle ARM suivant pour créer ou modifier une DCR afin de collecter des fichiers journaux texte :

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Remplacez les valeurs {PLACE_HOLDER} par les valeurs suivantes :

Paramètre substituable	Valeur
{DCR_NAME}	Nom que vous choisissez pour votre règle de collecte de données. Il doit être unique au sein de votre espace de travail.
{DCR_LOCATION}	Région où se trouve le groupe de ressources contenant la DCR.
{TABLE_NAME}	Nom de la table de destination dans Log Analytics. Il doit se terminer par _CL.
{LOCAL_PATH_FILE_1} (obligatoire), {LOCAL_PATH_FILE_2} (facultatif)	Chemins d’accès et noms de fichiers des fichiers texte contenant les journaux que vous souhaitez collecter. Celles-ci doivent se trouver sur l’ordinateur sur lequel l’agent Azure Monitor est installé.
{WORKSPACE_RESOURCE_PATH}	Chemin de ressource Azure de votre espace de travail Microsoft Sentinel.
{WORKSPACE_ID}	UUID (identificateur unique universel) de votre espace de travail Microsoft Sentinel.

Associer la DCR à l’agent Azure Monitor

Si vous créez une DCR avec un modèle ARM, vous devez toujours associer la DCR aux agents qui l’utiliseront. Vous pouvez modifier la DCR dans le portail Azure et sélectionner les agents comme décrit dans Définir des ressources VM.

Configurer le redirecteur de journal pour accepter les journaux

Si vous collectez des journaux d’activité à partir d’une appliance à l’aide d’un redirecteur de journal, configurez le démon syslog sur le redirecteur de journal pour écouter les messages d’autres ordinateurs et ouvrez les ports locaux nécessaires.

1. Copiez la ligne de commande suivante :

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Connectez-vous à la machine redirecteur de journal où vous venez d’installer AMA.

3. Collez la commande que vous avez copiée à la dernière étape pour lancer le script d’installation.
   Le script configure le démon rsyslog ou syslog-ng pour qu’il utilise le protocole requis et redémarre le démon. Le script ouvre le port 514 pour écouter les messages entrants dans les protocoles UDP et TCP. Pour modifier ce paramètre, reportez-vous au fichier de configuration du démon syslog en fonction du type de démon qui s’exécute sur la machine :

   • Rsyslog : /etc/rsyslog.conf
   • Syslog-ng : /etc/syslog-ng/syslog-ng.conf

   Si vous utilisez Python 3 et qu’il n’est pas défini comme commande par défaut sur l’ordinateur, remplacezpython3 par python dans la commande collée. Consultez Prérequis du redirecteur de journal.

   Remarque

   Pour éviter les scénarios de disque complet dans lesquels l’agent ne peut pas fonctionner, nous vous recommandons de définir la configuration syslog-ng ou rsyslog pour ne pas stocker les journaux inutiles. Un scénario de disque complet interrompt le fonctionnement de l’AMA installé. Pour plus d’informations, consultez RSyslog ou Syslog-ng.

Configurer l’appareil ou l’appliance de sécurité

Pour obtenir des instructions spécifiques sur la configuration de votre application ou appliance de sécurité, consultez Journaux personnalisés via le connecteur de données AMA - Configurer l’ingestion des données sur Microsoft Sentinel à partir d’applications spécifiques

Contactez le fournisseur de solutions pour plus d’informations ou pour savoir où les informations ne sont pas disponibles pour l’appliance ou l’appareil.

Contenu connexe

• Règles de collecte de données dans Azure Monitor
• Collecter des journaux à partir d’un fichier texte avec l’agent Azure Monitor