Ingérer des données de Splunk vers Azure Data Explorer

Important

Ce connecteur peut être utilisé dans l’analytique en temps réel dans Microsoft Fabric. Utilisez les instructions de cet article avec les exceptions suivantes :

• Si nécessaire, créez des bases de données en suivant les instructions fournies dans Créer une base de données KQL.
• Si nécessaire, créez des tables en suivant les instructions fournies dans Créer une table vide.
• Obtenez des URI de requête ou d’ingestion à l’aide des instructions fournies dans Copier l’URI.
• Exécuter des requêtes dans un ensemble de requêtes KQL.

Splunk Enterprise est une plateforme logicielle qui vous permet d’ingérer simultanément des données provenant de nombreuses sources. L’indexeur Splunk traite les données et les stocke par défaut dans l’index main ou un index personnalisé spécifié. La recherche dans Splunk utilise les données indexées pour créer des métriques, des tableaux de bord et des alertes. L’Explorateur de données Azure est un service d’exploration de données rapide et hautement évolutive pour les données des journaux et les données de télémétrie.

Dans cet article, vous allez apprendre à utiliser le module complémentaire Azure Data Explorer Splunk pour envoyer des données de Splunk à une table de votre cluster. Vous créez initialement une table et un mappage de données, puis dirigez Splunk pour envoyer des données dans la table, puis vous validez les résultats.

Les scénarios suivants sont les plus appropriés pour ingérer des données dans Azure Data Explorer :

• Données volumineuses : Azure Data Explorer est conçu pour gérer efficacement de grandes quantités de données. Si votre organization génère un volume important de données nécessitant une analyse en temps réel, Azure Data Explorer est un choix approprié.
• Données de série chronologique : Azure Data Explorer excelle dans la gestion des données de série chronologique, telles que les journaux, les données de télémétrie et les lectures des capteurs. Il organise les données dans des partitions temporelles, ce qui facilite l’exécution d’une analyse et d’une agrégation basées sur le temps.
• Analytique en temps réel : si votre organization nécessite des insights en temps réel à partir des données entrantes, les fonctionnalités en quasi-temps réel d’Azure Data Explorer peuvent être utiles.

Prérequis

• Un compte Microsoft ou une identité d’utilisateur Microsoft Entra. Un abonnement Azure n’est pas requis.
• Un cluster et une base de données Azure Data Explorer. Créez un cluster et une base de données.
• Splunk Enterprise 9 ou version ultérieure.
• Un principal de service Microsoft Entra. Créez un principal de service Microsoft Entra.

Créer une table et un objet de mappage

Une fois que vous disposez d’un cluster et d’une base de données, créez une table avec un schéma qui correspond à vos données Splunk. Vous créez également un objet de mappage qui est utilisé pour transformer les données entrantes en schéma de table cible.

Dans l’exemple suivant, vous créez une table nommée WeatherAlert avec quatre colonnes : Timestamp, Temperature, Humidityet Weather. Vous créez également un nouveau mappage nommé WeatherAlert_Json_Mapping qui extrait les propriétés du json entrant, comme indiqué par et path les génère vers le spécifié column.

Dans l’éditeur de requête de l’interface utilisateur web, exécutez les commandes suivantes pour créer la table et le mappage :

1. Créer une table :

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Vérifiez que la table WeatherAlert a été créée et qu’elle est vide :

   WeatherAlert
   | count
   

3. Créez un objet de mappage :

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Utilisez le principal de service des conditions préalables pour accorder l’autorisation d’utiliser la base de données.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Installer le module complémentaire Splunk Azure Data Explorer

Le module complémentaire Splunk communique avec Azure Data Explorer et envoie les données à la table spécifiée.

1. Téléchargez le module complémentaire Azure Data Explorer.

2. Connectez-vous à votre instance Splunk en tant qu’administrateur.

3. Accédez à Applications>Gérer les applications.

4. Sélectionnez Installer l’application à partir du fichier, puis Azure Data Explorer fichier complémentaire que vous avez téléchargé.

5. Suivez les instructions pour terminer l’installation.

6. Sélectionnez Redémarrer maintenant.

7. Vérifiez que le module complémentaire est installé en accédant àActions d’alerte du tableau de bord> et en recherchant le module complémentaire Azure Data Explorer.

   

Créer un index dans Splunk

Créez un index dans Splunk en spécifiant les critères pour les données que vous souhaitez envoyer à Azure Data Explorer.

1. Connectez-vous à votre instance Splunk en tant qu’administrateur.
2. Accédez à Paramètres>Index.
3. Spécifiez un nom pour l’index et configurez les critères pour les données que vous souhaitez envoyer à Azure Data Explorer.
4. Configurez les propriétés restantes en fonction des besoins, puis enregistrez l’index.

Configurer le module complémentaire Splunk pour envoyer des données à Azure Data Explorer

1. Connectez-vous à votre instance Splunk en tant qu’administrateur.

2. Accédez au tableau de bord et recherchez à l’aide de l’index que vous avez créé précédemment. Par exemple, si vous avez créé un index nommé WeatherAlerts, recherchez index="WeatherAlerts".

3. Sélectionnez Enregistrer en tant qu’alerte>.

4. Spécifiez le nom, l’intervalle et les conditions nécessaires pour l’alerte.

   

5. Sous Actions de déclenchement, sélectionnez Ajouter des actions>envoyer à Microsoft Azure Data Explorer.

   

6. Configurez les détails des connexions, comme suit :

   Paramètre	Description
   URL d’ingestion de cluster	Spécifiez l’URL d’ingestion de votre cluster Azure Data Explorer. Par exemple : https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   ID client	Spécifiez l’ID client de l’application Microsoft Entra que vous avez créée précédemment.
   Clé secrète client	Spécifiez la clé secrète client de l’application Microsoft Entra que vous avez créée précédemment.
   Tenant ID	Spécifiez l’ID de locataire de l’application Microsoft Entra que vous avez créée précédemment.
   Sauvegarde de la base de données	Spécifiez le nom de la base de données à laquelle vous souhaitez envoyer les données.
   Table	Spécifiez le nom de la table à laquelle vous souhaitez envoyer les données.
   Mappage	Spécifiez le nom de l’objet de mappage que vous avez créé précédemment.
   Supprimer des champs supplémentaires	Sélectionnez cette option pour supprimer les champs vides des données envoyées à votre cluster.
   Durable Mode	Sélectionnez cette option pour activer le mode de durabilité pendant l’ingestion. Lorsque la valeur est true, le débit d’ingestion est affecté.

   

7. Sélectionnez Enregistrer pour enregistrer l’alerte.

8. Accédez à la page Alertes et vérifiez que votre alerte apparaît dans la liste des alertes.

   

Vérifiez que les données sont ingérées dans Azure Data Explorer

Une fois l’alerte déclenchée, les données sont envoyées à votre table Azure Data Explorer. Vous pouvez vérifier que les données sont ingérées en exécutant une requête dans l’éditeur de requête de l’interface utilisateur web.

1. Exécutez la requête suivante pour vérifier que les données sont ingérées dans la table :

   WeatherAlert
   | count
   

2. Exécutez la requête suivante pour afficher les données :

   WeatherAlert
   | take 100
   

   

Contenu connexe

• Écrire des requêtes