Ingesta de datos de Splunk a Azure Data Explorer

Importante

Este conector se puede usar en Inteligencia en tiempo real en Microsoft Fabric. Use las instrucciones de este artículo con las siguientes excepciones:

• Si es necesario, cree bases de datos con las instrucciones de Creación de una base de datos KQL.
• Si es necesario, cree tablas con las instrucciones de Creación de una tabla vacía.
• Obtenga los URI de consulta o ingesta mediante las instrucciones del URI de copia.
• Ejecutar consultas en un conjunto de consultas KQL.

Splunk Enterprise es una plataforma de software que permite ingerir datos de muchos orígenes simultáneamente. El indexador Splunk procesa los datos y los almacena de forma predeterminada en el índice principal o en un índice personalizado especificado. La búsqueda en Splunk usa los datos indexados para crear métricas, paneles y alertas. El Explorador de datos de Azure es un servicio de exploración de datos altamente escalable y rápido para datos de telemetría y registro.

En este artículo, obtendrá información sobre cómo el complemento Splunk de Azure Data Explorer para enviar datos de Splunk a una tabla del clúster. Inicialmente, se crea una tabla y una asignación de datos, se dirige a Splunk para enviar datos a la tabla y, a continuación, validar los resultados.

Los escenarios siguientes son más adecuados para ingerir datos en Azure Data Explorer:

• Datos de gran volumen: Azure Data Explorer se crea para controlar de forma eficaz grandes cantidades de datos. Si la organización genera un volumen significativo de datos que necesita análisis en tiempo real, Azure Data Explorer es una opción adecuada.
• Datos de serie temporal: Azure Data Explorer destaca en el control de datos de serie temporal, como registros, datos de telemetría y lecturas de sensores. Organiza los datos en particiones basadas en tiempo, lo que facilita la realización de análisis y agregaciones basados en tiempo.
• Análisis en tiempo real: si su organización requiere información en tiempo real a partir de los datos que fluyen, las funcionalidades casi en tiempo real de Azure Data Explorer pueden ser beneficiosas.

Requisitos previos

• Una cuenta microsoft o una identidad de usuario de Microsoft Entra. No se necesita una suscripción a Azure.
• Un clúster y la base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
• Splunk Enterprise 9 o posterior.
• Una entidad de servicio de Microsoft Entra. Cree una entidad de servicio de Microsoft Entra.

Creación de una tabla y un objeto de asignación

Después de tener un clúster y una base de datos, cree una tabla con un esquema que coincida con los datos de Splunk. También se crea un objeto de asignación que se usa para transformar los datos entrantes en el esquema de la tabla de destino.

En el ejemplo siguiente, creará una tabla denominada WeatherAlert con cuatro columnas: Timestamp, Temperature, Humidityy Weather. También se crea una nueva asignación denominada WeatherAlert_Json_Mapping que extrae las propiedades del json entrante como se indica en y path las envía al especificado column.

En el editor de consultas de la interfaz de usuario web, ejecute los siguientes comandos para crear la tabla y la asignación:

1. Creación de una tabla:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Compruebe que la tabla WeatherAlert se creó y está vacía:

   WeatherAlert
   | count
   

3. Cree un objeto de asignación:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Use la entidad de servicio de los requisitos previos para conceder permiso para trabajar con la base de datos.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalación del complemento Splunk Azure Data Explorer

El complemento Splunk se comunica con Azure Data Explorer y envía los datos a la tabla especificada.

1. Descargue el complemento Azure Data Explorer.

2. Inicie sesión en la instancia de Splunk como administrador.

3. Vaya a Aplicaciones>Administrar aplicaciones.

4. Seleccione Instalar aplicación desde el archivo y, después, el archivo de complemento de Azure Data Explorer que descargó.

5. Siga los mensajes que aparecen en pantalla para completar la instalación.

6. Seleccione Reiniciar ahora.

7. Compruebe que el complemento está instalado; para ello, vaya a Acciones de alerta del panel>y busque el complemento azure Data Explorer.

   

Creación de un nuevo índice en Splunk

Cree un índice en Splunk especificando los criterios para los datos que desea enviar a Azure Data Explorer.

1. Inicie sesión en la instancia de Splunk como administrador.
2. Vaya a Índices de configuración>.
3. Especifique un nombre para el índice y configure los criterios de los datos que desea enviar a Azure Data Explorer.
4. Configure las propiedades restantes según sea necesario y guarde el índice.

Configuración del complemento Splunk para enviar datos a Azure Data Explorer

1. Inicie sesión en la instancia de Splunk como administrador.

2. Vaya al panel y busque con el índice que creó anteriormente. Por ejemplo, si creó un índice denominado WeatherAlerts, busque index="WeatherAlerts".

3. Seleccione Guardar como>alerta.

4. Especifique el nombre, el intervalo y las condiciones según sea necesario para la alerta.

   

5. En Acciones de desencadenador, seleccione Agregar acciones>enviar a Microsoft Azure Data Explorer.

   

6. Configure los detalles de las conexiones, como se indica a continuación:

   Configuración	Descripción
   Dirección URL de ingesta del clúster	Especifique la dirección URL de ingesta del clúster de Azure Data Explorer. Por ejemplo, https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   Id de cliente	Especifique el identificador de cliente de la aplicación Microsoft Entra que creó anteriormente.
   Secreto de cliente	Especifique el secreto de cliente de la aplicación Microsoft Entra que creó anteriormente.
   Id. de inquilino	Especifique el identificador de inquilino de la aplicación Microsoft Entra que creó anteriormente.
   Base de datos	Especifique el nombre de la base de datos a la que desea enviar los datos.
   Tabla	Especifique el nombre de la tabla a la que desea enviar los datos.
   Asignación	Especifique el nombre del objeto de asignación que creó anteriormente.
   Quitar campos adicionales	Seleccione esta opción para quitar los campos vacíos de los datos enviados al clúster.
   Modo duradero	Seleccione esta opción para habilitar el modo de durabilidad durante la ingesta. Cuando se establece en true, el rendimiento de la ingesta se ve afectado.

   

7. Seleccione Guardar para guardar la alerta.

8. Vaya a la página Alertas y compruebe que la alerta aparece en la lista de alertas.

   

Comprobación de que los datos se ingieren en Azure Data Explorer

Una vez desencadenada la alerta, los datos se envían a la tabla de Azure Data Explorer. Puede comprobar que los datos se ingieren ejecutando una consulta en el editor de consultas de la interfaz de usuario web.

1. Ejecute la consulta siguiente para comprobar que los datos se ingieren en la tabla:

   WeatherAlert
   | count
   

2. Ejecute la siguiente consulta para ver los datos:

   WeatherAlert
   | take 100
   

   

Contenido relacionado

• Escritura de consultas