Exportación de datos históricos desde Splunk

En este artículo se describe cómo exportar los datos históricos de Splunk. Después de completar los pasos de este artículo, puede seleccionar una plataforma de destino para hospedar los datos exportados y, a continuación, seleccionar una herramienta de ingesta para migrar los datos.

Diagrama que ilustra los pasos implicados en la exportación y la ingesta.

Puede exportar datos desde Splunk de varias maneras. La selección de un método de exportación depende de los volúmenes de datos implicados y del nivel de interactividad. Por ejemplo, la exportación de una única búsqueda a petición a través de Splunk Web podría ser adecuada para una exportación de bajo volumen. Como alternativa, si desea configurar una exportación programada de mayor volumen, las opciones de SDK y REST funcionan mejor.

En el caso de las exportaciones grandes, el método más estable para la recuperación de datos es dump o la interfaz de línea de comandos (CLI). Puede exportar los registros a una carpeta local en el servidor Splunk o a otro servidor accesible por Splunk.

Para exportar los datos históricos de Splunk, use uno de los métodos de exportación de Splunk. El formato de salida debe ser CSV.

Ejemplo de la CLI

En este ejemplo de la CLI se buscan eventos del _internal índice que se producen durante la ventana de tiempo que especifica la cadena de búsqueda. A continuación, en el ejemplo se especifica que los eventos se generen en formato CSV en el archivodata.csv. Puede exportar un máximo de 100 eventos de forma predeterminada. Para aumentar este número, establezca el -maxout argumento . Por ejemplo, si establece en -maxout0, puede exportar un número ilimitado de eventos.

Este comando de la CLI exporta los datos registrados entre las 23:59 y las 01:00 del 14 de septiembre de 2021 a un archivo CSV:

splunk search "index=_internal earliest=09/14/2021:23:59:00 latest=09/16/2021:01:00:00 " -output csv > c:/data.csv  

Ejemplo de volcado de memoria

Este dump comando exporta todos los eventos del bigdata índice a la YYYYmmdd/HH/host ubicación en el $SPLUNK_HOME/var/run/splunk/dispatch/<sid>/dump/ directorio de un disco local. El comando usa MyExport como prefijo para exportar nombres de archivo y genera los resultados en un archivo CSV. El comando crea particiones de los datos exportados mediante la eval función antes del dump comando.

index=bigdata | eval _dstpath=strftime(_time, "%Y%m%d/%H") + "/" + host | dump basefilename=MyExport format=csv 

Pasos siguientes