Экспорт исторических данных из Splunk
В этой статье описывается экспорт исторических данных из Splunk. После выполнения действий, описанных в этой статье, можно выбрать целевую платформу для размещения экспортированных данных, а затем выбрать средство приема для миграции данных.
Данные из Splunk можно экспортировать несколькими способами. Выбор метода экспорта зависит от задействованных томов данных и уровня интерактивности. Например, экспорт одного поискового запроса через Splunk Web может оказаться приемлемым для экспорта небольшого объема. Кроме того, если требуется настроить запланированный экспорт большего объема, рекомендуется использовать пакет SDK и REST.
Для экспортов большого объема наиболее стабильным методом получения данных является dump или интерфейс командной строки (CLI). Журналы можно экспортировать в локальную папку на сервере Splunk или на другой сервер, доступный из Splunk.
Чтобы экспортировать исторические данные из Splunk, используйте один из методов экспорта Splunk. Выходные данные должны иметь формат CSV.
Пример использования CLI
В этом примере использования CLI выполняется поиск событий из индекса _internal, которые возникают в течение периода времени, указанного в строке поиска. Далее в примере задается вывод событий в формате CSV в файл data.csv. По умолчанию можно экспортировать не более 100 событий. Чтобы увеличить это число, задайте аргумент -maxout. Например, если для -maxout задано значение0, можно экспортировать неограниченное количество событий.
Эта команда CLI экспортирует данные, записанные между 23:59 и 01:00 14 сентября 2021 г., в CSV-файл:
splunk search "index=_internal earliest=09/14/2021:23:59:00 latest=09/16/2021:01:00:00 " -output csv > c:/data.csv
Пример дампа
Эта команда dump экспортирует все события из индекса bigdata в расположение YYYYmmdd/HH/host в каталоге $SPLUNK_HOME/var/run/splunk/dispatch/<sid>/dump/ на локальном диске. Команда использует MyExport в качестве префикса для экспорта имен файлов и выводит результаты в CSV-файл. Команда секционирует экспортированные данные с помощью функции eval перед командой dump.
index=bigdata | eval _dstpath=strftime(_time, "%Y%m%d/%H") + "/" + host | dump basefilename=MyExport format=csv