Прием данных из Splunk в Azure Data Explorer

Внимание

Этот соединитель можно использовать в аналитике в режиме реального времени в Microsoft Fabric. Используйте инструкции в этой статье со следующими исключениями:

• При необходимости создайте базы данных с помощью инструкций в статье "Создание базы данных KQL".
• При необходимости создайте таблицы с помощью инструкций в статье "Создание пустой таблицы".
• Получите URI запроса или приема данных, следуя инструкциям в разделе Copy URI.
• Выполните запросы в наборе запросов KQL.

Splunk Enterprise — это программная платформа, которая позволяет одновременно получать данные из многих источников. Индексатор Splunk обрабатывает данные и сохраняет его по умолчанию в основном индексе или указанном пользовательском индексе. Поиск в Splunk использует индексированные данные для создания метрик, панелей мониторинга и оповещений. Azure Data Explorer — это быстрая и высокомасштабируемая служба для изучения данных журналов и телеметрии.

В этой статье вы узнаете, как использовать надстройку Splunk Azure Data Explorer для отправки данных из Splunk в таблицу в кластере. Вы создаёте таблицу и сопоставление данных, настраиваете Splunk на отправку данных в таблицу, а затем проверяете результаты.

Следующие сценарии наиболее подходят для приема данных в Azure Data Explorer:

• Большие объемы данных: Azure Data Explorer создается для эффективной обработки огромных объемов данных. Если ваша организация создает значительный объем данных, необходимых для анализа в режиме реального времени, Azure Data Explorer подходит.
• Данные временных рядов: Azure Data Explorer отлично подходит для обработки данных временных рядов, таких как журналы, данные телеметрии и показания датчиков. Данные организуются в разделы по времени, что упрощает выполнение временного анализа и агрегации данных.
• Аналитика в режиме реального времени. Если вашей организации требуется аналитика в режиме реального времени от потоков данных, возможности Azure Data Explorer практически в режиме реального времени могут оказаться полезными.

Предварительные требования

• Учетная запись Майкрософт или удостоверение пользователя Microsoft Entra. Подписка Azure не обязательна.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Splunk Enterprise 9 или более поздней версии.
• Субъект-служба Microsoft Entra. Создайте service principal Microsoft Entra.

Создание таблицы и объекта сопоставления

После создания кластера и базы данных создайте таблицу со схемой, которая соответствует данным Splunk. Вы также создаете объект сопоставления, который преобразует входящие данные в целевую схему таблицы.

В следующем примере создается таблица WeatherAlert с четырьмя столбцами: Timestamp, , TemperatureHumidityи Weather. Вы также создаете сопоставление с именем WeatherAlert_Json_Mapping, которое извлекает свойства из входящего JSON, как указано в path, и выводит их в указанный column.

В редакторе запросов веб-интерфейса выполните следующие команды, чтобы создать таблицу и сопоставление:

1. Создайте таблицу:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Убедитесь, что WeatherAlert таблица создана и пуста:

   WeatherAlert
   | count
   

3. Создайте объект сопоставления:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Используйте субъект-службу из раздела Предварительные требования, чтобы предоставить разрешение на работу с базой данных.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Установите надстройку Splunk Azure Data Explorer

Надстройка Splunk взаимодействует с Azure Data Explorer и отправляет данные в указанную таблицу.

1. Скачайте надстройку Azure Data Explorer.

2. Войдите в экземпляр Splunk от имени администратора.

3. Перейдите в раздел "Управление приложениями>".

4. Выберите Установить приложение из файла, а затем выберите скачанный вами файл надстройки Azure Data Explorer.

5. Следуйте указаниям, чтобы завершить установку.

6. Выберите "Перезапустить сейчас".

7. Убедитесь, что надстройка установлена, перейдя на панель мониторинга>"Действия генерации оповещений" и найдите надстройку Azure Data Explorer.

   

Создание нового индекса в Splunk

Создайте индекс в Splunk, который указывает критерии для данных, которые нужно отправить в Azure Data Explorer.

1. Войдите в экземпляр Splunk от имени администратора.
2. Перейдите в Настройки>Индексы.
3. Укажите имя индекса и настройте критерии для данных, которые нужно отправить в Azure Data Explorer.
4. Настройте оставшиеся свойства по мере необходимости, а затем сохраните индекс.

Настройка надстройки Splunk для отправки данных в Azure Data Explorer

1. Войдите в экземпляр Splunk от имени администратора.

2. Перейдите на панель мониторинга и выполните поиск по созданному ранее индексу. Например, если вы создали индекс с именем WeatherAlerts, выполните поиск index="WeatherAlerts".

3. Выберите "Сохранить как>оповещение".

4. Укажите имя, интервал и условия, необходимые для оповещения.

   

5. В разделе Действия триггера выберите Добавить действия>Отправить в Microsoft Azure Data Explorer.

   

6. Настройте сведения о подключениях следующим образом:

   Настройка	Описание
   URL-адрес приема данных кластера	Укажите URL-адрес приема кластера Azure Data Explorer. Например, https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   Идентификатор клиента	Укажите идентификатор клиента созданного ранее приложения Microsoft Entra.
   Секрет клиента	Укажите секрет клиента созданного ранее приложения Microsoft Entra.
   Идентификатор клиента	Укажите идентификатор клиента созданного ранее приложения Microsoft Entra.
   База данных	Укажите имя базы данных, в которую нужно отправить данные.
   Таблица	Укажите имя таблицы, в которую нужно отправить данные.
   Сопоставление	Укажите имя созданного ранее объекта сопоставления.
   Удаление дополнительных полей	Выберите этот параметр, чтобы удалить все пустые поля из данных, отправленных в кластер.
   Устойчивый режим	Выберите этот параметр, чтобы включить режим устойчивости во время приема. Если установлено значение true, пропускная способность приема данных изменяется.

   

7. Нажмите кнопку "Сохранить", чтобы сохранить оповещение.

8. Перейдите на страницу "Оповещения" и убедитесь, что оповещение отображается в списке оповещений.

   

Проверка приема данных в Azure Data Explorer

После активации оповещения данные отправляются в таблицу Azure Data Explorer. Вы можете убедиться, что данные загружены, выполнив запрос в редакторе запросов веб-интерфейса.

1. Выполните следующий запрос, чтобы проверить прием данных в таблицу:

   WeatherAlert
   | count
   

2. Выполните следующий запрос, чтобы просмотреть данные:

   WeatherAlert
   | take 100
   

   

Связанный контент

• Написание запросов