Прием данных из Splunk в Azure Data Explorer

Внимание

Этот соединитель можно использовать в аналитике в режиме реального времени в Microsoft Fabric. Используйте инструкции в этой статье со следующими исключениями:

• При необходимости создайте базы данных с помощью инструкций в статье "Создание базы данных KQL".
• При необходимости создайте таблицы с помощью инструкций в статье "Создание пустой таблицы".
• Получение URI запроса или приема с помощью инструкций в URI копирования.
• Выполнение запросов в наборе запросов KQL.

Splunk Enterprise — это программная платформа, которая позволяет одновременно получать данные из многих источников. Индексатор Splunk обрабатывает данные и сохраняет его по умолчанию в основном индексе или указанном пользовательском индексе. Поиск в Splunk использует индексированные данные для создания метрик, панелей мониторинга и оповещений. Azure Data Explorer — это быстрая и высокомасштабируемая служба для изучения данных журналов и телеметрии.

Из этой статьи вы узнаете, как надстройка Azure Data Explorer Splunk отправлять данные из Splunk в таблицу в кластере. Сначала вы создаете сопоставление таблиц и данных, а затем направляете Splunk для отправки данных в таблицу, а затем проверяете результаты.

Следующие сценарии наиболее подходят для приема данных в Azure Data Explorer:

• Большие объемы данных: Azure Data Explorer создается для эффективной обработки огромных объемов данных. Если ваша организация создает значительный объем данных, необходимых для анализа в режиме реального времени, Azure Data Explorer подходит.
• Данные временных рядов: Azure Data Explorer excels при обработке данных временных рядов, таких как журналы, данные телеметрии и чтение датчиков. Он упорядочивает данные в секциях на основе времени, что упрощает анализ на основе времени и агрегаты.
• Аналитика в режиме реального времени. Если вашей организации требуется аналитика в режиме реального времени от потоков данных, возможности Azure Data Explorer практически в режиме реального времени могут оказаться полезными.

Необходимые компоненты

• Учетная запись Майкрософт или удостоверение пользователя Microsoft Entra. Подписка Azure не обязательна.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Splunk Enterprise 9 или более поздней версии.
• Субъект-служба Microsoft Entra. Создайте субъект-службу Microsoft Entra.

Создание таблицы и объекта сопоставления

После создания кластера и базы данных создайте таблицу со схемой, которая соответствует данным Splunk. Вы также создаете объект сопоставления, который используется для преобразования входящих данных в схему целевой таблицы.

В следующем примере создается таблица WeatherAlert с четырьмя столбцами: Timestamp, , TemperatureHumidityи Weather. Вы также создаете новое сопоставление с именем WeatherAlert_Json_Mapping , которое извлекает свойства из входящего json, как указано path и выводит их в указанный column.

В редакторе запросов веб-интерфейса выполните следующие команды, чтобы создать таблицу и сопоставление:

1. Создайте таблицу:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Убедитесь, что таблица WeatherAlert создана и пуста:

   WeatherAlert
   | count
   

3. Создайте объект сопоставления:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Используйте субъект-службу из необходимых компонентов, чтобы предоставить разрешение на работу с базой данных.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Установка надстройки Splunk Azure Data Explorer

Надстройка Splunk взаимодействует с Azure Data Explorer и отправляет данные в указанную таблицу.

1. Скачайте надстройку Azure Data Explorer.

2. Войдите в экземпляр Splunk от имени администратора.

3. Перейдите в раздел "Управление приложениями>".

4. Выберите "Установить приложение из файла ", а затем скачанный файл надстройки Azure Data Explorer.

5. Следуйте указаниям, чтобы завершить установку.

6. Выберите "Перезапустить сейчас".

7. Убедитесь, что надстройка установлена, перейдя на панель мониторинга>"Действия генерации оповещений" и найдите надстройку Azure Data Explorer.

   

Создание нового индекса в Splunk

Создайте индекс в Splunk, указав критерии для данных, которые необходимо отправить в Azure Data Explorer.

1. Войдите в экземпляр Splunk от имени администратора.
2. Перейдите к индексам> параметров.
3. Укажите имя индекса и настройте критерии для данных, которые необходимо отправить в Azure Data Explorer.
4. Настройте оставшиеся свойства по мере необходимости и сохраните индекс.

Настройка надстройки Splunk для отправки данных в Azure Data Explorer

1. Войдите в экземпляр Splunk от имени администратора.

2. Перейдите на панель мониторинга и выполните поиск по созданному ранее индексу. Например, если вы создали индекс с именем WeatherAlerts, выполните поиск index="WeatherAlerts".

3. Выберите "Сохранить как>оповещение".

4. Укажите имя, интервал и условия, необходимые для оповещения.

   

5. В разделе "Действия триггера" выберите "Добавить действия>" в Microsoft Azure Data Explorer.

   

6. Настройте сведения о подключениях следующим образом:

   Параметр	Description
   URL-адрес приема кластера	Укажите URL-адрес приема кластера Azure Data Explorer. Например, https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   Идентификатор клиента	Укажите идентификатор клиента созданного ранее приложения Microsoft Entra.
   Секрет клиента	Укажите секрет клиента созданного ранее приложения Microsoft Entra.
   Идентификатор клиента	Укажите идентификатор клиента созданного ранее приложения Microsoft Entra.
   База данных	Укажите имя базы данных, в которую нужно отправить данные.
   Таблицу	Укажите имя таблицы, в которую нужно отправить данные.
   Отображение	Укажите имя созданного ранее объекта сопоставления.
   Удаление дополнительных полей	Выберите этот параметр, чтобы удалить все пустые поля из данных, отправленных в кластер.
   Устойчивый режим	Выберите этот параметр, чтобы включить режим устойчивости во время приема. Если задано значение true, то влияет пропускная способность приема.

   

7. Нажмите кнопку "Сохранить", чтобы сохранить оповещение.

8. Перейдите на страницу "Оповещения" и убедитесь, что оповещение отображается в списке оповещений.

   

Проверка приема данных в Azure Data Explorer

После активации оповещения данные отправляются в таблицу Azure Data Explorer. Вы можете убедиться, что данные приемуются, выполнив запрос в редакторе запросов веб-интерфейса.

1. Выполните следующий запрос, чтобы проверить прием данных в таблицу:

   WeatherAlert
   | count
   

2. Выполните следующий запрос, чтобы просмотреть данные:

   WeatherAlert
   | take 100
   

   

Связанный контент

• Написание запросов