Pozyskiwanie danych z narzędzia Splunk do usługi Azure Data Explorer

Ważne

Tego łącznika można używać w analizie czasu rzeczywistego w usłudze Microsoft Fabric. Skorzystaj z instrukcji w tym artykule z następującymi wyjątkami:

• W razie potrzeby utwórz bazy danych, korzystając z instrukcji w temacie Tworzenie bazy danych KQL.
• W razie potrzeby utwórz tabele, korzystając z instrukcji w temacie Tworzenie pustej tabeli.
• Pobierz identyfikatory URI zapytań lub pozyskiwania, korzystając z instrukcji w temacie Copy URI (Kopiowanie identyfikatora URI).
• Uruchamianie zapytań w zestawie zapytań KQL.

Splunk Enterprise to platforma oprogramowania, która umożliwia jednoczesne pozyskiwanie danych z wielu źródeł. Indeksator Splunk przetwarza dane i domyślnie przechowuje je w indeksie głównym lub określonym indeksie niestandardowym. Wyszukiwanie w narzędziu Splunk używa indeksowanych danych do tworzenia metryk, pulpitów nawigacyjnych i alertów. Azure Data Explorer to szybka i wysoce skalowalna usługa eksploracji danych na potrzeby danych dziennika i telemetrycznych.

Z tego artykułu dowiesz się, jak dodatek Azure Data Explorer Splunk wysyłać dane z narzędzia Splunk do tabeli w klastrze. Początkowo utworzysz tabelę i mapowanie danych, a następnie przekierowujesz narzędzie Splunk w celu wysłania danych do tabeli, a następnie zweryfikuj wyniki.

Poniższe scenariusze są najbardziej odpowiednie do pozyskiwania danych do usługi Azure Data Explorer:

• Duże ilości danych: usługa Azure Data Explorer została utworzona w celu wydajnego obsługi ogromnych ilości danych. Jeśli Twoja organizacja generuje znaczną ilość danych, które wymagają analizy w czasie rzeczywistym, usługa Azure Data Explorer jest odpowiednim wyborem.
• Dane szeregów czasowych: usługa Azure Data Explorer wyróżnia się w obsłudze danych szeregów czasowych, takich jak dzienniki, dane telemetryczne i odczyty czujników. Organizuje dane w partycjach opartych na czasie, co ułatwia przeprowadzanie analizy i agregacji opartej na czasie.
• Analiza w czasie rzeczywistym: jeśli Twoja organizacja wymaga szczegółowych informacji w czasie rzeczywistym z danych przepływających w czasie rzeczywistym, możliwości niemal w czasie rzeczywistym w usłudze Azure Data Explorer mogą być korzystne.

Wymagania wstępne

• Konto Microsoft lub tożsamość użytkownika Microsoft Entra. Subskrypcja platformy Azure nie jest wymagana.
• Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
• Splunk Enterprise 9 lub nowszy.
• Jednostka usługi Microsoft Entra. Utwórz jednostkę usługi Microsoft Entra.

Tworzenie tabeli i obiektu mapowania

Po utworzeniu klastra i bazy danych utwórz tabelę ze schematem zgodnym z danymi splunk. Utworzysz również obiekt mapowania, który jest używany do przekształcania danych przychodzących w schemat tabeli docelowej.

W poniższym przykładzie utworzysz tabelę o nazwie z WeatherAlert czterema kolumnami: Timestamp, Temperature, Humidityi Weather. Utworzysz również nowe mapowanie o nazwie WeatherAlert_Json_Mapping , które wyodrębnia właściwości z przychodzącego pliku JSON, jak zanotowano w path pliku i wyprowadza je do określonego columnelementu .

W edytorze zapytań internetowego interfejsu użytkownika uruchom następujące polecenia, aby utworzyć tabelę i mapowanie:

1. Utwórz tabelę:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Sprawdź, czy tabela WeatherAlert została utworzona i jest pusta:

   WeatherAlert
   | count
   

3. Utwórz obiekt mapowania:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Użyj jednostki usługi z sekcji Wymagania wstępne , aby udzielić uprawnień do pracy z bazą danych.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalowanie dodatku Splunk Azure Data Explorer

Dodatek Splunk komunikuje się z usługą Azure Data Explorer i wysyła dane do określonej tabeli.

1. Pobierz dodatek azure Data Explorer.

2. Zaloguj się do wystąpienia rozwiązania Splunk jako administrator.

3. Przejdź do obszaru Aplikacjedo zarządzania aplikacjami>.

4. Wybierz pozycję Zainstaluj aplikację z pliku, a następnie pozycję Azure Data Explorer pobrany plik dodatku.

5. Postępuj zgodnie z monitami, aby ukończyć instalację.

6. Wybierz pozycję Uruchom ponownie teraz.

7. Sprawdź, czy dodatek jest zainstalowany, przechodząc do sekcjiAkcje alertówpulpitu nawigacyjnego> i wyszukując dodatek usługi Azure Data Explorer.

   

Tworzenie nowego indeksu w narzędziu Splunk

Utwórz indeks w narzędziu Splunk, określając kryteria dotyczące danych, które chcesz wysłać do usługi Azure Data Explorer.

1. Zaloguj się do wystąpienia rozwiązania Splunk jako administrator.
2. Przejdź dopozycji Indeksyustawień>.
3. Określ nazwę indeksu i skonfiguruj kryteria dla danych, które chcesz wysłać do usługi Azure Data Explorer.
4. Skonfiguruj pozostałe właściwości zgodnie z potrzebami, a następnie zapisz indeks.

Konfigurowanie dodatku Splunk w celu wysyłania danych do usługi Azure Data Explorer

1. Zaloguj się do wystąpienia rozwiązania Splunk jako administrator.

2. Przejdź do pulpitu nawigacyjnego i wyszukaj przy użyciu utworzonego wcześniej indeksu. Jeśli na przykład utworzono indeks o nazwie WeatherAlerts, wyszukaj ciąg index="WeatherAlerts".

3. Wybierz pozycję Zapisz jako>alert.

4. Określ nazwę, interwał i warunki zgodnie z wymaganiami alertu.

   

5. W obszarze Akcje wyzwalacza wybierz pozycję Dodaj akcje>wyślij do usługi Microsoft Azure Data Explorer.

   

6. Skonfiguruj szczegóły połączeń w następujący sposób:

   Ustawienie	Opis
   Adres URL pozyskiwania klastra	Określ adres URL pozyskiwania klastra usługi Azure Data Explorer. Na przykład https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   Identyfikator klienta	Określ identyfikator klienta utworzonej wcześniej aplikacji Microsoft Entra.
   Klucz tajny klienta	Określ klucz tajny klienta utworzonej wcześniej aplikacji Microsoft Entra.
   Identyfikator dzierżawy	Określ identyfikator dzierżawy utworzonej wcześniej aplikacji Microsoft Entra.
   Database (Baza danych)	Określ nazwę bazy danych, do której chcesz wysłać dane.
   Tabela	Określ nazwę tabeli, do której chcesz wysłać dane.
   Mapowania	Określ nazwę utworzonego wcześniej obiektu mapowania.
   Usuń dodatkowe pola	Wybierz tę opcję, aby usunąć wszystkie puste pola z danych wysyłanych do klastra.
   Tryb trwały	Wybierz tę opcję, aby włączyć tryb trwałości podczas pozyskiwania. W przypadku ustawienia wartości true ma to wpływ na przepływność pozyskiwania.

   

7. Wybierz pozycję Zapisz , aby zapisać alert.

8. Przejdź do strony Alerty i sprawdź, czy alert jest wyświetlany na liście alertów.

   

Sprawdź, czy dane są pozyskiwane do usługi Azure Data Explorer

Po wyzwoleniu alertu dane są wysyłane do tabeli usługi Azure Data Explorer. Możesz sprawdzić, czy dane są pozyskiwane, uruchamiając zapytanie w edytorze zapytań internetowego interfejsu użytkownika.

1. Uruchom następujące zapytanie, aby sprawdzić, czy dane są pozyskiwane do tabeli:

   WeatherAlert
   | count
   

2. Uruchom następujące zapytanie, aby wyświetlić dane:

   WeatherAlert
   | take 100
   

   

Zawartość pokrewna

• Pisanie zapytań